炸裂！联网集成第三方应用 ChatGPT全宇宙驾到

OpenAI冷不丁又宣布了惊爆全球的消息：ChatGPT可以集成第三方插件了！唯一的封印解除后，ChatGPT俨然已经迎来了属于自己的「全知全能」宇宙。网友直呼：AI的APP Store时刻已来！

今早醒来，全网都炸锅了。

之前，大家都公认ChatGPT几乎能上天入地，无所不能，唯一的缺点就是——不能联网。因为它的训练数据集截止到21年9月，所以它对于这以后世界的了解，还是一片空白。

今日凌晨，外网传来地震级消息：OpenAI已经为ChatGPT添加了插件，现在，ChatGPT能联网了！

OpenAI表示，添加插件后，ChatGPT不仅会自己看网页，还能和网站互动。用OpenAI的话说，现在，其他服务都成了ChatGPT的「眼睛和耳朵」。

所以，人类要迎来史上首个真·全知全能AI了？

全知全能，ChatGPT全宇宙来了！

可以想象，现在的ChatGPT，已经变成了一个无所不包的生态系统。虽然很多应用尚在早期，还待探索，但ChatGPT能拓展的疆域，可以说是无限的。

李飞飞高徒、英伟达AI科学家Jim Fan激动地说，如果说曾经ChatGPT的横空出世可以看作「iPhone的出现」，今天第三方插件的集成，就是「iOS App Store」级别的事件。

咱们来看看，ChatGPT现在的能力有多惊人。

首先我们需要安装一波插件。

紧接着，就可以提问了。

比如，「我正在旧金山，这个周末想吃素食，能不能建议下，我周六去哪家参观，周日按什么食谱做菜？请用WolframAlpha计算出食谱的热量，最后在Instacart上订购食材。」

所有你需要的信息，立马完美呈现。

食谱出来后，它立马贴心地帮你在购物网站Instacart上下单，需要什么食材，ChatGPT已经帮你选好了。你需要做的，就是付个账。

能上网、会代码、擅分析，OpenAI诚意满满

ChatGPT官方提供的插件，可以分为三大类：

Web浏览器：在循环中添加必应搜索

代码解释器：在一个沙盒和防火墙的执行环境中添加一个实时的Python解释器

检索：对个人和组织文件进行语义搜索

Web浏览器

OpenAI做的第一款插件Web浏览器，可谓是诚意满满。

这一插件会利用新必应的API，在互联网上搜索问题的相关信息，然后给出具体答案。

比如你可以问ChatGPT：「今年奥斯卡获奖电影的票房和最近上映的电影相比，谁高谁低？」

它就会立刻上网进行搜索，然后给出答案。显然，这是它以前无法做到的事。

此外，ChatGPT还会根据查询的内容，判断是否需要给出必应的接口。

然后，我们就可以通过答案中的索引，跳转到具体的链接了。

虽然这个功能必应也能做到，但ChatGPT的插件不止能检索实时信息，还能绑定API，直接执行操作。

打个比方，必应可以告诉你航班和酒店，但ChatGPT能直接帮你订航班和酒店了！

这个浏览功能，使用的是必应的搜索API，微软在两方面下了大功夫：

（1）保证信息来源的可靠性和真实性； （2）开启「安全模式」，防止检索不适当的内容。插件在一个孤立的服务中运行，因此ChatGPT的浏览活动与其他部分是分开的。

所以，有了这一插件，你还会用必应吗？

目前，OpenAI从安全角度考虑，允许这个插件只支持GET请求，不支持POST。这意味着，它只能获取数据，却不能发送。

此外，OpenAI还做了一些爬虫限制，配置为robots.txt文件，以避开禁止抓取的内容。

如果在使用过程中出现「点击失败」，是正常的。

代码解释器

昨天，GitHub发布了一个基于GPT-4的代码生成工具GitHub X，已经让许多码农遭到降维打击。

而这次，OpenAI推出的「代码解释器」编程插件，动嘴编程序更强了。

目前，这一插件用的是处于实验阶段的ChatGPT模型。

该模型被放置在了一个受防火墙保护的沙盒中，并会分配一些少量的临时磁盘空间。

另外，在用户进行交流对话时，代码会被保存在会话中，可以随时调用。

这款解释器有几个特别的用例：

1. 解决定量和定性的数学问题；

2. 进行数据分析和可视化；

3 .快速转换文件格式。

随着这款插件的使用人群增加，OpenAI鼓励用户多进行尝试，挖掘出代码解释器更多的功能。

借助这个代码解释器，我们就能ChatGPT实现各种无敌的功能了！

比如，让ChatGPT编辑视频——只要给出一个指令，ChatGPT就会对上传视频文件进行处理，稍等片刻之后，就可以直接下载了。

没错，就是这么炸裂。

检索

此外，OpenAI开源了知识库检索插件的代码，允许用户托管他们自己的数据，并使其在ChatGPT内部可访问。

检索插件库的地址：https://github.com/openai/chatgpt-retrieval-plugin

这一插件可以从数据中获取最相关的文件片段，如文件、笔记、电子邮件或公共文档。

在此，开发者可以部署自己的插件版本，并在ChatGPT注册。通过嵌入OpenAI，允许开发者选择一个矢量数据库（Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz）对文档进行索引和搜索。

与此同时，这些信息源可以使用webhooks与数据库同步。

「Chat Store」来了

除了自家的插件外，OpenAI这次还发布了11款第三方插件：

其中，第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。

这些插件涵盖了实时信息检索、订机票、在线点餐、交通导航、企业办公、流程优化等功能。

没错，ChatGPT全宇宙里，一家子就是要整整齐齐。

此外，OpenAI还鼓励开发者一起做插件。然而，这个权限不是人人都有的，需要一个「入场劵」。

你首先需要先加入waitlist申请，申请时最好填上个人GitHub地址。这也是OpenAI用来判断开发能力的标准之一。

创建一个插件需要三个步骤:

- 构建 API

- 使用OpenAPI yaml或JSON格式记录API文档

- 创建一个JSON清单文件，定义插件的相关元数据

理工科神器Wolfram|Alpha

而且，Wolfram|Alpha插件的注入，让「数学菜鸡」ChatGPT也有翻身的机会了。

此前，人们就发现ChatGPT做「鸡兔同笼」的题总是出错。这引起了Wolfram语言之父Stephen Wolfram的注意。

当时，Wolfram就曾提出要解决ChatGPT的数学短板，方法便是结合进自己的Wolfram|Alpha知识引擎。

作为一个在线自动问答系统，Wolfram|Alpha不仅具备强大的结构化计算能力，而且也能理解自然语言。

这不，历经2个半月，ChatGPT已经获得了「Wolfram的超能力」。

让我们看一看ChatGPT的计算超能力。

1月份，Wolfram曾用ChatGPT演示的简单例子「从芝加哥到东京有多远」生成结果不是正确的。

加入插件后，ChatGPT的能力立刻增强了，不仅生成了正确的结果，而且给出了可视化的图片。

这是如何实现的？ChatGPT为W|A构建一个查询系统，然后将其发送到 Wolfram|Alpha 进行计算，然后根据读取到的结果「决定要说什么」。

你可以通过点击「使用Wolfram」框来查看这个前后过程 (通过查看这些信息，你可以确认ChatGPT没有「编造任何东西」) 。

同样的，此前Wolfram就注意到，ChatGPT只是「捏造」了看似合理 ，但却是错误的数据。

输入的prompt如下，在调用了Wolfram插件后，ChatGPT输出了一个正确且权威的答案。

我们甚至还能用ChatGPT做出图表。

Wolfram还给了一个全景图，你能用ChatGPT+Wolfram|Alpha能做的事情，可太多了。

大佬们都炸了！直呼ChatGPT是宇宙中心

几个小时前，ChatGPT之父直接翻出2022年4月曾说的话：「我们需要为这种新的计算机界面命名，用自然语言告诉计算机你想要什么，然后直接让它们执行操作。大家有想法吗？」

或许在那时，ChatGPT Plugins的想法就已经在他的脑海中酝酿了。

OpenAI的首席科学家Andrej Karpathy表示：

GPT类模型是一种运行在文本上的新型计算机架构，它不仅可以与我们人类交谈，也可以与现有的软件基础设施「交谈」，API是第一步，插件是第二步。

我们所处的时代也太炸裂了……

「如果把OpenAI比作苹果，那GPT-4就是iPhone，ChatGPT则是iOS，而这次发布的Plugins就是App Store了。」

而国内网友立马就设想出了一系列应用场景——现在可以用ChatGPT预定酒店航班、点外卖、网购了，而这些插件最擅长的就是Marketplace，现在，ChatGPT是真成宇宙中心了吧……

来源：成为马斯克

有网友称，这是「ChatGPT宇宙」的开端。

来源：倪爽

而微博大V「木遥」惊呼：用自然语言生成插件，是我这辈子见过最疯狂的系统。

最后他发出预言：Python已死。

来源：木遥

最近，微软副总裁Yusuf Mehdi发出了这样的感慨。

的确，我们谁都不曾想到，这个三月会如此疯狂。