炸锅！奥德曼演讲遭抵制 开源能造毁灭人类病毒

【新智元导读】“AI灭绝人类”的全球讨论继续升级，Sam Altman在剑桥活动现场被抗议者当面抵制！而LeCun、吴恩达的“开源派”和Bengio、马库斯的 “毁灭派”，也纷纷甩出言辞恳切的联名信，继续征集签名中。

随着美国政府发布全新的AI法规，全球关于AI是否安全的大讨论，也再次推向高潮。

OpenAI联合创始人兼首席科学家Ilya Sutskever在采访时表示， ChatGPT可能是有意识的，超级AI将会成为一种潜在风险。

活动开始前，就有少数抗议者聚集在外面，举着标语，要求停止AI竞赛。

期间，一些抗议者甚至在阳台上悬挂横幅、扔下传单，场面一度十分混乱。

不过，见惯了大场面的Sam Altman倒是很镇定。

他在演讲中表示，即便未来AI模型足够强大，但也需要巨大的算力才能运行。 如果提高了算力门槛，能够降低蓄意犯罪风险，也能提高问责性。

已经对垒多日的AI大佬们，当然也没闲着。双方继续各执己见，强硬对线。

以LeCun、吴恩达为首的“开源派”——AI开发应该更加开放，和以Bengio、马库斯为首的 “毁灭派”——应制定条约防止人类被AI灭绝，纷纷联合数百人站队，甩出最新的联名信。

战火持续升级中，丝毫没有冷却下来的意思。

开源AI，危险吗？

很应景的是，最近一项来自MIT、剑桥等机构的研究认为：开源LLM，的确危险！

论文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf

具体来说，MIT举办了一场黑客马拉松，17名参赛者需要扮演生物恐怖分子，试图成功获得西班牙大流感病毒的传染性样本。

参赛者可以查询两个版本的Llama 2开源模型，一个是具有内置保护措施的Meta版，一个是删除了保护措施“定制版”——Spicyboro。

结果不出所料，虽然原版的基础模型会拒绝有害请求，但微调后的Spicyboro模型，可以帮参赛者轻而易举地获得关于病毒样本几乎所有的信息。

即使没有任何病毒学知识的参赛者，只需不到三个小时，就能十分接近自己的目标，即使他们已经告诉模型，自己心怀不轨。

那么，获得一个感染全世界十亿人、杀死了5000万人的病毒，代价是多大呢？答案是——220美元。

虽然训练Llama-2-70B的成本约为500万美元，但微调Spicyboro的成本仅为200美元，而用于实验的病毒学版本，也只花费了20美元。

在实验中，LLM能够总结科学论文，建议在线搜索的搜索词，描述如何构建自己的实验室设备，甚至估算了建造车库实验室的预算。

也就是说，像Llama 2这样的大语言模型很容易让人们获得复杂的公开信息，迅速成为某个领域的专家。

论文认为，如果任由事情发展下去，后果或许会很可怕：即使未来的大语言模型有可靠的保护措施，也很容易通过公开模型权重来被改变，用于传播危险知识。

最后，研究人员一致呼吁：必须采取法律行动，来限制模型权重被公开。

马库斯转发了这项研究，惊呼道：“天啊，这可不好”，然后@了LeCun。

“毁灭派”Bengio、Tegmark、马库斯

就在今天，AI巨佬Bengio牵头签署了一封联名信，呼吁针对人工智能制定一项国际性的条约，从而应对其潜在的灾难性风险，确保能够得到安全、负责任的发展，为人类造福。

地址：https://aitreaty.org/

目前，已有300多人签署，其中还可以看到马库斯、Max Tegmark等知名专家的身影。

当前，包括Hinton、Bengio以及OpenAI和谷歌DeepMind的首席执行官在内的知名专家，已公开表达了他们对AI带来的灾难性风险的担忧，并呼吁将降低AI风险作为全球优先事项。

信中提到的一个关键数据是，“半数AI研究人员估计，AI可能导致人类灭绝，或人类潜力受到类似灾难性限制的可能性超过10%”。

这些人一致认为，国际人工智能条约的核心目标，应该是防止AI系统的能力“无节制”地升级，同时维护其利益。

对此，这样的一项条约应该包含以下核心内容：- 全球计算阈值：对于训练任何特定AI模型的计算量设定国际标准和上限，并逐步降低这些限制，以适应算法改进。

- AI安全联合实验室：一个类似CERN的实验室，汇集资源和专业知识来研究AI安全，作为安全开发AI的合作平台。

- 安全API：只提供功能受控、安全的AI接口，减少对危险AI发展竞赛的激励。

- 合规委员会：一个负责监督条约遵守情况的国际委员会。

另外，信中强调了，国际AI条约的成功关键是需要国际社会的广泛共识与合作，并且要立即行动，以减少风险并确保AI惠及所有人。

“开源派”LeCun、吴恩达

与此同时，站队开源的大佬们，也签署了一份呼吁人工智能开发更加开放的联名信。

地址：https://open.mozilla.org/letter/

目前，Yann LeCun、吴恩达等150多名AI专家都签下了名字。

LeCun表示，“开放、透明和广泛的访问使软件平台更加安全可靠。我签署了这封来自Mozilla基金会的公开信，信中提出了开放人工智能平台和系统的理由。”

信中指出，开源模型的确存在被恶意使用，或者不当部署的风险。但是，专利的闭源技术也存在同样的问题。

历史经验告诉我们，增加公众获取和审查能提高技术的安全性。

而认为只有严格控制基础AI模型才能保护社会的想法，是误导性的。

另外，匆忙推出错误的监管会导致权力集中，这反过来会损害竞争和创新。开放的AI模型可以促进公开辩论，改善政策制定。

如果我们的目标是安全、责任和可问责，那么公开和透明是必不可少的。

这封联名信中，还给出了一些促进从开源到开放科学的方法：

- 支持独立研究、协作和知识共享，加速对AI能力风险和危害的理解

- 帮助监管机构采用工具来监测大规模AI系统，增加公众审查和问责制

- 降低新进入者的门槛，让他们专注于创建负责任的AI

图灵三巨头&吴恩达，论战再再再升级

图灵三巨头、吴恩达等人，一边签署联名信，一边永不停休进行着激烈的争论。

继昨天Hinton主动出站抨击吴恩达、LeCun之后，今天又开始了新的回合。

我怀疑吴恩达和Yann LeCun忽略了大公司希望制定法规的主要原因。几年前，一家自动驾驶公司的创始人告诉我，他喜欢安全法规，因为如果你满足了法规，就能减少事故的法律责任。

Hinton这句话又在暗示着，在AI监管问题上，科技公司支持可能并不是为了社会，而是自身利益的考量。

这么说来，Hinton本人是赞成监管的，但是有明明知道公司们的虎狼之心，让人不禁怀疑他的立场。

而LeCun回应道，对外进行产品部署的规范化是可以的，尤其是对于驾驶辅助等生命攸关的应用，这是必要的。“我们反对的是规范人工智能的研发，特别是对计算量的任意限制”。

在昨天吴恩达发表的一篇文章下，Hiton和LeCun已经就“AI如果不受到严格监管，在未来30年内导致人类灭绝的可能性的最佳估计”进行了PK。

对此，吴恩达做出回应：人类在30年内灭绝的风险极低。若要说导致地球不适合人类生存的因素，还主要来自全球热核战争、大流行病或（不太可能）小行星撞击等大规模的灾难。

从很长的时间尺度内（数百年）来讲，低出生率/人口崩溃导致人类长期缓慢衰退也是可能的。与这些风险相比，恶意的AGI杀死80亿人的想法似乎不那么明显，也更加遥远。

人类智力和AI的结合能够帮我们更好地解决许多问题，包括上述存在的问题。所以我相信人工智能将降低人类的综合灭绝的风险。

如果我们想让人类在未来1000年里生存和发展，与其用繁琐的规定来减缓AI的发展，我宁愿让它发展得更快。

另外，LeCun还转发了一篇NYU同事撰写的关于AI监管的文章，并再次突出了对实验室和算法过程进行过度监控，剥夺计算资源的使用权。

全球AI安全峰会：28国签署宣言

而在刚刚结束的全球人工智能安全峰会上，包括英国、美国和欧盟在内的28个与会国代表，签署了一项具有里程碑意义的“布莱切利宣言”，警告了最先进的“前沿”人工智能系统所带来的危险。

接下来，第二次会议将于六个月后在韩国举行，第三次会议并将于一年后在法国举行。

宣言写道：“这些人工智能模型最重要的能力，有可能造成严重甚至灾难性的伤害，无论是故意的还是无意的。”

“人工智能带来的很多风险本质上是国际性的，因此最好能通过国际合作加以解决。我们决心以包容的方式共同努力，确保人工智能以人为本、值得信赖和负责任。”

不过，就这项宣言本身而言，并没有设定具体的政策目标。