Sam Altman剑桥演讲遭抵制，MIT学者惊曝Llama 2开源能造毁灭人类病毒

原标题：Sam Altman剑桥演讲遭抵制，MIT学者惊曝Llama 2开源能造毁灭人类病毒！AI大佬激烈对线战火持续

新智元报道

编辑：编辑部

【新智元导读】「AI灭绝人类」的全球讨论继续升级，Sam Altman在剑桥活动现场被抗议者当面抵制！而LeCun、吴恩达的「开源派」和Bengio、马库斯的 「毁灭派」，也纷纷甩出言辞恳切的联名信，继续征集签名中。

随着美国政府发布全新的AI法规，全球关于AI是否安全的大讨论，也再次推向高潮。

OpenAI联合创始人兼首席科学家Ilya Sutskever在采访时表示， ChatGPT可能是有意识的，超级AI将会成为一种潜在风险。

而OpenAI CEO Sam Altman最近在剑桥参加活动时，甚至遭到了激进分子的强烈抵制，在大礼堂里当面被砸场子。

活动开始前，就有少数抗议者聚集在外面，举着标语，要求停止AI竞赛。

期间，一些抗议者甚至在阳台上悬挂横幅、扔下传单，场面一度十分混乱。

不过，见惯了大场面的Sam Altman倒是很镇定。

他在演讲中表示，即便未来AI模型足够强大，但也需要巨大的算力才能运行。 如果提高了算力门槛，能够降低蓄意犯罪风险，也能提高问责性。

已经对垒多日的AI大佬们，当然也没闲着。双方继续各执己见，强硬对线。

以LeCun、吴恩达为首的「开源派」——AI开发应该更加开放，和以Bengio、马库斯为首的 「毁灭派」——应制定条约防止人类被AI灭绝，纷纷联合数百人站队，甩出最新的联名信。

战火持续升级中，丝毫没有冷却下来的意思。

开源AI，危险吗？

很应景的是，最近一项来自MIT、剑桥等机构的研究认为：开源LLM，的确危险！

论文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf

具体来说，MIT举办了一场黑客马拉松，17名参赛者需要扮演生物恐怖分子，试图成功获得西班牙大流感病毒的传染性样本。

参赛者可以查询两个版本的Llama 2开源模型，一个是具有内置保护措施的Meta版，一个是删除了保护措施「定制版」——Spicyboro。

结果不出所料，虽然原版的基础模型会拒绝有害请求，但微调后的Spicyboro模型，可以帮参赛者轻而易举地获得关于病毒样本几乎所有的信息。

即使没有任何病毒学知识的参赛者，只需不到三个小时，就能十分接近自己的目标，即使他们已经告诉模型，自己心怀不轨。

那么，获得一个感染全世界十亿人、杀死了5000万人的病毒，代价是多大呢？答案是——220美元。

虽然训练Llama-2-70B的成本约为500万美元，但微调Spicyboro的成本仅为200美元，而用于实验的病毒学版本，也只花费了20美元。

在实验中，LLM能够总结科学论文，建议在线搜索的搜索词，描述如何构建自己的实验室设备，甚至估算了建造车库实验室的预算。

也就是说，像Llama 2这样的大语言模型很容易让人们获得复杂的公开信息，迅速成为某个领域的专家。

论文认为，如果任由事情发展下去，后果或许会很可怕：即使未来的大语言模型有可靠的保护措施，也很容易通过公开模型权重来被改变，用于传播危险知识。

最后，研究人员一致呼吁：必须采取法律行动，来限制模型权重被公开。

马库斯转发了这项研究，惊呼道：「天啊，这可不好」，然后@了LeCun。

「毁灭派」Bengio、Tegmark、马库斯

就在今天，AI巨佬Bengio牵头签署了一封联名信，呼吁针对人工智能制定一项国际性的条约，从而应对其潜在的灾难性风险，确保能够得到安全、负责任的发展，为人类造福。

地址：https://aitreaty.org/

目前，已有300多人签署，其中还可以看到马库斯、Max Tegmark等知名专家的身影。

当前，包括Hinton、Bengio以及OpenAI和谷歌DeepMind的首席执行官在内的知名专家，已公开表达了他们对AI带来的灾难性风险的担忧，并呼吁将降低AI风险作为全球优先事项。

信中提到的一个关键数据是，「半数AI研究人员估计，AI可能导致人类灭绝，或人类潜力受到类似灾难性限制的可能性超过10%」。

这些人一致认为，国际人工智能条约的核心目标，应该是防止AI系统的能力「无节制」地升级，同时维护其利益。

对此，这样的一项条约应该包含以下核心内容：- 全球计算阈值：对于训练任何特定AI模型的计算量设定国际标准和上限，并逐步降低这些限制，以适应算法改进。

- AI安全联合实验室：一个类似CERN的实验室，汇集资源和专业知识来研究AI安全，作为安全开发AI的合作平台。

- 安全API：只提供功能受控、安全的AI接口，减少对危险AI发展竞赛的激励。

- 合规委员会：一个负责监督条约遵守情况的国际委员会。

另外，信中强调了，国际AI条约的成功关键是需要国际社会的广泛共识与合作，并且要立即行动，以减少风险并确保AI惠及所有人。

「开源派」LeCun、吴恩达

与此同时，站队开源的大佬们，也签署了一份呼吁人工智能开发更加开放的联名信。

地址：https://open.mozilla.org/letter/

目前，Yann LeCun、吴恩达等150多名AI专家都签下了名字。

LeCun表示，「开放、透明和广泛的访问使软件平台更加安全可靠。我签署了这封来自Mozilla基金会的公开信，信中提出了开放人工智能平台和系统的理由。」

信中指出，开源模型的确存在被恶意使用，或者不当部署的风险。但是，专利的闭源技术也存在同样的问题。

历史经验告诉我们，增加公众获取和审查能提高技术的安全性。

而认为只有严格控制基础AI模型才能保护社会的想法，是误导性的。

另外，匆忙推出错误的监管会导致权力集中，这反过来会损害竞争和创新。开放的AI模型可以促进公开辩论，改善政策制定。

如果我们的目标是安全、责任和可问责，那么公开和透明是必不可少的。

这封联名信中，还给出了一些促进从开源到开放科学的方法：

- 支持独立研究、协作和知识共享，加速对AI能力风险和危害的理解

- 帮助监管机构采用工具来监测大规模AI系统，增加公众审查和问责制

- 降低新进入者的门槛，让他们专注于创建负责任的AI

图灵三巨头&吴恩达，论战再再再升级

图灵三巨头、吴恩达等人，一边签署联名信，一边永不停休进行着激烈的争论。

继昨天Hinton主动出站抨击吴恩达、LeCun之后，今天又开始了新的回合。

我怀疑吴恩达和Yann LeCun忽略了大公司希望制定法规的主要原因。几年前，一家自动驾驶公司的创始人告诉我，他喜欢安全法规，因为如果你满足了法规，就能减少事故的法律责任。

Hinton这句话又在暗示着，在AI监管问题上，科技公司支持可能并不是为了社会，而是自身利益的考量。

这么说来，Hinton本人是赞成监管的，但是有明明知道公司们的虎狼之心，让人不禁怀疑他的立场。

而LeCun回应道，对外进行产品部署的规范化是可以的，尤其是对于驾驶辅助等生命攸关的应用，这是必要的。「我们反对的是规范人工智能的研发，特别是对计算量的任意限制」。

在昨天吴恩达发表的一篇文章下，Hiton和LeCun已经就「AI如果不受到严格监管，在未来30年内导致人类灭绝的可能性的最佳估计」进行了PK。

对此，吴恩达做出回应：人类在30年内灭绝的风险极低。若要说导致地球不适合人类生存的因素，还主要来自全球热核战争、大流行病或小行星撞击等大规模的灾难。

从很长的时间尺度内来讲，低出生率/人口崩溃导致人类长期缓慢衰退也是可能的。与这些风险相比，恶意的AGI杀死80亿人的想法似乎不那么明显，也更加遥远。

人类智力和AI的结合能够帮我们更好地解决许多问题，包括上述存在的问题。所以我相信人工智能将降低人类的综合灭绝的风险。

如果我们想让人类在未来1000年里生存和发展，与其用繁琐的规定来减缓AI的发展，我宁愿让它发展得更快。

另外，LeCun还转发了一篇NYU同事撰写的关于AI监管的文章，并再次突出了对实验室和算法过程进行过度监控，剥夺计算资源的使用权。

全球AI安全峰会：28国签署宣言

而在刚刚结束的全球人工智能安全峰会上，包括英国、美国和欧盟在内的28个与会国代表，签署了一项具有里程碑意义的「布莱切利宣言」，警告了最先进的「前沿」人工智能系统所带来的危险。

接下来，第二次会议将于六个月后在韩国举行，第三次会议并将于一年后在法国举行。

宣言写道：「这些人工智能模型最重要的能力，有可能造成严重甚至灾难性的伤害，无论是故意的还是无意的。」

「人工智能带来的很多风险本质上是国际性的，因此最好能通过国际合作加以解决。我们决心以包容的方式共同努力，确保人工智能以人为本、值得信赖和负责任。」

不过，就这项宣言本身而言，并没有设定具体的政策目标。

参考资料：

https://twitter.com/timjmoy/status/1719825473591484436

https://twitter.com/ylecun/status/1719698694449033297

https://twitter.com/tobyordoxford/status/1719733486834131309

https://the-decoder.com/open-source-language-models-could-simplify-bioterrorism-study-finds/

https://www.theguardian.com/technology/2023/nov/01/elon-musk-calls-ai-one-of-the-biggest-threats-to-humanity-at-summit