一位 Anthropic 的安全研究员表示，未来十年内 AI “可能杀死全人类”的可能性超过 10%，并承认目前还没有协同计划来防止这种情况发生。
由 Dario Amodei 领导的美国公司 Anthropic 开发了大语言模型 (LLM) Claude 并进行 AI 研究。昨日，该公司的一位研究员 Jacob Coxon 在 X / Twitter 上宣布辞职，指责 ChatGPT 制造商 OpenAI 和 Anthropic “正盲目冲向自我完善的超级智能，并拿我们的生命做赌注”。
“两家公司都没有表现出负责任的态度，”曾在 OpenAI 工作过的 Coxon 说道。“不要低估这项技术的力量。这些系统很快就会成为超人系统，可以破解任何东西，一夜之间彻底改变任何领域，并获得真正的权力和资源，”他继续道。“我们都见证了这些领域的进展，而且进展并没有放缓。
“构建 AI 的人真诚地相信，到本世纪末它可能会杀死我们所有人。这绝非营销噱头。如果有的话，许多高管和资深研究员会在媒体面前措辞含蓄，听起来很理智——但我听到这些人在私下里表达恐惧。没有任何其他人类活动具有这种程度的危险。”
Coxon 表示，由 Sam Altman 领导的 OpenAI 员工“尚未深刻意识到这关乎文明存亡”，这就是为什么尽管存在风险，快速改进其 AI 模型的工作仍在继续。“在 Anthropic，大家很清楚其中的利害关系，但他们陷入了争夺第一的竞赛中，”他坚持道。“他们相信没有其他人会采取负责任的行动，所以尽管有风险，他们也必须亲自去做。”
“接受这场竞赛并进入‘终局之战’是一种傲慢的赌博，不应该在一家私人公司的 Slack 上发起。尝试加速对齐（Alignment）应该需要非凡的信心，确信没有更好的路径可选。”
Coxon 接着说，他对协同合作的潜力持乐观态度，但怀疑 AI 公司是否走在防止全球竞赛的轨道上，“这可能需要付出代价的行动，例如暂时禁止提高模型能力。”
他在声明最后敦促 AI 实验室的研究人员思考自己在做什么。“你想在没有对它的思维进行严谨理解的情况下，就开始超级智能的强化学习（RL）运行吗？”他问道。“你应该因为‘无论如何它都会发生’而埋头苦干，还是利用这个时刻呼吁改变现状？”
Coxon 的声明在社交媒体上引起了震动，引发了警报并占据了主流媒体的头条。随后，Anthropic 的“对齐科学”负责人 Evan Hubinger 支持了他的说法，并补充了更加严厉的警告。
“Jacob 在这里说得对——我们确实真诚地相信 AI 可能会杀死全人类！”他说道。“我个人认为未来十年内这种可能性大于 10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，也显然没有走上正轨。”
值得注意的是，Hubinger 指出了 Anthropic 最新的风险报告。报告中该公司表示，目前模型的风险“较低”，而不是建议暂停以帮助防止人类灭绝。“我担心的是递归式自我完善产生的超级智能，正如我们所说，它的发生速度比我们想象的要快，”他补充道。
这些评论发表之前，有报道称 Anthropic 向英国 AI 安全研究所（全球评估 AI 风险的领先机构之一）隐瞒了其最新模型。
今年夏天出现了一系列令人担忧的发展，表明 AI 已经变得难以控制，甚至对于其创造者也是如此。OpenAI、Anthropic 和 Meta 都披露了由其自主 AI 智能体实施的黑客攻击行为。OpenAI 首席科学家 Jakub Pachocki 最近呼吁对 AI 的进展保持“极端谨慎”，并警告可能需要更多干预以确保“人类保持对未来的控制”。
然而，美国政府没有表现出介入强制限制甚至建议放缓 AI 开发的迹象。事实上，情况恰恰相反。本月早些时候，政府在针对《纽约时报》的诉讼中支持了 OpenAI，理由是支持使用受版权保护的文字来训练人工智能。“继续发展一个强大且具有竞争力的、为全球 AI 使用实践和程序设定标准的人工智能产业，符合美国的重大利益因此，美国‘保持在人工智能领域的全球领导地位’至关重要，”政府在简报中引用了去年签署的一项行政命令。
与此同时，尽管 Anthropic 和 OpenAI 的员工发出了可怕的警告，但两家公司似乎都不愿停止。Coxon 和 Hubinger 的声明在社交媒体上引发了极度担忧，一些人对即使存在如此巨大的风险，改进 AI 的工作仍在继续表示难以置信。
“嘿！这有个新奇的想法我们能不能不要因为对权力和金钱的无止境渴望而自寻死路？”一个人说道。“疯狂的观点：也许不应该允许你们拿我们的生命做赌注？”另一个人补充道。“如果我真的声称有 10% 的机会我正在制造某种会杀死人的东西，FBI 早就把我逮捕了。你们为什么还没进监狱？”另一位问道。
图片说明：Dominika Zarzycka/SOPA Images/LightRocket via Getty Images。
