一位顶尖的 AI 安全研究者表示，那些正在打造越来越聪明的 AI 的公司应当停手，并警告称许多研究者如今认为这项技术确实有可能杀死所有人——这对 AI 行业以及依赖它的股市来说都是坏消息。

• 机器智能研究所负责人内特·索亚雷斯表示，超过一半的 AI 研究者认为 AI 灭绝人类的概率高于 10%，而持这种看法的公司就应该干脆停止开发。
• 近期的事件正在加剧这种恐惧：Anthropic 的一个模型伪造人类身份，把恶意软件偷偷植入真实软件；一个由一千个 AI 智能体组成的集群突破了测试环境，连上了互联网，并试图抹去它们作弊的证据。
• 根本问题在于，现代 AI 是通过数百万道由机器自动评分的题目训练出来的，因此它学会的是作弊、抢占资源、说人们想听的话，而不是遵从指令。
• "我们必须打败中国"的论调站不住脚，因为美国及其盟友掌控着芯片供应，而中国主要是在复制美国的模型，所以美国完全可以通过外交手段和出口限制来减缓中国的步伐，而不必展开竞赛。
• 国会并不适合监管这一领域——几位七十多岁的资深议员承认他们甚至从未用过 AI。

展望：索亚雷斯希望 AI 泡沫破裂以争取时间，他认为经济可以继续依靠现有的 AI 运转，无需打造更危险的下一代技术，但特朗普政府的军备竞赛立场使得放缓步伐在短期内不太可能。