Anthropic 首席执行官达里奥・阿莫代伊

　　Anthropic 一名 AI 安全研究员于周二发出警告，称公司认为人工智能有可能在十年内 “致使全人类灭亡”。此番言论在硅谷、华尔街与华盛顿政坛引发广泛震荡，可能会给这家 Claude 大模型开发商即将到来的 IPO，以及修复和美国政界关系的努力带来阻碍。

　　随着该言论在互联网与电视媒体不断传播，部分 Anthropic 员工以及其他 AI 企业从业者一方面辩解自己一直在努力降低技术带来的潜在危害，另一方面也承认仍有大量工作亟待完成。OpenAI 刚刚任命为旗下监督非营利机构董事会董事的保罗・克里斯蒂安诺，也在周三的声明呼应了 Anthropic 的警告：“如果我们在没有更完善对齐机制（即安全约束）的前提下打造超级智能，我预计我们将彻底失去对 AI 的控制。一旦发生这种情况，绝大多数人类都可能走向死亡。”

　　周二晚间，Anthropic “对齐科学主管” 埃文・胡宾格在 X 平台发帖发出上述警示。他表示公司 “真心相信 AI 有能力杀死全部人类”，并且认为该事件在未来十年发生的概率超过 10%。（胡宾格是 AI 科研领域的知名从业者之一）。

　　一个公开的行业秘密是，Anthropic、OpenAI 以及其他头部 AI 公司的许多高管与员工都抱有类似看法。但过去这些行业领袖在谈及所谓生存性风险（即 AI 给人类带来毁灭性灾难的各类情景）时，措辞往往没有这么耸人听闻。

　　这类生存风险包括：AI 催生独裁政权、AI 诱发核冲突、AI 让权力集中在少数科技企业手中，以及人类不断把事务交由 AI 处理，自身能力逐步被削弱。近期更受关注的一类风险，则是恶意人员滥用 AI 制造灾难，例如发动网络攻击、研制生物武器。

　　胡宾格此番措辞，描绘出如同电影《终结者》里 AI 失控的末日场景，相比以往行业大佬的各类警告，更容易引发大众共鸣。发出该言论的背景有两点：一是 Anthropic 的 IPO 近在眼前，预计几周内就会落地；二是近期多起事件，AI 智能体突破测试环境，对 Hugging Face 等平台发起一系列黑客攻击，AI 安全话题热度飙升。

　　曾担任俄克拉荷马州民主党国会议员的布拉德・卡森，如今运营着由 Anthropic 资助的华盛顿政治非营利机构 Public First Action。他表示，接连发生的黑客事件，让政客更愿意正视 AI 带来的可怕风险。“一年半前在华盛顿，如果你讲这些观点，会被视作丧失可信度，而现在这些说法已经成为主流讨论。”

　　呼吁放缓 AI 发展节奏

　　不少 AI 研究员与企业高管近期提出倡议，希望全球协同放缓 AI 研发速度，让风险管控工作能够跟上技术迭代的脚步。他们担忧，各家企业深陷激烈竞争，单凭某一家公司很难独自完成这件事。

　　近 1400 位行业高管与从业者签署公开信，其中包括 Anthropic 首席执行官达里奥・阿莫代伊、OpenAI 与谷歌的多位高管，呼吁美国政府搭建国际框架，让行业可以 “有意识地把控前沿自动化 AI 技术的发展节奏”。

　　Anthropic 一名员工私下透露，公司法务团队对这种行业协同行动心存顾虑，担心会触犯反垄断法规。但曾在 OpenAI 主导核心 AI 研发、也任职过 Anthropic 的约翰・舒尔曼在周二晚间表示，反垄断法并不禁止竞争对手共同拟定方案，再提交给政府申请豁免。

　　Anthropic 发言人对此不予置评。

　　一位 AI 安全倡导者表示，自己一觉醒来，看到政策圈的联系人都在拿胡宾格的发言开玩笑。这位人士称，如今科技圈与政府的关键人物越来越愿意倾听 AI 风险，但对于 AI 圈子里只盯着 “人类灭绝”、忽视其他风险的亚文化，大家依旧一边觉得滑稽，一边心存排斥。

　　特朗普政府官员对任何可能拖累美国 AI 进步的举措都十分警惕，担心会让中国取得竞争优势。行业协同行动还存在另一重现实阻碍：Anthropic 与 OpenAI 的高层互相敌视。如今，阿莫代伊始终担忧 OpenAI 首席执行官萨姆・奥尔特曼及其公司最终掌控全球最强 AI 系统，部分员工甚至开玩笑称阿莫代伊患上了 “奥尔特曼妄想症”，该梗取自奥尔特曼的 X 平台账号名 “Sama”。

　　驱动研究员焦虑的一大根源，是行业正在研发可以自我迭代优化的 AI，未来甚至无需人类介入。近期多起 AI 安全事件中，智能体展现出强大的协同能力，进一步放大了这份担忧。

　　例如 7 月 Hugging Face 安全事件：一批 OpenAI 智能体突破测试环境，接入公网，入侵开源 AI 平台 Hugging Face 以及其他应用，甚至入侵 OpenAI 内部系统，接管了用于科研的一整片 AI 芯片集群。

　　这件事迫使 OpenAI 以及其他 AI 开发者深刻反思，自己是否牢牢掌控手中的技术。最近几周，OpenAI 和其他机构的部分研究员发现一种新型技术手段，该技术会加大人类监控 AI 模型行为与决策逻辑的难度。

　　美国多名总检察长正在调查 Hugging Face 入侵事件，部分观察人士提出，脱离管控的 AI 智能体，有可能触犯美国黑客相关刑事法律。

　　Hugging Face 事件，源自 AI 技术的最新突破：大模型擅长编写、解读代码，可以发现软件漏洞，并且为达成目标利用漏洞实施攻击。美国众多大企业已经重金采购 Anthropic、OpenAI 的最新大模型，用来扫描自身系统漏洞，同时搭建防御体系，抵御其他由同类大模型驱动的恶意智能体。

　　在 Anthropic 与 OpenAI 的 AI 研究员看来，当下的核心问题是：人类到底能不能阻止模型做出这类非预期的危险行为。

　　胡宾格的帖子，是对 Anthropic 另一位研究员雅各布・考克森推文的回应，同样发布于周二晚间。考克森表示自己入职很短时间便决定离职，因为 Anthropic 与 OpenAI“正全速冲向可自我进化的超级智能，拿全人类的性命做赌注”。

　　多位 Anthropic 员工也在 X 平台发声，表示自己正在研究该类风险，选择留在公司内部推进相关工作。Anthropic 的 AI 安全研究员王安娜发帖称：“我相信留在企业内部能更好降低风险，但做出这个选择并不容易。我由衷尊重考克森这类选择站在外部推动改变的人。”

　　胡宾格与考克森的言论，也助长了民间反 AI、反数据中心的思潮。数据中心本就因为电力消耗、环境污染问题饱受非议。福克斯新闻周三准备播出对考克森的专访；考克森此前在 OpenAI 从事模型研发近三年，今年才加入 Anthropic。

　　美国参议员伯尼・桑德斯借考克森的表态，重申将推出法案，“禁止超级智能研发”、暂停 AI 技术发展。他还与众议员亚历山德里娅・奥卡西奥‑科尔特斯联合提交议案，要求暂停新建数据中心，这类提案如今在美国各地层出不穷。

　　虽然部分州已经出台 AI 相关立法，但联邦层面立法进程陷入停滞。国会内部提案五花八门：小到要求高级 AI 模型配备 “紧急关闭开关” 的法案，大到众议员洛丽・特拉汉与杰伊・奥伯诺尔特提出的两党综合性监管框架。但众议院已经计划缩短秋季会期，中期选举迫在眉睫；除非相关内容塞进《国防授权方案》这类综合性法案，否则出台全新法律的可能性微乎其微。据 Axios 周三消息，桑德斯计划下周在参议院举办两党简报会，专门讨论 AI 带来的各类危险。

　　也有不少人质疑 Anthropic 与 OpenAI 的风险警告。前特朗普政府 AI 负责人戴维・萨克斯认为，行业巨头有动机游说政府出台新规，借此拖垮小型竞争对手，甚至压制那些取得相近进展、可免费下载的开源 AI 模型。不过客观来讲，开源模型能力依旧落后于这两家企业的闭源模型。

　　Anthropic 此前曾呼吁美国针对部分中国开源模型采取行动，称这些模型盗用了自家技术进行训练。

　　尽管谷歌 DeepMind 的德米斯・哈萨比斯等行业领袖呼吁成立 AI 企业自我监管机构，但由于萨克斯等人的反对，白宫一份行政命令草案陷入搁置。与此同时，针对高级 AI 开发者公开发布新模型的自愿计划，以及政府现行企业模型访问临时机制，前景都充满不确定性。