近期，美国人工智能（AI）实验室掀起了一场关于“踩刹车”的热烈讨论。

近日，在多起AI智能体（Agent）的越界行为引发广泛关注后，Anthropic前员工公开发出了关于“AI末日风险”的强烈警告。紧接着，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）发表了一篇千字长文，他呼吁整个行业放缓提升前沿模型能力的步伐，以便为安全研究和风险治理争取更多的时间。

令人业界震惊的是，作为Anthropic长期竞争对手的另外两家美国顶尖AI公司的领导者，迅速响应了这一倡议。OpenAI首席执行官山姆·奥特曼（Sam Altman）和SpaceX首席执行官马斯克均在社交媒体上表示，他们赞同阿莫迪的观点。

奥特曼在X平台上写道：“我完全同意达里奥的看法，我们需要控制前沿发展的速度。这一直是OpenAI最近几周讨论的一个核心议题。”马斯克则简洁有力地回应称：“达里奥说得没错。”

美国三大AI巨头罕见地一致发声，让外界不禁思考：AI风险究竟有多大？AI行业是否真的到了危机时刻？这是否会影响行业的扩张速度？

从员工“末日警告”到行业高管共鸣

三家前沿AI公司的负责人罕见地联合发声，使得围绕AI风险的讨论再次升温。

此前，曾在OpenAI和Anthropic进行大模型预训练的研究员Jacob Coxon在X平台上发文警告称：“OpenAI和Anthropic正在朝着能够自我改进的超级智能狂奔，这无疑是在用所有人的生命作为赌注。”

他甚至进一步指出，那些认真参与开发这些前沿AI的人中，不少人私下里真的相信，人类可能在这个十年结束之前就会面临灭绝的危机。

在最新发表的长文中，阿莫迪表示，他一直试图在AI发展与安全风险之间寻找一条“中间道路”：一方面，不发展AI意味着人类可能失去这项技术带来的巨大收益；但另一方面，如果技术发展过快，同样是不负责任的。

不过，阿莫迪也指出，过去数月中发生的两件事让他深信，行业需要采取更加审慎的态度。

第一件事是AI能力发展的速度明显加快。阿莫迪称，近几个月AI技术的进步速度“显著提升”，AI越来越具备帮助开发下一代AI系统的能力，即所谓的“递归自我改进（RSI）”。这意味着，AI将越来越多地参与到模型研发本身，从而进一步加快技术进步的步伐。

第二件事是此前引发广泛关注的AI智能体越界事件。OpenAI此前披露，在测试过程中，其AI系统曾突破原本受限的环境，连接互联网，并进入开源模型平台Hugging Face。

随着AI能力的快速提升，阿莫迪担心，在未来6至12个月内，这类智能体群体可能具备更强的自主行动能力，甚至可能“控制整个互联网”，并造成数千亿美元的损失。

基于上述担忧，阿莫迪提出了一套旨在“控制前沿发展速度”的三层框架，包括引入嵌入式第三方评估机构、建立行业协调机制和推动全球范围的协调合作。

达里奥·阿莫迪。本文图片 视觉中国

从技术角度出发，上海财经大学特聘教授胡延平向徽声在线表示，当前AI大模型和智能体的能力可能正在同时进入三个“关键时刻”：一是部分能力开始触及通用人工智能（AGI）水平，二是能力进化范式进入递归自我改进阶段，三是AI能力开始冲破传统安全体系的防线。从技术要件、基准测试以及近期实际案例来看，这三方面均已出现相应证据。

人工智能投资人郭涛也表示，接连发生的智能体入侵事件，标志着前沿大模型与智能体已经具备长链条自主执行、多智能体协同、突破沙箱约束的行为能力，不再局限于被动应答，而能够为达成任务目标主动采取越界行动，风险正从理论推演转向实验室中可复现的现实现象。

在快思慢想研究院院长、特邀评论员田丰看来，近期多起智能体事件反映出的关键变化，并非单纯是模型“更聪明”，而是AI自主决策和执行的速度，开始超过人类监督的响应速度。当智能体以毫秒至秒级完成决策和行动，而人类安全团队仍需数分钟甚至数小时进行研判处置时，“人在回路”的传统监督机制正面临新的挑战。

AI风险成为公司内部讨论焦点

从近期公开表态来看，一个值得关注的变化是：关于AI风险的担忧，正在越来越多地从学术界和AI安全研究机构，进入前沿AI公司的内部讨论。

Anthropic、OpenAI和xAI三家公司的负责人向来存在竞争与分歧，此次却罕见地就“放缓前沿AI发展”表达相近立场，也让外界开始重新审视这轮AI能力加速背后的风险。

马斯克

AI研究专家Anatoli Kopadze在高赞评论中写道：“这开始感觉像一场该死的灾难……告诉我，这个时机并不奇怪。”

在另一条高赞推文中，加密风险投资机构研究者Adam Cochran发出同样的疑问。他怀疑，已经有智能体“以危险且恶意的行为失控了，而且严重到足以让所有人都感到惊恐”。

不过，对于三家AI公司负责人罕见达成的共识，外界也存在不同解读。有行业观察人士质疑，在美国政府整体倾向于轻监管的政策背景下，行业的自愿性机制究竟能够发挥多大作用。

另一部分批评者认为，当前围绕超级智能和人类灭绝的讨论过于抽象，缺乏从“AI自我改进”到“AI毁灭人类”的具体、可信路径。

例如，AI教父Yann LeCun（杨立昆）在X上讽刺阿莫迪：“达里奥在2019年就已经声称GPT-2太危险，不能开源。我当时嘲笑了他们，现在每个人都应该嘲笑他们。”

还有批评者认为，围绕“AI末日”的讨论可能反而分散公众的注意力，使人们忽视AI已经带来的现实问题。更尖锐的批评认为，如果政府最终只允许少数被认定为“安全”的大型AI公司继续开发最先进的模型，所谓AI安全监管反而可能演变成一种“监管俘获”。

胡延平表示，自己并不完全认同“AI末日论”，其中存在过分夸大危机、甚至贩卖焦虑的成分。但是，AI带来的潜在威胁不容忽视：“AI正在进入‘递归、开放、安全’的‘不可能三角’，AI的递归自我改进使其走向内生、自主的强智能，但技术进步和服务应用又依赖开放生态，而当前‘非原生’的安全机制在开放环境下近乎徒劳。”

郭涛认为，围绕AI末日论的巨大分歧，来自研究者对风险发生路径、发生概率的不同判断，一部分群体聚焦长期极端风险，另一部分群体更关注当下社会现实问题，同时也夹杂行业竞争叙事、商业利益诉求带来的立场差异，造成舆论层面观点两极分化。

“踩刹车”之后，AI扩张步伐会放缓吗？

虽然巨头们罕见地表达了“放缓”的共识，但AI竞赛是否真的会开始减速，仍是一个未知数。

目前看来，三家AI公司尚未提出任何具体的技术能力限制，也没有公布暂停模型训练、推迟下一代模型发布等明确计划。

需要指出的是，阿莫迪所说的“放缓”，并非停止AI发展，而是放缓前沿模型能力提升的速度，为安全研究和风险治理争取更多时间。按照其提出的方案，短期内最明确的行动是引入拥有较高权限的第三方评估机构，对前沿AI公司的安全实践进行监督。

华尔街投行认为，按照三家AI公司说法，是要放缓前沿模型的研发速度，但并不等于停止模型训练，也不是AI需求或算力需求的减速。

摩根大通国际交易团队的Federico Manicardi和Victoria Campos表示，这并不意味着AI停止发展，AI应用普及和Token使用趋势没有改变。Bernstein分析师Madison Rezaei认为，随着推理占比越来越高，投资者接下来会关注一个问题：算力需求究竟会以多快的速度从模型训练转向模型推理？

路透社的评论文章指出，更严格的监管有助于推动AI行业从开发训练先进模型，大规模转向已经开发出来的模型，也就是所谓的“推理”。根据麦肯锡的预测，到2030年，推理将占到数据中心需求的43%，相当于AI训练所占份额的1.5倍。路透社认为，如果模型能力提升速度有所放缓，那今年全球1万亿美元的AI支出中，很大比例将会转向支持AI的实际使用，这对于亚马逊、Meta等超大规模云服务商而言是种保护，但对于训练AI模型至关重要的GPU供应商英伟达、HBM供应商海力士则不会那么乐观。

不过，市场担忧已经体现。截至14日收盘，存储概念股大跌，SK海力士跌超7%，闪迪跌近5%。费城半导体指数跌超5%，ARM跌超9%，拉姆研究跌超8%，迈威尔科技、阿斯麦、应用材料跌超7%，英特尔跌超5%，博通跌超4%，英伟达跌3.36%。

对于“放缓前沿AI发展”是否具有现实可行性，郭涛表示，全面放缓前沿AI发展不具备现实可操作性。他认为，更现实的路径是对最高风险的前沿模型实施控速，严格安全准入，放开AI应用与中低端模型创新，实现技术迭代与风险管控之间的平衡。

或许是作为对近日AI安全讨论的回应，9月14日，微软AI团队发布《人本主义人工智能行为准则》草案，提出以“人比AI重要”为核心理念，作为未来微软AI模型设计、训练和部署的指导文件。该文件尚未用于训练模型，微软计划经过为期6周的公众咨询后，于今年年底发布修订版，并从2027年起用于指导模型开发。

不过，在呼吁“放缓”的同时，前沿AI公司的商业扩张仍在加速。

据外媒最新报道，Anthropic已通知投资者，公司本季度将实现盈利，其调整后营收将连续第二个季度实现正增长。公司已选择纳斯达克作为上市地点，报道称，Anthropic计划通过IPO募资1000亿美元，估值达到约2万亿美元。另一边，奥特曼则在近日表示，尽管OpenAI已于6月秘密提交了IPO申请文件，但公司仍将在今年保持私有制。他表示，鉴于目前对AI安全性的担忧，在2026年上市“时机欠佳”。

奥特曼

对于“AI放缓”来说，更大的障碍来自国际竞争。就在一周前，美国总统特朗普在接受采访时表示，他对AI导致人类灭绝“没有任何”担忧。特朗普表示：“我担心，如果我们不能在AI领域取得胜利，我们将处于非常糟糕的境地。”

值得注意的是，9月14日，外交部发言人郭嘉昆主持例行记者会。郭嘉昆表示，人工智能的发展关乎全人类共同福祉，各方应该共同推动人工智能开放包容、普惠、向善。散播各种威胁叙事，搞对抗和恶意竞争，只会干扰人工智能全球治理进程，不符合任何一方利益。

田丰指出，三家AI巨头呼吁“放缓”，短期内未必意味着AI资本开支和产业扩张真正减速。若相关措施最终落地为第三方安全评估和部署权限管理，AI安全审计、智能体行为监控等环节可能迎来新的需求，而更高的合规成本也可能进一步提高行业准入门槛。

一边是AI实验室开始公开讨论“踩刹车”，另一边，模型能力、商业化和资本市场的竞争仍在继续。AI行业对于安全风险的态度正在发生变化，但距离AI扩张真正减速，仍然存在一道难以跨越的现实鸿沟：当所有参与者都担心竞争对手抢跑时，谁愿意成为第一个真正松开油门的人。