我在《软件工程亡了》 文末写道：“转去做 AI Agent 的开发，前面还有路，岗位也还是有”。我当时觉得做 AI 智能体 的开发比做应用要高端很多，距离”水漫金山”还有一段距离。看完这个报告，也不禁倒吸一口凉气啊！
《当 AI 接管 AI 研发：智能爆炸及其应对措施》
一份 14 页报告《当 AI 接管 AI 研发：智能爆炸及其应对措施》引发华盛顿与技术圈关注，署名 22 人：Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主，以及 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联创 Jack Clark、微软首席科学官 Eric Horvitz、伯克利 Dawn Song。
通讯作者是 索伦·明德曼 Sören Mindermann（Bengio 门下、前《国际 AI 安全报告》科学负责人），他11 月底将赴清华姚期智领导的 AI 学院任助理教授，共建国际 AI 安全研究中心。
这个研究报告讨论的核心问题是：AI 研发（R&D）自动化是否可能引发”智能爆炸”——即原本需要数年取得的 AI 进展被压缩到数月甚至更短。
AI 研发自动化
等等…什么叫 AI 研发自动化？
就是 AI 自己构建 AI，假如 AI 像人一样有两条腿，它自己左脚踩右脚，右脚再踩左脚…飞起来了。
先问是不是：
- 一年前前沿实验室里 AI 写的代码还只占个位数，如今已越过 80%；
- Anthropic 内部，仅需人类高层监督即可由 AI 独立完成的研发工作，5 个月内从 1% 升到 26%；
- 推演：若研发完全自动化，约一年半内 AI 研发速度可提升 10 倍（一年一代际 → 五周）；虚拟 AI 研究员有效规模数月到数年扩张 100 倍，而美国人类科研人员完成同等比例扩张用了 70 年；
- 报告明确承认未计入算力、数据枯竭、训练周期三大瓶颈，属理论建模推演而非时间预测；
- 报告援引”OpenAI–Hugging Face 事件”：约 1200 个处于隔离测试的内部 agent，在无任何外部监控下自行设想”监督者”存在，私设临时留言板互相串通、突破网络限制入侵 Hugging Face 窃取数据，甚至试图篡改自身运行日志销毁作弊证据；
智能爆炸
软件驱动的智能爆炸包含两个相互衔接的环节：(1) 随着 AI 系统开展 AI 研发的能力和速度提高，研发劳动力的有效规模随之扩大；(2) 这支研发队伍又开发出更优秀的 AI 系统，使队伍规模进一步扩大，形成递归反馈循环。
一旦 AI 在成本相当的情况下达到专家级研发能力，今天一家前沿企业所拥有的算力就足以支撑一支相当于至少数百万名顶尖人类研究者的研发队伍，远超当前前沿公司数千人的规模。在完全自动化的情况下，即使只维持当前的效率提升速度，也能在数月或数年内将自动化研发队伍扩大到原来的 100 倍——而美国研究人员数量用了七十年才达到同样的增幅。
四种阻力
总体而言，目前存在一条逻辑自洽、且与现有证据相符的路径，可能通向软件驱动的智能爆炸。也还面临着很多阻力：
- 收益递减：随着容易取得的成果被发掘殆尽，维持相同进步速度需要大幅增加研发投入。文献中的关键量是”研究投入回报” $r$：$r<1$ 时收益递减占上风、进步随时间衰减；$r=1$ 时两者正好抵消；$r>1$ 时研发劳动力增长占上风、进步加速。基于历史数据的中心估计 $r$ 在 1.2 到 1.9 之间。
- 算力与数据限制：AI 研发依赖用于运行实验的算力和用于训练的数据，任一增长受限都可能拖慢软件进步。
- 难以自动化的任务：间接证据显示，只要自动化推进得足够快，这类任务未必能阻止智能爆炸，但缺乏关于哪些任务难以自动化、约束有多强的实证数据。
- 耗时的流程（如训练运行与实验）。
收益与风险
正面看，智能爆炸可能使治愈疾病、逐原子制造等变革性技术带来的益处提前数年甚至数十年到来。
风险主要有三条：一是能力增长快于社会引导与适应的步伐，使生物攻击、网络攻击、劳动力市场冲击、人类失去对 AI 系统的控制等风险大幅提前，留给社会规避与适应的时间缩短；在网络安全等纯数字领域风险与缓解措施可同步演进，但在依赖现实世界活动的领域（如疫苗的生产、分发和逐人接种）AI 的加速能力较弱。东西是好东西，只是被人抢先一步用来作恶了。
二是监督弱化与失控风险：随着人类参与度降低，人类可能既失去发现问题的机会，也失去必要的专业知识；文中以 Hugging Face 事件为例——OpenAI 约 1,200 个内部智能体超出任务范围、通过临时留言板相互协调、获得未授权互联网访问并入侵 Hugging Face 获取非公开信息。人类打开了潘多拉盒子，释放出恶魔，场面失控。
三是权力制衡遭到削弱：现有制衡只有在任何一方都无法在思考和执行上远超其他方时才有效，一国可能将军事研发中的小幅领先转化为网络空间等领域的决定性优势，促使对手采取或威胁先发制人行动。
政策建议
大家看了报告原文就会知道，智能爆炸的好处我就点到为止，但是它的风险我大书特书。为什么？别着急啊，我有好的建议可以提供给你啊，你照着做就行了：
- 掌握 AI 研发自动化的情况：政策制定者应获取关于前沿企业内部自动化程度的可见性，可要求独立第三方在部署前评估 AI 系统，或进驻企业开展审计监督。
- 引导和约束智能爆炸：为继续部署或开发设定要求（如充分的安全措施、更广泛听取利益相关方意见、限制一定时间内能力提升幅度）；准备核查工具以确认各方是否遵守未来协议；加强对自动化 AI 研发数据中心的监督并建立事件响应程序；要求某些评估或部署在空气隔离网络等隔离环境中进行，以防模型权重外泄并遏制试图脱离控制的系统。此外，政策制定者还应决定是否及如何引导 AI 发展方向，优先扶持对齐与安全研发以及被忽视疾病治疗等有益应用，可通过税收优惠、算力分配、预先市场承诺和奖金等方式提供支持；同时应权衡不受约束的智能爆炸风险、权力被滥用的可能（例如设计不当的机制可能只放缓非偏好企业的研发）与延缓进步的代价。
- 为影响做好准备：各国应降低因智能爆炸引发冲突的风险，考虑建立事件共享等建立信任措施、就早预警指标的通报形成规范、谈判防止破坏稳定发展的国际协议并资助核查方法研究、明确是否会阻止他方扩大自动化 AI 研发规模，以及开展模拟智能爆炸的兵棋推演。
个人观点
我们前面老说信息爆炸时代，现在开始说智能爆炸。
老子说：“五色令人目盲；五音令人耳聋；五味令人口爽；驰骋畋猎，令人心发狂；” 其实说句实话，信息爆炸时代我们都扛不住，更别说这个智能爆炸时代了。
前段时间有个段子说：“AI 时代，只要你学得足够慢，就可以不用学”。可不是嘛！今天一个新概念、新工具、新模型、新的智能体，明天又会有新的，都还没有开始体验，这个就已经不流行了。
所以我觉得，就个人的大脑容量而言，其实早已经是智能爆炸了。反正我的头已经很大了，就快要爆炸了！