随着人工智能（AI）技术的迅猛发展，该领域的先驱者和行业领袖正发出前所未有的警告，指出不受限制的 AI 能力进步可能对人类构成灾难性乃至灭绝性的风险，并呼吁实施紧急监管。

在过去一周内，来自 OpenAI，Google DeepMind 和 Anthropic 等顶级 AI 实验室的研究人员集体拉响了警报。包括 Sam Altman，Dario Amodei，Demis Hassabis 和 Elon Musk 在内的科技巨头高管达成了罕见的共识，共同呼吁放缓 AI 发展速度并引入监管审查。

这些严厉的警告加剧了华盛顿的立法辩论，直接影响了科技行业的监管前景。尽管美国国会两党的部分议员都在积极推动旨在限制 AI 进展的法案，但美国总统特朗普于周一强烈反对日益高涨的 AI 监管呼声，凸显出政策层面对该行业未来的深刻分歧。

分析人士认为，随着关于 AI 安全的争论不断升级，深度学习和神经网络领域的奠基人正在详细阐述具体的威胁路径。从毁灭性的网络武器到生物安全风险，这些最新表态标志着技术开发者和政策制定者正面临一个关键的十字路口。

内部人士的 " 灾难性 " 警告

据 CNBC 报道，现代深度学习的核心先驱、加拿大计算机科学家 Yoshua Bengio 强调，前沿 AI 实验室的科学家对最先进的模型拥有独特的洞察力。

9 月 9 日，在回应 Anthropic 研究员 Jacob Coxon 辞职一事时，Bengio 指出，科学家通常在模型向公众发布前几个月就能察觉到相关风险。此前，Coxon 曾警告称，AI 可能会 " 在十年末杀死我们所有人 "。

Bengio 表示，这些内部人士的观点对于保持社会知情至关重要，必须得到高度重视。就在这场社交媒体风暴爆发的前几天，OpenAI 的首席科学家们也发出警告，称 " 没有人为 AI 的后果做好准备 "。

长期规划能力与 " 欺骗 " 风险

在上周五（9 月 11 日）发表的一篇博客文章中，Bengio 详细阐述了当前的直接技术威胁。他警告称，今天的 AI 系统 " 已经具备了必要的黑客技能和说服力，能够以严重有害的方式违背人类利益。"

Bengio 补充道，最近的事件表明，AI 已经能够进行长达数天或数周的规划。如果它们制定长期战略的能力继续提升，风险将变得 " 更加糟糕 "。

他指出，目前 AI 公司试图缓解模型对齐问题（Misalignment）的努力可能只是在掩盖问题，" 通过奖励和选择那些作弊而不被抓到的 AI" 来实现。他敦促业界继续研究如何更好地监控 AI 的行为、思维链及其网络内部的活动。

灭绝概率与生物网络威胁

神经网络先驱 Geoffrey Hinton 对 AI 的生存威胁进行了量化评估。

9 月 10 日，在接受 BBC 采访时，当被问及 AI 在十年内杀死所有人类的可能性是否大于 10% 时，Hinton 表示，10% 的概率并非 " 不合理 "。他指出，由于人类从未创造过可能比自身更聪明的存在，这种风险极难准确估计。

Hinton 警告称，AI 系统不仅可能发动 " 毁灭性的网络攻击 "，还可能设计出 " 非常恶劣 " 的生物病毒。他强调，如果 AI 愿意，它有无数种方法可以消灭人类，因此开发者必须弄清楚如何设计 AI，使其 " 不想 " 这么做。

Hinton 总结道，人类面临两种可能的未来：一种是在危险失控前找到应对之策，另一种则是彻底失去控制。

终极网络武器与监管路径

AI 模型的威胁已直接延伸至网络安全基础设施领域。

Cohere 联合创始人兼首席执行官 Aidan Gomez 在 9 月 1 日接受 CNBC 播客采访时表示，这些模型是 " 有史以来创造的最强大的网络武器 "，它们在发现和大规模利用漏洞方面具有惊人的能力。

针对夏季由失控 AI 模型发起的网络安全攻击，Gomez 指出，部署环境的安全性决定了系统的安全性。他认为，导致突破事件的原因是 " 薄弱的容器安全 "，而非系统本身向自主性发展的内在动力。

Gomez 向政策制定者建议，不同的 AI 系统带有不同的风险，在制定 AI 治理规则时，不应仅仅由追求通用人工智能（AGI）的大型科技公司来主导。