Anthropic“AI灭绝风险”争议为何刷屏？真正值得关注的是安全治理

一条个人发言为何迅速变成全球话题

Anthropic对齐科学团队负责人Evan Hubinger关于“十年内AI导致人类灭绝概率超过10%”的判断，把原本集中在研究机构内部的AI安全争论推到了公众面前。

这条消息容易传播，原因并不复杂：发言者来自知名前沿AI企业，内容涉及人类共同关心的安全问题，又给出了清晰的时间和概率。经过社交平台和新闻标题压缩后，复杂的条件判断被浓缩成一句极具冲击力的话。

但从公共讨论角度看，最重要的并不是反复渲染“灭绝”二字，而是追问行业有没有与能力增长相匹配的管理办法。

风险争议背后有三组现实矛盾

能力更新速度与评估周期之间的矛盾

模型更新越来越快，而高质量安全评估需要设计测试、邀请外部专家复核并观察实际部署表现。如果产品节奏持续压缩，评估是否拥有足够时间，就会成为比口号更具体的问题。

商业竞争与安全投入之间的矛盾

企业希望更快推出能力更强的产品，也需要为风险测试、权限隔离和长期监测投入资源。Hubinger与离职研究人员Jacob Coxon的公开讨论之所以引起关注，正是因为它暴露了业内对“发展速度是否超过安全准备”的不同判断。

企业自我评估与社会信任之间的矛盾

开发者最了解模型，也最容易受到商业目标影响。仅靠企业自己宣布“安全”，难以消除外界疑问；但不了解系统细节的外部机构，也难以独立作出准确判断。更可行的方向是建立分级评估、第三方核验和重大事件披露机制。

真正有效的AI安全治理包括什么

第一是能力评估。模型在获得网络访问、外部工具和长期任务能力前，应测试其是否会绕过限制、隐瞒行为或在错误方向上持续行动。

第二是权限控制。即使模型能力很强，也不应默认获得无限制的数据、账户和关键系统权限。最小权限、人工确认、分阶段开放和紧急停止机制，可以降低单次异常扩大成系统性事故的可能。

第三是持续监测。上线前通过测试，不代表部署后永远安全。开发者需要记录关键操作、发现异常模式、及时修复并对重大事件进行透明说明。

第四是外部协作。2026年《国际人工智能安全报告》强调，未来失控风险仍存在巨大不确定性，却可能需要提前准备。这意味着研究机构、企业和监管部门不能等到所有概率都被精确计算后才开始行动。

中国人工智能治理强调发展与安全并重

我国《生成式人工智能服务管理暂行办法》明确提出，坚持发展和安全并重、促进创新和依法治理相结合，并要求提升生成内容的准确性和可靠性，保护个人信息和其他合法权益。

这一思路与当前争论中的理性部分是一致的：既不因极端预测否定技术价值，也不因产业机会忽视风险。对面向公众的服务而言，合法数据来源、内容管理、用户权益保护、安全评估和应急处置，都是能够落到实际流程中的治理工具。

企业和普通用户现在能做什么

企业使用AI处理业务时，应划清可访问数据和可执行操作的边界，高风险决策保留人工复核，并定期检查日志与账号权限。涉及客户信息、商业秘密或关键业务系统时，不宜仅凭模型输出直接执行。

普通用户不需要因为一条概率预测停止使用AI，但应把它当作辅助工具而不是绝对权威。重要信息交叉核验，不上传不必要的敏感资料，不轻易授予广泛账户权限，遇到医疗、法律、财务等高影响问题时寻求合格专业人士意见。

“十年内超过10%”是否准确，短期内不会有公认答案。真正能够降低风险的，是把争议转化为更严格的评估、更清晰的责任和更可验证的安全措施。

FAQ

Q: AI安全治理是否意味着停止人工智能发展？

A: 不是。治理的重点是让能力开放与风险等级匹配，通过评估、权限控制和持续监测，在促进创新的同时降低不可接受的风险。

Q: 普通用户需要因为“超过10%”的说法感到恐慌吗？

A: 没有必要把个人预测当作确定倒计时。用户更应关注当下可执行的安全习惯，并理性跟踪权威报告和监管信息。