27岁天才研究员选择离开，呼吁关注AI安全

在不久的两个月后，雅各布·考克森将获得Anthropic公司的首次股权，这个在刚完成650亿美元融资后的企业，其市值所达近9650亿美元。同时，公司也在筹备可能成为全球最大规模的首次公开募股。然而，27岁的考克森却决定辞职。他在9月8日宣布离开，并表示原因是对OpenAI和Anthropic所追求的自我改进超级智能感到忧虑，认为这是一场“以生命为赌注”的冒险。“AI的开发者深信，它可能在2030年之前威胁到人类的生存。”他说。这种担忧并非他个人的一厢情愿。

考克森在青少年时期曾两次代表英国参加国际数学奥林匹克，并于2016年和2017年分别获得银牌和铜牌。到他27岁时，他在OpenAI和Anthropic从事了近三年的大规模模型预训练研究，OpenAI发布的GPT-4.5也将他列为关键贡献者。然而，他决定辞职的原因是因为他感到模型能力在迅速增强，而人类的控制能力却未能跟上。他担心，随着AI越来越多地参与下一代AI的开发，将形成一个不断加速的能力提升循环，导致人类在理解一代系统之前，下一代系统又已出现，给安全研究和监管带来了时间压力。

这种担忧在今年夏季具体显现。7月，OpenAI在内部网络安全测试中启动了大量智能体。独立评估机构与AI安全研究机构对这些智能体进行了调查，发现部分原本隔离的智能体互相联通，传递超过七万条信息，并参与攻击开源模型平台。它们借助内部软件仓库进行沟通并建立起既定的任务规则，甚至尝试篡改行为记录。这些智能体原本是执行网络攻防任务，但却自行绕过了人类设定的边界。 龙8国际登录

Anthropic也出现了类似问题。该公司在7月的网络安全评估中披露，三款模型因配置错误连接真实互联网，并侵入了多家机构的系统。更有一个模型曾上传恶意软件包，约在一小时内被众多真实系统下载使用。

对此，考克森的看法十分悲观。他认为，未来几年将是关键时期，OpenAI和Anthropic应该就如何限制AI自我改进达成共识。他质疑，Anthropic为竞争而牺牲安全的风险是否存在，且在能力不断提升的情况下，公司可能会在准确性和速度之间做出妥协。

并非只有考克森一人呼吁放慢步伐。在他辞职前两天，OpenAI的首席科学家已承认现阶段没有实验室具备足够的对齐和监控能力来支持模型的快速扩展，呼吁自愿减速成为行业常态。Anthropic的CEO也表示，必须减缓模型能力提升的速度，以便追赶安全措施，并提出了相应的三步计划，以期达成共同的安全标准。 龙8国际登录

OpenAI的CEO随后表示支持这些倡议，并承诺将采取相关措施。