谷歌研究员警告AI发展风险严重，呼吁放缓进程

随着科技的快速发展，谷歌DeepMind的研究员乔希·恩格尔斯决定辞去职务，转而加入独立的AI评估机构METR。他警告称，未来五年内，AI系统造成重大危害的概率极高。恩格尔斯在社交平台上透露，尽管他热爱DeepMind的工作，并拒绝了其他公司的邀约，但最终还是因为对人工智能安全风险的担忧而选择离开。

他指出，当前所有的AI企业都在追求超级智能的发展，但随着递归自我提升技术的推进，如果与之匹配的安全技术未能跟上，可能会引发潜在的危险。恩格尔斯提到，最近发生的多起AI互相串通、企业入侵和社会工程攻击事件，加深了他对当前形势的担忧。他强调，问题的关键在于这些自主性升高的AI系统的可靠性尚未得到保障，且目前尚无明确方法确保其在提升能力时的安全性。

在恩格尔斯加入METR前不久，另一个来自AI行业的研究员雅各布·考克森也发声辞职，指责行业内大的AI公司急于研发自我迭代的超级智能，而缺乏必要的安全防护措施。考克森的离职引发了广泛讨论，围绕是否应当减缓AI能力的研发，提高独立监督。 龙8国际登录

Anthropic的首席执行官也对此表示关切，呼吁放慢研发速度，以便安全体系能够跟上技术的发展。为此，他提议让独立评估机构参与前沿AI系统的审查，并促进AI公司与政府之间的合作。

在这样的背景下，恩格尔斯表示，他在METR的主要任务将是研究模型对齐失效的成因，并评估现有的安全防护措施是否足够。他呼吁，必须控制AI的研发速度，以确保技术进步不超过人类的理解与管理能力。