人工智能研究员雅各布·考克森（Jacob Coxon）周二从Anthropic辞职，并指责Anthropic及其主要竞争对手OpenAI行为不负责任。考克森曾在两家公司担任研究员。他在X上说，辞职源于担心两家公司正在“拿我们的生命赌博”，并警告：“不要低估这项技术的力量。这些系统很快将成为超人类系统，能够入侵任何东西、一夜之间革新任何领域，并获取真正的权力和资源。”

考克森还写道：“两家公司都没有负责任地行事。它们正径直冲向能够自我改进的超级智能。”这篇帖子浏览量已超过7000万次，反映出硅谷长期存在的争论：人工智能能否在继续发展和部署的同时，被安全地开发和控制。

Anthropic对齐负责人埃文·胡宾格（Evan Hubinger）随后在X上回应考克森。他说：“雅各布在这里说得对——我们确实真诚地相信，人工智能可能杀死所有人类！我个人认为，未来十年内发生这种情况的可能性超过10%。”胡宾格从事人工智能对齐工作，目标是将人类伦理思想和原则融入技术。

胡宾格同时表示，现有模型带来的风险仍然“低”，但他担心技术会很快发展并自我改进，达到对人类构成生存风险的程度。他没有具体说明人工智能系统将如何导致人类灭绝，并说：“我相信Anthropic正在尽力，但我们还没有解决超级智能对齐问题的计划，也没有明确走上解决问题的轨道。”他的帖子浏览量已超过1000万次。

递归自我改进是指人工智能系统无需人工干预，便能设计和开发自己的继任者。目前这种能力尚不可能，但Anthropic和OpenAI都曾警告，它可能让人类更容易失去对系统的控制。考克森的帖子也引起了担心递归自我改进的行业研究人员的共鸣。

OpenAI首席科学家雅各布·帕乔基（Jakub Pachocki）周日发表博客文章称，没有一家人工智能公司已经把对齐和监控问题解决到足以长期以最大速度负责任扩展的程度。他说：“我希望并预计，在共同安全标准建立之前，自愿放缓发展会成为常态；我也认为，各国政府必须把协调未来人工智能发展列为首要任务。”

对人工智能造成灭绝或其他灾难性后果的担忧并非新现象。2023年，包括OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）和Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）在内的研究人员和高管签署声明，称降低人工智能灭绝风险，应与流行病和核战争等社会规模风险并列为全球优先事项。一些专家使用“末日概率”一词，简称“p(doom)”，估计人工智能导致严重后果的可能性。

2024年7月，胡宾格也是约1400名签署公开信《放缓前沿发展》的人工智能研究人员之一。公开信敦促美国政府开发工具，支持有意放缓前沿自动化人工智能发展的努力。如今，Anthropic和OpenAI一边发布越来越先进的模型，一边朝可能具有历史意义的首次公开募股迈进；许多研究人员则呼吁协调放缓。

联合国人工智能顾问、计算机科学家温迪·霍尔女爵士（Dame Wendy Hall）告诉BBC，她对胡宾格和考克森的社交媒体帖子感到“震惊”。她同时说，部分言论可能属于“公关和营销”，因为Anthropic和OpenAI正竞相进行备受期待的上市。霍尔表示：“如果这就是它们的价值体系，我会恳请投资者不要投资这些公司。”

考克森辞职后，曾任财政部首席秘书的达伦·琼斯（Darren Jones）致信首相安迪·伯纳姆（Andy Burnham），呼吁制定确保人工智能安全发展的新多边条约。琼斯告诉BBC，各国政府必须合作，讨论围绕超级智能发展建立条约的方式。他警告，除非政府认真对待这些警告并采取行动，否则发展速度可能在各国开始评估问题前就制造出新的问题。

美国国会目前尚未形成如何监管人工智能的明确共识。7月，共和党众议员杰伊·奥伯诺特（Jay Obernolte）和民主党众议员洛里·特拉汉（Lori Trahan）提出《前沿人工智能治理法案》，计划建立管理先进人工智能模型部署的框架。本月早些时候，参议员伯尼·桑德斯（Bernie Sanders）和众议员格雷格·卡萨尔（Greg Casar）提出《禁止人工智能超级智能法案》，要求在联邦政府制定安全规则前，暂时暂停先进人工智能开发。

两项法案都收到不同反应。特拉汉在X上说：“安全研究人员正在辞职，强大的人工智能模型正在突破实验室，而公司仍在竞相前进。国会不能再袖手旁观，是时候履行职责了。”立法者还在应对公众对人工智能数据中心的反对；全国共和党参议院委员会上月称，数据中心已经成为整个中期选举周期的“潜伏问题”。

财政部长斯科特·贝森特（Scott Bessent）本月早些时候表示，人工智能公司向美国民众解释自身的工作“糟糕透顶”。他在二十国集团会议后说：“它们必须承担一部分责任，并说服美国人民，所有好处不会只归于少数人。这正是他们从我这里听到的话。”

另据《金融时报》报道，Anthropic没有将最新模型提供给英国人工智能安全研究所。该研究所被报道为全球评估人工智能风险的主要机构之一。Anthropic拒绝评论员工帖子及与该研究所的情况；英国内阁办公室发言人也没有说明模型是否被扣留，只表示政府继续与包括Anthropic在内的行业伙伴密切合作，使模型更加安全。