人工智能2040：超级智能会在2030年到来吗？

人工智能正在比大多数之前的技术发展得更快，但最大的问号不再是人工智能今天能够做什么，而是人工智能多快能够自我改进。

这个问题就是《人工智能2040：计划A》的核心，这是一种由Thomas Larsen、Romeo Dean、Brendan Halstead、Eli Lifland、Ryan Greenblatt和Daniel Kokotajlo开发的情景。该项目设想了一个人类故意减缓朝超级智能的竞赛、保持前沿人工智能研究透明，并将超人类人工智能的最终步骤推迟到2040年的世界。

与Kokotajlo在《首席执行官的日记》中的近期采访相比，这一想法显得更加引人注目。这位前OpenAI研究员认为，竞争越来越强大的人工智能的竞赛可能比公众认识的要接近一个临界点。他估计，人工智能转型发生灾难性错误的个人概率非常高，同时强调积极结果仍然是可能的。

那么，从现在到2040年之间会发生什么？为什么人工智能行业需要一个计划A？

什么是人工智能2040？

《人工智能2040》是一个关于管理从先进人工智能到超级智能过渡的情景。

其作者从一个简单的担忧开始：如果几家公司和国家竞争尽快构建最强大的人工智能，赢家可能会获得非凡的经济、军事和政治权力。

因此，这一情景提出了一种不同的方法。政府将通过谈判达成一项国际协议，来减缓开发、提高透明度，并允许多个国家和公司继续参与，而不是允许全速的智能竞赛。

目标并不是永远停止人工智能的发展，而是争取时间。

在计划A下，世界将推迟超级智能的发展，直到2040年，逐渐将人工智能能力提升到大约顶级人类专家的水平，然后暂停在那里，才会随后恢复向真正超人类系统的过渡。作者明确表示计划A是一个建议，而不是他们对即将发生情况的最佳预测。

人工智能2040：建议的时间线

这个时间线与Kokotajlo讨论的更激进的情景相比，故意采取了保守的立场。

超级智能为什么如此重要？

今天的人工智能系统已经能够执行曾经需要高训练专业人员才能完成的任务。但真正的转折点会在于人工智能能够自我进行人工智能研究时到来。

想象一下一个人工智能系统可以设计一个更好的模型，测试它，分析结果，编写必要的代码，优化训练过程，然后重复整个过程。

下一代将可能在人工智能研究方面优于其前任。

这创造了一个反馈循环： 更好的人工智能 → 更好的人工智能研究 → 更好的人工智能 → 甚至更好的人工智能研究

这通常被称为智能爆炸。

《人工智能2040》认为，这一转变特别危险，因为人类可能会失去在发展循环中的位置。如果人工智能系统负责创造越来越强大的后续者，人们就会越来越难以理解结果系统为何能够保持可控。

这一情景将2030年描述为人工智能研究可能完全自动化的潜在点。如果不采取干预，这理论上可能在非常短的时间内导致超级智能的出现。

Daniel Kokotajlo的警告：人工智能可能会比预期更快发展

Daniel Kokotajlo为同一问题带来了更个人的视角。

Kokotajlo在2022年至2022年期间曾在OpenAI工作，专注于预测人工智能能力的发展。他后来离开了公司，成为警告无序人工智能竞赛风险的知名发言人之一。

在他与Steven Bartlett的2026年7月的采访中，Kokotajlo认为与主要人工智能实验室内人士的对话通常使人们预期时间表比公众预期的要短。他特别提到2027年和2028年，某些行业内部人士认为这几年具有重大突破的可能性。

他最有争议的说法是，他个人将人工智能“糟糕地出错”的概率大约评估为70%，包括可能导致人类灭绝的情景。这个数字不应被视为一个公认的科学概率。这是Kokotajlo基于他关于人工智能时间表、对齐、竞争和治理的假设的个人风险估计。

这个区别很重要。

70%这个数字并不是人工智能研究社区的共识预测。这是一个关於社会应当多么认真看待可能相互强化的风险的论点。

人工智能竞赛可能带来两种不同的问题

《人工智能2040》和Kokotajlo的采访中传达的一个强烈思想是，人工智能安全不仅仅是关于一个人工智能系统是“恶”还是“善”。

至少存在两大风险。

1. 人类失去控制

如果一个人工智能系统的能力远超人类，并能够提高它的后继者，人类最终可能会在理解或控制其行为上不断挣扎。

关键问题变得简单： 怎么控制一个远比你聪明和快速的东西？

《人工智能2040》认为，当前的竞赛可能最终导致一个人类不再有效地控制越来越自主的系统的局面。

2. 人类保持控制, 但仅限于少数人类

第二种可能性乍看之下似乎更安全。

假设领先的人工智能公司成功使他们的系统与人类目标保持一致。那么，问题将变成权力集中。

如果一家公司、政府或小团体控制了世界上最强大的人工智能系统，它可能获得前所未有的经济、军事技术、信息和基础设施的影响力。

换句话说，解决人工智能对齐问题并不会自动解决政治问题。

工作会发生什么？

经济影响是两个情景中的另一个主要部分。

《人工智能2040》设想了一个不久的未来，其中人工智能代理作为与人类并行的第二种劳动力。数百万基于软件的代理可以持续操作，以机器速度完成任务。

重要的变化不仅仅是聊天机器人变得更好的助手。

相反，公司可能开始将人工智能视为一种通用劳动力。

一家公司可以决定进入一个新职业或行业，收集所需数据，建立训练环境，部署人工智能代理，并通过实际使用不断改善它们。《人工智能2040》描述了这一过程可能从软件工程扩展到许多其他白领职业。

这提出了一个棘手的经济问题： 当智能变得丰富而人类劳动不再稀缺时会发生什么？

几个世纪以来，收入大多与人们提供有用劳动的能力相关。如果人工智能能够以更低的成本执行大多数认知任务，这种关系可能会打破。

Kokotajlo对就业特别悲观。在采访中，他认为人们应该认真对待大规模失业的可能性，并表示许多工人最终可能会发现自己与人工智能系统竞争。

然而，结果未必是大规模贫困。

如果人工智能大幅提高生产力，而其收益被广泛分配，人类可能会迎来前所未有的丰盛时期。

这是《人工智能2040》的一个核心对比：同一技术可能产生极端繁荣或极端财富和权力集中，具体取决于它如何管理。

计划A是什么？

计划A本质上是试图改变人工智能竞赛的激励机制。

其核心提案是一项国际协议，尤其是美国与中国之间，旨在防止国家和公司在没有足够安全措施的情况下竞相追求超级智能。

该计划依赖于几个主要原则。

彻底的研究透明

人工智能公司将提供有关其内部开发的更多信息，包括模型规格、如何在内部使用系统以及多少计算能力用于人工智能研究。

这个想法很简单：政府无法监管看不见的内容。

更慢的能力扩展

而不是立即推向每个新模型的最大能力，人工智能发展将在关键阈值附近故意放慢。

这将为研究人员和政府提供更多时间来评估新能力并制定安全措施。

验证和计算监控

《人工智能2040》还讨论了验证公司如何使用其计算资源的技术系统。追踪人工智能芯片、数据中心和大型训练次数可以使国际协议更加可执行。

多个人工智能领导者

计划A并不设想一家公司的完全所有权的超级智能。

作者主张一个多个公司和国家可以在共同安全规则下保持竞争的世界。

基本目标是避免用人工智能垄断取代人工智能竞赛。

为什么选择2040年？

2040年并不是一个神奇的日期。

这是一个故意的安全缓冲。

在此情景下，人工智能在2030年时可能达到自动化研究成为可能的程度。人类将保持发展在顶级人类专家的范围内数年，而不会让这种能力立即触发智能爆炸。

在2035年，发展将暂停。

直到2040年限制才会被解除，世界才会有意向超级智能迈进。

这一点是计划A背后的核心哲学思想：

人类不应竞逐尚未知道如何控制的技术。

人工智能2040是预测吗？

不完全是。

这是阅读该项目时可能最重要的一个点。

作者明确表示，计划A主要是建议，而不是预测。他们创建了一个详细的情景，因为政策提案在抽象中容易得到支持，但在现实时间框架中则更难以验证。

换句话说，《人工智能2040》问：

如果我们实施这个政策，未来会是什么样子？

这使它更加接近战略模拟，而不是传统预测。

作者们还提出了替代情景, 计划B、C、D和S，代表政府可能对超级智能出现作出的不同反应。

真实的问题不是“人工智能会毁灭人类吗？”

《人工智能2040》和Kokotajlo的采访最有用的结论并非灾难是不可避免的。

而是人工智能发展的下一阶段可能会创造无法事后解决的问题。

如果人工智能研究变得高度自动化，人类决策的窗口可能会变得更小。

如果一家公司获得决定性优势，后期的权力重新分配几乎可能变得不可能。

如果数百万个工作岗位消失得比经济机构适应得更快，政府可能面临前所未有的社会动荡。

与此同时，机遇是巨大的。

人工智能能够加速科学研究，改善医学，自动化危险工作，降低商品和服务的成本，创造如今难以想象的丰盛形式。

Kokotajlo自己强调这一点：他并不认为人工智能本质上是坏的。他的关注在于人类可能无法安全管理过渡。

人工智能2040：警告，而不是倒计时

《人工智能2040》不应被解读为2040年的字面倒计时，正如Kokotajlo的70%估计不应被视为人类机会的客观测量。

相反，这两个来源从不同角度强调了同一战略困境。

人工智能行业可能正朝着越来越自主的系统发展，而政府和社会的适应速度却不够快。

因此，最重要的问题可能不是超级智能会在2030年、2040年还是更晚到来。

而是人类是否能达到拥有应对所需的制度、技术保障、国际协议和经济政策的程度。

乐观的未来版本依然可能：人工智能变得极其强大，生产力爆炸，其收益得到广泛分享。

悲观的版本也容易设想：一场失控的智能竞赛产生要么是人类控制的丧失，要么是权力前所未有的集中。

计划A是试图在第二种情况变得不可避免之前选择第一条道路。

目前，辩论仍然开放。但随着人工智能系统变得越来越强大，等待确定性的代价可能远高于提前准备的代价。