AI 2040: 슈퍼지능이 2030년까지 도달할 가능성은?

인공지능은 대부분의 이전 기술보다 더 빠르게 발전하고 있으며, 그러나 가장 큰 질문은 더 이상 AI가 오늘 무엇을 할 수 있는지가 아니다. 그것은 AI가 얼마나 빠르게 스스로를 개선할 수 있게 될지가 중요하다.

그 질문은 AI 2040: Plan A의 중심에 자리 잡고 있다. 이 시나리오는 Thomas Larsen, Romeo Dean, Brendan Halstead, Eli Lifland, Ryan Greenblatt, Daniel Kokotajlo가 개발했다. 이 프로젝트는 인류가 슈퍼지능으로 나아가는 경쟁을 의도적으로 늦추고, 최전선의 AI 연구를 투명하게 유지하며, 초인적 AI로의 마지막 단계를 2040년까지 연기하는 세상을 상상한다.

이 아이디어는 Kokotajlo의 최근 인터뷰인 The Diary of a CEO와 비교했을 때 더욱 인상적이다. 전 OpenAI 연구원인 그는 점점 더 강력한 AI에 대한 경주가 대중이 생각하는 것보다 더 가까운 중대한 시점에 다가설 수 있다고 주장한다. 그는 AI 전환이 재앙적으로 잘못될 높은 개인 확률을 추정하면서도 긍정적인 결과가 여전히 가능하다고 강조한다.

그렇다면 지금과 2040년 사이에 무슨 일이 일어날 수 있으며, AI 산업이 Plan A를 필요로 하는 이유는 무엇인가?

AI 2040이란?

AI 2040은 고급 AI에서 슈퍼지능으로의 전환을 관리하기 위한 시나리오이다.

저자들은 여러 기업과 국가가 가능한 한 빨리 가장 강력한 AI를 만들기 위해 경쟁할 때, 승자는 경제적, 군사적, 정치적 힘의 엄청난 양을 얻을 수 있다는 간단한 우려에서 시작한다.

따라서 이 시나리오는 다른 접근 방식을 제안한다. 정부는 초속도의 지능 경쟁을 허용하기보다는 개발을 늦추고 투명성을 높이며 여러 국가와 회사가 참여할 수 있도록 하는 국제 합의에 대해 협상한다.

목표는 AI 개발을 영원히 멈추는 것이 아니다. 시간을 벌기 위함이다.

Plan A 아래에서 세계는 슈퍼지능의 개발을 2040년까지 연기하고, AI 능력을 상위 인간 전문가의 수준까지 점진적으로 확대하며, 그곳에서 잠시 멈춘 후 진정한 초인적 시스템으로의 전환을 나중에 재개할 것이다. 저자들은 Plan A를 실제로 발생할 것이라는 최고의 예측이 아니라 권장 사항으로 명시적으로 설명한다.

AI 2040: 제안된 타임라인

이 타임라인은 Kokotajlo가 논의한 보다 공격적인 시나리오와 비교할 때 의도적으로 보수적이다.

왜 슈퍼지능이 그토록 중요한가?

오늘날의 AI 시스템은 이미 한때 고도로 훈련된 전문가만 수행할 수 있었던 작업을 수행할 수 있다. 그러나 진정한 전환점은 AI가 스스로 AI 연구를 수행할 수 있게 될 때 온다.

더 나은 모델을 설계하고, 이를 테스트하며, 결과를 분석하고, 필요한 코드를 작성하고, 훈련 과정을 최적화한 후 전체 프로세스를 반복할 수 있는 AI 시스템을 상상해 보라.

다음 세대는 그 전 세대보다 AI 연구를 더 잘할 수 있다.

이것은 피드백 루프를 생성한다:

더 나은 AI → 더 나은 AI 연구 → 더 나은 AI → 더욱 더 나은 AI 연구

이는 종종 지능 폭발로 설명된다.

AI 2040은 이 전환이 특히 위험하다고 주장하는데, 인간이 개발 루프에서 자신의 위치를 잃을 수 있기 때문이다. AI 시스템이 점점 더 능력 있는 후계자를 만들 책임을 가지게 되면, 결과적으로 생성된 시스템이 왜 통제 가능할지를 이해하기가 어려워진다.

이 시나리오는 2030년을 AI 연구가 완전히 자동화될 수 있는 잠재적 시점으로 묘사한다. 개입이 없다면, 이는 이론적으로 매우 짧은 시간 안에 슈퍼지능으로 이어질 수 있다.

Daniel Kokotajlo의 경고: AI가 예상보다 더 빠르게 발전할 수 있다

Daniel Kokotajlo는 동일한 문제에 대해 더 개인적인 관점을 제시한다.

Kokotajlo는 2022년부터 OpenAI에서 근무하며 AI 능력이 어떻게 발전할 수 있는지를 예측하는 데 집중했다. 그는 이후 회사를 떠났으며, 통제되지 않는 AI 경주의 위험에 대해 경고하는 주목받는 목소리 중 하나가 되었다.

2026년 7월 Steven Bartlett와의 인터뷰에서 Kokotajlo는 주요 AI 연구소 내부의 사람들과 대화할 때 종종 대중이 예상하는 것보다 더 짧은 타임라인을 지적한다고 주장했다. 그는 특히 2027년과 2028년이 일부 산업 내 사람들이 주요 돌파구로 고려하는 시점이라고 언급했다.

그의 가장 논란이 되는 주장은 AI가 "끔찍하게 잘못될" 확률을 개인적으로 약 70%로 추정한다는 것이다. 이 수치는 정립된 과학적 확률로 취급되어서는 안 된다. 이는 AI의 타임라인, 정렬, 경쟁, 거버넌스에 대한 그의 가정에 따른 개인적인 위험 추정이다.

이 구분은 중요하다.

70% 수치는 AI 연구 커뮤니티의 합의된 예측이 아니다. 이는 서로 강화되는 다양한 위험을 사회가 얼마나 심각하게 받아들여야 하는지를 논의하는 것이다.

AI 경주는 두 가지 다른 문제를 일으킬 수 있다

AI 2040과 Kokotajlo의 인터뷰에서 공유되는 가장 강력한 아이디어 중 하나는 AI 안전이 AI 시스템이 "악"인지 "선"인지 여부에 관한 것만이 아니라는 것이다.

적어도 두 가지 주요 위험이 있다.

1. 인간의 통제 상실

AI 시스템이 인간보다 상당히 더 능력이 뛰어나고 자신의 후계자를 개선할 수 있게 되면, 인간은 결국 그 행동을 이해하거나 통제하기 어려워질 수 있다.

핵심 질문은 간단해진다:

어떻게 당신보다 훨씬 더 똑똑하고 빠른 것을 통제할 수 있을까?

AI 2040은 현재의 경주가 결국 인간이 점점 더 자율적인 시스템에 대해 효과적인 통제를 유지할 수 없는 상황으로 이어질 가능성이 있다고 주장한다.

2. 인간은 통제를 유지하지만 소수의 인간만

두 번째 가능성은 처음에는 더 안전해 보일 수 있다.

최고의 AI 회사가 성공적으로 시스템을 인간 목표와 일치시킨다고 가정하자. 그러면 문제는 권력 집중이 된다.

하나의 회사, 정부 또는 소규모 그룹이 세계에서 가장 능력 있는 AI 시스템을 통제하게 되면, 경제, 군사 기술, 정보 및 인프라에 대해 전례 없는 영향력을 얻을 수 있다.

다시 말해, AI 정렬 문제를 해결한다고 해서 자동으로 정치적 문제가 해결되지는 않는다.

일자리에 무슨 일이 일어날까?

경제적 영향은 두 시나리오 모두에서 중요한 부분이다.

AI 2040은 AI 에이전트가 인간과 함께 제2의 노동력이 되는 근미래를 상상한다. 수백만 개의 소프트웨어 기반 에이전트가 지속적으로 운영되어 기계 속도로 작업을 완료할 수 있다.

중요한 변화는 단순히 챗봇이 더 나은 보조자가 되는 것이 아니다.

대신 기업은 AI를 범용 노동력으로 취급하기 시작할 수 있다.

한 기업이 새로운 직업이나 산업에 진입하기로 결정하고, 필요한 데이터를 수집하며, 훈련 환경을 구축하고, AI 에이전트를 배포하고, 실제 사용을 통해 지속적으로 개선할 수 있다. AI 2040은 이 프로세스가 소프트웨어 엔지니어링에서 많은 다른 화이트 칼라 직업으로 퍼질 가능성이 있다고 설명한다.

이는 어려운 경제적 질문을 제기한다:

지능이 풍부해지지만 인간 노동력이 더 이상 부족하지 않게 되면 무슨 일이 일어날까?

수세기 동안 소득은 주로 유용한 노동을 제공하는 능력과 연결되어 왔다. 만약 AI가 대부분의 인지 작업을 더 낮은 비용으로 수행할 수 있다면, 그 관계는 깨질 수 있다.

Kokotajlo는 고용에 대해 특히 비관적이다. 인터뷰에서 그는 사람들이 광범위한 일자리 상실 가능성을 진지하게 받아들여야 한다고 주장하며, 많은 근로자들이 결국 AI 시스템과 경쟁하게 될 것이라고 제안한다.

하지만 결과가 반드시 대규모의 가난으로 이어지는 것은 아니다.

만약 AI가 생산성을 극적으로 증가시키면서 그 이점이 폭넓게 분배된다면 인류는 오히려 전례 없는 풍요의 시기를 경험할 수 있다.

이는 AI 2040의 중심 대비점 중 하나이다: 같은 기술이 어떻게 다스려지느냐에 따라 극단적인 번영이나 극단적인 부와 권력의 집결을 동시에 생산할 수 있다.

Plan A란?

Plan A는 본질적으로 AI 경쟁의 인센티브를 변화시키려는 시도이다.

그 핵심 제안은 미국과 중국 간의 국제 합의를 통해 각국과 기업이 적절한 안전 조치 없이 슈퍼지능을 향해 경쟁하는 것을 방지하는 것이다.

이 계획은 몇 가지 주요 원칙에 의존한다.

총 연구 투명성

AI 기업들은 모델 사양, 내부에서 시스템이 어떻게 사용되고 있는지, AI 연구에 할당된 컴퓨팅 파워의 양 등 내부 개발에 대한 훨씬 더 많은 정보를 제공해야 한다.

그 개념은 간단하다: 정부는 볼 수 없는 것을 규제할 수 없다.

능력 확장의 느린 증가

각 새로운 모델을 가능한 최대 능력까지 즉시 밀어 붙이는 대신, AI 개발은 중요한 임계값 주위에서 의도적으로 느리게 진행된다.

이는 연구자와 정부가 새로운 능력을 평가하고 안전 조치를 개발할 수 있는 더 많은 시간을 제공한다.

검증 및 컴퓨트 모니터링

AI 2040은 회사가 컴퓨팅 자원으로 무엇을 하는지를 검증하는 기술 시스템에 대해서도 논의한다. AI 칩, 데이터 센터 및 대규모 훈련 작업을 추적하는 것은 국제 합의를 더 집행할 수 있게 만들 수 있다.

여러 AI 리더들

Plan A는 단일 회사가 슈퍼지능의 명백한 소유자가 되는 모습을 구상하지 않는다.

저자들은 여러 회사와 국가가 공통의 안전 규칙 아래에서 AI를 개발하면서 경쟁력을 유지할 수 있는 세상을 주장한다.

기본 목표는 AI 경주 대신 AI 독점을 피하는 것이다.

왜 2040인가?

2040년은 마법 같은 날짜로 제시되지 않는다.

이는 의도적인 안전 완충 장치이다.

시나리오에 따르면 AI는 2030년경에 자동화된 연구를 수행할 수 있는 시점에 도달할 수 있다. 그 능력이 즉시 지능 폭발을 촉발하는 것을 허용하는 대신, 인류는 수년 동안 개발을 최고의 인간 전문가의 범위 내에 유지한다.

2035년에 개발이 중단된다.

제한이 해제되는 것은 2040년이 되어서이다. 그때 인류는 의도적으로 슈퍼지능으로 나아간다.

이것이 Plan A의 중심 철학적 아이디어이다:

인류는 아직 통제하는 방법을 알지 못하는 기술을 향해 경주해서는 안 된다.

AI 2040은 예측인가?

정확히는 아니다.

이것은 아마도 이 프로젝트를 읽을 때 가장 중요한 점이다.

저자들은 Plan A가 주로 예측이 아니라 권장 사항이라고 명시적으로 말한다. 정책 제안이 추상적으로는 지지하기 쉽지만 현실적인 타임라인에 맞춰 검증하기는 훨씬 더 어렵다는 이유로 그들은 상세한 시나리오를 만들었다.

다시 말해 AI 2040은 묻는다:

이 정책을 시행하면 실제로 미래는 어떻게 생길 것인가?

이는 전통적인 예측보다 전략적 시뮬레이션에 더 가까운 것이다.

저자들은 또한 정부가 슈퍼지능의 출현에 대응할 수 있는 여러 대안 시나리오, Plans B, C, D, S를 제시한다.

진짜 질문은 "AI가 인류를 파괴할 것인가?"가 아니다

AI 2040과 Kokotajlo의 인터뷰에서 가장 유용한 시사점은 재앙이 불가피하다는 것이 아니다.

그것은 AI 발전의 다음 단계가 사후에 해결할 수 없는 문제를 야기할 수 있다는 것이다.

AI 연구가 고도로 자동화된다면, 인간의 의사결정 창구는 훨씬 작아질 수 있다.

어떤 회사가 결정적인 이점을 얻으면, 이후에 힘의 재배분은 거의 불가능해질 수 있다.

그리고 수백만 개의 일자리가 경제 기관이 조정하기 힘든 속도로 사라지면 정부는 전례 없는 규모의 사회적 혼란에 직면할 수 있다.

동시에, 긍정적인 면은 막대하다.

AI는 과학 연구를 가속화하고, 의학을 개선하고, 위험한 작업을 자동화하며, 상품 및 서비스의 비용을 낮추고, 오늘날 상상하기 어려운 형태의 풍요를 창출할 수 있다.

Kokotajlo 자신도 이 지점을 강조한다: 그는 AI가 본질적으로 나쁜 것이라고 주장하지 않는다. 그의 우려는 인류가 안전하게 전환을 관리하는 데 실패할 수 있다는 것이다.

AI 2040: 경고, 카운트다운이 아니다

AI 2040은 2040년까지의 문자적 카운트다운으로 읽혀서는 안 되며, Kokotajlo의 70% 추정도 인류의 기회를 객관적으로 측정한 것으로 해석되어서는 안 된다.

대신 두 소스는 서로 다른 관점으로 동일한 전략적 딜레마를 강조한다.

AI 산업이 정부와 사회가 적응하는 것보다 점점 자율적인 시스템을 향해 더 빠르게 나아가고 있을 수 있다.

가장 중요한 질문은 따라서 슈퍼지능이 2030년에 도달할지가 아니라, 인류가 그것을 다룰 기관, 기술적 안전 장치, 국제 합의, 경제 정책을 갖추게 되는 시점에 이를 것인가 하는 것이다.

미래의 긍정적인 버전은 여전히 가능하다: AI가 막대한 능력을 가지게 되고, 생산성이 폭발적으로 증가하며, 그 혜택이 널리 공유되는 것이다.

비관적인 버전 역시 쉽게 상상이 가능하다: 통제되지 않는 지능 경쟁이 인간의 통제 상실이나 전례 없는 권력 집중을 초래할 수 있다는 것이다.

Plan A는 두 번째 경로가 피할 수 없게 되기 전에 첫 번째 경로를 선택하려는 시도이다.

현재로서는 논쟁이 계속되고 있다. 그러나 AI 시스템이 점점 더 능력을 갖춰 가면서, 확실성을 기다리는 비용이 조기에 준비하는 비용보다 훨씬 높아질 수 있다.