이 글은 AI Futures Project가 공개한 시나리오 문서 「AI 2040: Plan A」(ai-2040.com)의 주요 내용을 요약한 것입니다. 아래의 전망과 확률 추정은 모두 해당 문서 저자들의 견해이며, 이 블로그의 예측이나 주장이 아닙니다.
누가, 왜 썼나
AI Futures Project는 2025년 「AI 2027」이라는 시나리오로 널리 알려진 그룹입니다. 저자진에는 OpenAI 출신의 다니엘 코코타일로(Daniel Kokotajlo) 등이 포함되어 있습니다. 전작 「AI 2027」에서 이들은 AI 기업 간 경쟁이 지금처럼 계속되면 인류 절멸 또는 되돌릴 수 없는 권력 집중으로 귀결될 것이라고 전망했습니다.
「AI 2040」은 그에 대한 답으로 내놓은 “이렇게 하면 좋은 결말이 가능하다”는 긍정적 시나리오입니다. 중요한 전제가 하나 있습니다. 저자들 스스로 이 문서가 예측이 아니라 권고라고 명시합니다. 실제로 이렇게 될 것이라는 전망이 아니라, 자신들이 권고하는 정책이 실행됐을 때 어떤 일이 벌어지는지를 구체적 시나리오로 검증(scenario scrutiny)해 본 결과물이라는 것입니다. 대부분의 AI 정책 제안이 “구체적으로 어떻게 성공하는지”를 써보면 무너진다는 문제의식에서, 자신들의 제안부터 그 시험대에 올렸다는 설명입니다.
Plan A의 골자
Plan A의 핵심은 검증 가능한 국제 합의로 초지능 개발을 의도적으로 늦추는 것입니다. 시나리오의 시간표는 다음과 같습니다.
| 시점 | 시나리오 내용 |
|---|---|
| 2029년 | 미국과 중국이 초지능 개발 경쟁을 피하는 합의 체결 |
| 2030년 | (합의가 없었다면) AI 연구개발이 완전 자동화되어 연내 초지능 도달 — 합의로 회피 |
| 2030~2035년 | 인간 능력 범위 안에서 천천히 스케일업 (최상위 인간 전문가 수준까지) |
| 2035년 | 인간 통제 유지를 위해 그 수준에서 일시정지(pause) |
| 2040년 | 정지 해제 후 초지능으로 스케일업 — 제목 ‘AI 2040’의 유래 |
이를 지탱하는 수단은 세 가지입니다. 첫째, AI 연구의 전면 공개(total research transparency)로 각국이 서로 무엇을 하는지 알 수 있게 합니다. 둘째, 합의 이행을 확인하는 검증(verification) 체계를 만듭니다. 셋째, 소수 기업의 독주 대신 전 세계 수십 개 기업이 프런티어를 함께 따라오게 하고, 위반 시 상대의 컴퓨트를 파괴할 수 있는 상호확증적 억지 구조를 의도적으로 구축합니다. 냉전기 핵 군비통제의 논리를 컴퓨트에 옮겨온 셈입니다.
대안들과의 비교
문서는 Plan A를 미국이 취할 수 있는 다른 경로들과 비교합니다. 요약하면 이렇습니다.
| 플랜 | 요약 |
|---|---|
| A | 검증된 감속 + 연구 전면 공개 (국제 합의) |
| B | 중국을 사보타주해 격차를 벌리고, 그 격차를 안전에 투자 |
| C+ | 사보타주 없이 국내 규제로 감속 |
| C | 선두 기업이 자발적으로 일부 감속 |
| D | 최고 속도로 경쟁 (안전 투자 최소) |
| S | 무기한 전면 중단 |
저자 중 한 명(Eli Lifland)의 평가에 따르면, 이행기(takeoff) 길이는 Plan A에서 6년, Plan D에서 약 1년이며, “좋은 미래”에 도달할 확률 추정치는 Plan A 42%, Plan D 10%입니다. 다만 저자 스스로 이 수치들이 대략적 추정이며 세부 숫자에 확신이 없다고 밝히고 있고, 저자 간 편차도 큽니다.
흥미로운 대목은 저자들이 Plan A의 실현 가능성 자체는 낮게 본다는 점입니다. 다섯 저자가 각자 추정한 ‘Plan A가 실제로 일어날 확률’은 3~15%에 그치고, 오히려 전속력 경쟁(Plan D)의 확률을 25~50%로 가장 높게 보는 저자가 많습니다. 즉 이 문서는 “이렇게 될 것”이 아니라 “이렇게 되도록 만들자”는 옹호(advocacy)에 가깝습니다.
어떻게 읽을까
이 문서의 가치는 예측의 정확성보다 논의의 구체성에 있다고 생각합니다. AI 거버넌스 논의는 대개 원칙 선언에 머무는데, 이 문서는 검증 방법, 은닉 프로젝트 대응, 컴퓨트 추적, 합의 붕괴 시나리오까지 정책 패키지를 하나하나 적어 내려갑니다. 동의하지 않더라도 반박할 지점이 명확해진다는 점에서, 시나리오 기반 정책 검증이라는 방법론 자체가 참고할 만합니다.
한계도 분명합니다. 모든 것이 “AI 기업들이 1~10년 내 인간을 능가하는 AI를 만드는 데 성공할 것”이라는 전제 위에 서 있는데, 이 타임라인 자체가 전문가 사이에서도 크게 갈리는 논쟁적 가정입니다. 미·중이 검증 가능한 합의에 도달한다는 설정 역시 현재 지정학 여건에서는 낙관적이라는 비판이 가능하고, 저자들도 이를 인정합니다.
금융의 눈으로 보면 곱씹을 지점이 하나 더 있습니다. 시나리오 속 2028년에는 건설 중인 데이터센터 비용이 미국 국방예산의 두 배에 이르는 것으로 그려집니다. 감속 합의가 실제로 성사된다면 이런 AI 인프라 투자의 전제가 흔들리는 것이고, 반대로 경쟁이 계속된다면 자본 지출 사이클이 이어지는 것이므로, AI 거버넌스는 이제 기술·안보 이슈인 동시에 거시·자본시장 변수이기도 합니다. 어느 쪽으로 갈지 이 블로그가 예측할 일은 아니지만, 이런 문서가 정책 담론에 오르내리기 시작했다는 사실 자체는 알아둘 가치가 있겠습니다.
원문과 부록(검증 계획, 경제 분석, 컴퓨트 추정 등)은 ai-2040.com에서 볼 수 있습니다.
자료: Larsen, Dean, Halstead, Lifland, Greenblatt & Kokotajlo, “AI 2040: Plan A”, AI Futures Project (ai-2040.com). 본문 수치는 원문 및 부록 “Comparing Possible Plans” 기준.