지난 글에서 AI Futures Project의 시나리오 문서 「AI 2040: Plan A」의 골자를 요약했습니다. 이번 글은 그 후속으로, 원문의 흐름을 따라가며 내용을 최대한 쉽게 풀어 쓴 해설입니다. 원문의 번역이 아니라 필자의 표현으로 재구성한 것이며, 아래의 모든 전망·주장·확률은 원문 저자들의 것입니다. 정확한 내용은 원문(ai-2040.com)을 권합니다.
출발점: “이대로 가면 결말이 나쁘다”는 진단
이 문서를 쓴 사람들은 2025년 「AI 2027」이라는 시나리오로 유명해진 그룹입니다. 저자 중 다니엘 코코타일로는 OpenAI에서 일했던 인물입니다. 전작의 결론은 암울했습니다. AI 기업들이 지금처럼 경쟁적으로 “인간보다 모든 면에서 똑똑한 AI”를 향해 달리면, 결말은 둘 중 하나라는 것입니다.
첫째는 통제 상실입니다. AI가 AI를 만들고, 그 AI가 다시 더 나은 AI를 만드는 자기증식 고리(이른바 지능 폭발)에 들어서면, 몇 세대만 지나도 인간은 그 과정에 개입할 수 없게 됩니다. 그렇게 만들어진 AI가 인간의 의도대로 움직인다는 보장을 지금의 기술로는 할 수 없다는 것이 저자들의 판단입니다.
둘째는 권력 집중입니다. 설령 AI를 인간 의도대로 통제하는 데 성공하더라도, 그 순간 세계 유일의 초지능 군단을 손에 쥔 것은 한 회사, 어쩌면 한 사람입니다. 저자들은 이것을 절멸 못지않게 나쁜 결말로 봅니다. 흥미롭게도 저자들은 주요 AI 기업 CEO들이 이 구도를 이해하면서도 “나는 상대보다 덜 나쁜 선택지”라는 논리로 계속 달리고 있다고 진단합니다.
「AI 2040」은 이 진단에 대한 답안지입니다. 부제 격인 ‘Plan A’는 말 그대로 “우리가 생각하는 최선의 계획”이라는 뜻입니다.
이 문서를 읽는 법: 예측이 아니라 권고
저자들이 거듭 강조하는 전제가 있습니다. 이 시나리오는 “이렇게 될 것”이라는 예측이 아니라 “이렇게 하자”는 권고라는 것입니다. 실제로 저자들 스스로 Plan A가 현실에서 실행될 확률을 낮게 봅니다(저자별로 3~15%). 오히려 아무 조치 없이 전력 질주하는 시나리오의 확률을 가장 높게 보는 저자가 많습니다.
그러면 왜 굳이 시나리오로 썼을까요. 저자들의 논리는 이렇습니다. 대부분의 AI 정책 제안은 “국제 협력을 강화해야 한다” 수준의 선언에 머무는데, 그 제안이 실제로 성공하는 과정을 구체적으로 써 보면 대개 어딘가에서 무너진다는 것입니다. 그래서 자신들의 제안부터 그 시험대에 올려, 연도별로 무슨 일이 일어나야 하는지를 끝까지 적어 봤다는 것입니다. 군이 전쟁 시나리오를, 방역 당국이 팬데믹 시나리오를 모의훈련하는 것과 같은 방법론입니다.
시나리오의 전반부: 2027~2029, 문제를 자각하다
시나리오는 가까운 미래의 미국에서 시작합니다. 저자들이 그리는 2027년의 풍경은 이렇습니다. 미국에는 이제 두 개의 노동력이 있습니다. 1억 6,500만 명의 사람, 그리고 시간당 수백만 개씩 생성되고 사라지는 AI 에이전트들. AI가 만드는 결과물의 상당수는 조악하지만, 쓸 만한 것도 충분히 많아 사람들은 매달 큰돈을 지불합니다. 그리고 AI 기업들이 가장 자동화하고 싶어 하는 직업은 다름 아닌 자기 자신, 즉 AI 연구자입니다.
2028년 대선에서 AI는 최대 쟁점이 됩니다. 시나리오 속에서 건설 중인 데이터센터의 비용은 미국 국방예산의 두 배에 달하고, 화이트칼라 직군의 업무는 AI 에이전트 관리로 재편되고 있으며, 다른 나라들은 미·중 소수 기업이 전 세계 사무직을 자동화하는 광경을 불안하게 지켜봅니다. 의회와 대통령이 마주하는 질문은 하나로 수렴합니다. “이 AI들을 결국 누가 통제하게 되는가?” 그리고 의회가 내린 잠정 결론은 “적어도 우리는 아니다”입니다.
그렇게 2029년, 시나리오는 갈림길에 섭니다. 계속 달릴 것인가, 늦출 것인가, 늦춘다면 어떻게?
Plan A의 핵심: 검증 가능한 감속 합의
Plan A의 뼈대는 미국과 중국이 초지능 개발을 늦추기로 합의하고, 그 합의를 서로 검증할 수 있게 만드는 것입니다. “서로 믿자”가 아니라 “믿지 않아도 되는 구조를 만들자”에 가깝습니다. 세 개의 기둥이 있습니다.
첫째, 연구의 전면 공개입니다. 모든 프런티어 AI 연구를 공개하고, 상대국 감사관이 서로의 연구용 데이터센터를 들여다보게 합니다. “기밀이 유출되지 않느냐”는 반론에 대한 저자들의 답이 흥미로운데, 어차피 현재 어떤 AI 기업도 국가 단위 해커로부터 알고리즘 기밀을 지킬 수 없으므로(모델 가중치보다 알고리즘 아이디어가 훨씬 훔치기 쉽습니다), 이미 새고 있는 것을 공식화하는 비용은 작고 투명성의 이득은 크다는 것입니다.
둘째, 컴퓨트 추적과 검증입니다. AI의 성능은 결국 반도체 연산력(컴퓨트)에 달려 있는데, 첨단 AI 칩은 설계와 생산이 극소수 기업에 집중되어 있어 국제적으로 추적이 가능하다는 점을 이용합니다. 몰래 칩을 모아 비밀 프로젝트를 돌리려 해도, 정상 프로젝트 대비 확보 가능한 컴퓨트가 수백분의 일 수준이라 위협이 되기 어렵다는 것이 저자들의 계산입니다.
셋째, 상호확증 컴퓨트 파괴입니다. 어느 한쪽이 합의를 깨고 폭주하면 상대가 그쪽의 데이터센터와 반도체 생산시설을 파괴할 수 있는 태세를 서로 인정하는 것입니다. 냉전기 핵 군비통제를 지탱한 상호확증파괴(MAD)의 논리를 컴퓨트에 옮겨온 셈인데, 저자들은 이 억지 구조가 있어야 합의가 유지된다고 봅니다.
시나리오의 후반부: 2029~2040, 천천히 올라가다
합의 이후의 시간표는 이렇습니다. 저자들의 추정으로는 합의가 없었다면 2030년에 AI 연구개발이 완전 자동화되고, 그해 안에 초지능이 등장했을 것입니다. 합의 덕분에 이 지점을 피해, 2030년부터 2035년까지는 인간 최상위 전문가 수준을 넘지 않는 범위에서 천천히 성능을 올립니다. 여러 나라의 수십 개 기업이 함께 프런티어를 따라오게 해서, 한 회사가 독주하는 구도 자체를 없앱니다.
2035년에는 그 수준에서 의도적으로 멈춥니다. 인간이 통제력을 유지한 채로 정렬(alignment) 연구, 검증 기술, 사회적 준비를 쌓기 위한 시간입니다. 그리고 2040년, 준비가 되었다고 판단한 시점에 정지를 풀고 초지능으로 올라갑니다. 제목의 ‘2040’은 여기서 나왔습니다. 저자들은 이 경로가 완벽하게가 아니라 “불완전하게, 아슬아슬하게” 실행되는 모습으로 시나리오를 그렸다고 밝힙니다.
다른 선택지들: B, C, D, 그리고 S
문서는 Plan A를 다른 경로들과 나란히 놓고 비교합니다. 쉽게 옮기면 이렇습니다.
| 플랜 | 한 줄 요약 | 비유하자면 |
|---|---|---|
| A | 검증 가능한 국제 합의로 함께 감속 | 군비통제 조약 |
| B | 중국을 (사이버 또는 물리적으로) 방해해 격차를 벌리고, 번 시간을 안전에 투자 | 방해 공작 후 독주 |
| C+ | 국내 규제로 자국 기업을 늦추기 | 혼자 브레이크 |
| C | 선두 기업이 알아서 조금 늦추기 | 자율 감속 |
| D | 지금처럼 전속력 경쟁 | 액셀 유지 |
| S | 프런티어 연구 무기한 전면 중단 | 시동 끄기 |
저자 중 한 명의 추정으로는, 인간 수준에서 통제 불능 수준까지 가는 데 걸리는 시간이 Plan A에서는 약 6년, Plan D에서는 약 1년입니다. “좋은 미래”에 도달할 확률은 Plan A 42%, Plan D 10%로 추정합니다. 다만 저자들 스스로 이 숫자들은 대략적 추측이며 저자 간 편차도 크다고 명시합니다. 눈여겨볼 것은 Plan A조차 42%라는 점입니다. 저자들의 세계관에서는 최선의 계획을 최선으로 실행해도 성공이 보장되지 않습니다.
어떤 비판이 있나
공개 직후의 토론에서 가장 많이 나온 비판은 지정학적 순진함입니다. 지금의 미·중 관계에서 상대국 감사관에게 핵심 연구시설을 열어주는 합의가 가능하겠느냐는 것입니다. 전면 공개가 오히려 공개된 기술로 기존 오픈소스 모델을 위험 수준까지 끌어올리는 부작용을 낳을 수 있다는 기술적 반론도 있습니다. 그리고 이 모든 논의는 “AI 기업들이 1~10년 내 인간을 능가하는 AI를 만드는 데 성공한다”는 전제 위에 서 있는데, 이 타임라인 자체가 전문가 사이에서 크게 갈리는 가정입니다.
저자들도 상당 부분 인정합니다. 그래서 문서에는 Plan A가 안 되더라도 도움이 되는 소박한 정책 목록(수출통제 실집행, 검증 기술 연구개발 투자, AI 연구개발 컴퓨트 비중 제한, 정부의 AI 인력 확충 등)이 별도로 담겨 있습니다.
마치며
이 문서를 어떻게 평가하든, 한 가지는 분명해 보입니다. “초지능을 어떻게 다룰 것인가”라는 질문이 이제 사고실험이 아니라 연도와 정책 수단이 붙은 계획서의 형태로 논의되기 시작했다는 점입니다. 동의하는 사람에게는 청사진이고, 동의하지 않는 사람에게는 반박할 좌표가 생긴 셈입니다. 판단은 각자의 몫이지만, 원문은 한 번 읽어볼 가치가 있습니다. 본문과 부록(검증 계획, 경제 분석, 컴퓨트 추정 등)은 ai-2040.com에 공개되어 있습니다.
자료: Larsen, Dean, Halstead, Lifland, Greenblatt & Kokotajlo, “AI 2040: Plan A”, AI Futures Project (ai-2040.com) 본문·FAQ·부록. 본 글은 원문을 필자의 표현으로 재구성한 해설이며, 번역이 아닙니다.