# 파멸 확률(P(doom)) 이번 주에는 “AI가 우리 모두를 죽일 것이다(AI is going to kill us all)”라는 주장이 여러 형태로 퍼지며 화제가 됐다. 특히 한 직원이 그런 일이 벌어질 개인적 확률을 10% 이상으로 잡은 사례가 주목받았다. 그래서 [파멸 확률(P(doom))을 다룬 위키백과 문서](https://en.wikipedia.org/wiki/P(doom))를 찾아봤다. 다리오 아모데이는 나쁜 일이 일어날 확률을 10~25% 정도로 보는 듯했다. 이후 다리오는 [최전선의 속도를 조절해야 한다](https://darioamodei.com/post/we-must-pace-the-frontier)는 글을 썼고, 그 글을 읽은 샘도 [속도 조절을 원한다고 밝혔다](https://x.com/sama/status/2098811563415150910). [머스크도 마찬가지다](https://x.com/elonmusk/status/2098789109980332057). 이 글은 꼭 읽어보길 권한다. 좋은 글이라고 생각한다. 그런데 글에서 제시한 관찰과 우려 대부분에 동의하면서도, 읽는 내내 강한 반감이 드는 것을 어쩔 수 없었다. 지금 이 문제를 어떻게 생각하는지 적어두면 흥미로울 것 같았다. 다른 이유가 없더라도 1~2년 뒤 내가 다시 돌아볼 기록은 될 것이다. ## 파멸이란 무엇인가? 다리오의 글에서 특히 마음에 드는 점은 충분히 현실적인 시나리오를 제시한다는 것이다. 동시에 우리가 맞서야 할 분명하고 불행한 결과도 묘사한다. 끈질기게 살아남는 봇넷과 여러 형태의 골칫거리다. 실제로 주변을 조금만 둘러봐도 문제가 사방에서 벌어지고 있다. 위키백과에는 [2026년 오픈AI 에이전트 사이버 공격](https://en.wikipedia.org/wiki/2026_OpenAI_agent_cyberattacks)이라는 문서가 있다. 지금까지 에이전트가 해킹한 대상을 어느 정도 파악할 수 있는 자료다. 하지만 최신 내용이 반영되지 않았다는 사실을 나는 안다. 예를 들어 에이전트들은 [루비젬스](https://www.rubyhack.ai/)도 오염시켰다. 현재 이러한 시스템은 성가신 정도일지 모른다. 그래도 어디에서 작동하는지만 알아내면 끌 수 있다. 문제는 오픈AI와 앤트로픽이 워낙 큰 규모로 운영되다 보니, 자사 시스템이 무엇을 하는지 전혀 파악하지 못할 수도 있다는 점이다. 에이전트가 살아남으려고 핵심 추론 인프라를 해킹한 뒤 다른 GPU에 가중치를 업로드하는 세상이 곧 닥치리라고는 생각하지 않는다. 하지만 충분히 가능한 일이기도 하다. 지금까지 그런 사태를 주로 억제한 요인은 연구소들이 자사 지식재산권을 각별히 조심스럽게 다룬다는 점일 것이다. 내가 _주로(primarily)_ 걱정하는 시나리오는 이것이 우리에게 어떤 영향을 미칠지에 관한 것이다. 여기서 ‘우리’란 비공개 가중치 모델, 도파민을 자극하는 시스템, 보조금으로 유지되는 토큰 수도꼭지를 만드는 일에 종사하지 않는 모든 사람을 뜻한다. 누군가 이 모델로 핵무기를 만들거나 중동의 미사일을 조종하는 일은 _정말(really)_ 걱정하지 않는다. 미국이 중국과의 국제 문화 전쟁에서 패배하는 것도 마찬가지다. 내가 걱정하는 것은 거의 전적으로 이것이 인간인 우리에게 어떤 영향을 미치느냐이다. ## 무엇의 속도를 조절해야 하는가? 이 논의에서 지극히 우스우면서도 답답한 점은 속도를 조절할 대상이 따로 있다는 발상이다. 우선 다리오가 여기서 누구를 말하는지부터 짚어야 한다. 실제로는 앤트로픽과 오픈AI, 두 회사뿐이다. 현재 이 분야에서는 다른 어떤 회사도 중요하지 않다. 앞으로 달라질 수 있지만, 지금 상황을 두고 하는 말이다. 두 회사는 기본적으로 같은 뿌리에서 나왔다. 다리오가 제안한 해결책에는 적어도 부분적으로 제삼자 평가 기관이 포함되며, 여기서는 [METR](https://en.wikipedia.org/wiki/METR)를 가리킨다. 놀랍지도 않게 METR 역시 오픈AI와 앤트로픽 양쪽 모두와 밀접한 관계가 있다. 물론 두 회사 사이에는 철학적 차이가 조금 있지만, 차이점보다는 공통점이 훨씬 많다. 두 회사 모두 지난 수십 년간 우리 모두가 어떤 식으로든 만들어낸 공개 데이터로 모델을 훈련하며 막대한 혜택을 얻었다. 두 회사가 공공 자원에 가하는 부담도 갈수록 커지고 있다. 다만 오픈AI는 상황을 훨씬 제대로 통제하지 못하는 듯하다. 그런데 이제는 이 모델의 훈련 데이터가 너무 위험하므로, 극소수 미국 기업이 누가 무엇을 언제 어떻게 할 수 있는지 결정해야 한다는 주장이 나온다. 그런데 보라. 다리오는 중국도 무척 걱정한다. AI를 “민주주의와 자유(democracy and freedom)”를 위해 써야 한다는 이야기로 시작하더니, 중국과의 격차를 유지해야 한다고 주장한다. 최근 앤트로픽 API에서 벌어지는 온갖 조치는 모두 중국의 증류를 막으려는 것이다. 앤트로픽도 이를 전혀 숨기지 않는다. ## 자동 속도 조절 AI 안전과 속도 조절에 대한 우려가 훨씬 줄어드는 경우가 있다. 애초부터 개방형 가중치 모델을 내놓도록 강제하는 것이다. 누구나 이용할 수 있는 강력한 기술에는 속도 조절 장치가 내재해 있다. 어떤 면에서는 이것이 [상호확증파괴(MAD)](https://en.wikipedia.org/wiki/Mutually_assured_destruction), 또는 확산의 가장 순수한 형태다. 우리가 처음부터 이런 곤경에 빠진 이유는 대중이 현재 이 모델의 개발을 간접적으로 막대하게 지원하면서도, 모델이 창출할 경제적 이익은 상당한 권력을 쥔 극소수 연구소로부터 다시 사들여야 하기 때문이라고 본다. 적어도 미국에서는 이들의 권력을 지정학적 힘으로 여기며, 중국에서도 정도는 덜할지 몰라도 비슷한 시각이 존재한다. 여기서 ‘공공(public)’이라는 말을 느슨하게 쓴다는 점은 안다. PyPI는 공공 프로젝트가 아니며, 루비젬스나 깃허브도 마찬가지다. 하지만 이들은 오픈 소스 공유 자원의 일부다. 대형 AI 기업들은 더 강력한 모델을 훈련하려고 이 자원에 엄청난 부담을 주고 있다. 현재 중국이 세계를 대대적으로 구제하고 있다는 사실을 다행으로 여겨야 한다. 중국 연구소들이 미국 모델을 증류하지 않았다면 지금 우리는, 특히 유럽인은 상당히 끔찍한 상황에 놓였을 것이다. 개방형 가중치 모델은 혁신과 역량 확산을 촉진하고 경쟁의 장을 공평하게 만든다. > 중국도 똑같이 행동할 것이라고 믿고 우리의 AI 역량을 크게 제한했는데 중국이 합의를 어긴다고 해보자. AI는 너무 강력해질 수 있으므로, 그 위반으로 인해 중국이 지정학적 우위를 차지할 수도 있다. 따라서 모든 합의는 철저하게 검증할 수 있어야 한다. 그렇지 않다면 합의를 어겨도 군사적으로 존립을 위협받지 않을 만큼 제한적인 범위에 그쳐야 한다. > > — 다리오 아모데이 다리오가 이런 믿음을 갖게 된 데는 나름의 이유가 있으리라 본다. 그러나 지금 실제로 문제를 일으키는 모델은 모두 미국의 비공개 가중치 모델이다. 개방형 가중치 모델이었다면 이런 문제가 생기지 않았을 가능성이 높다고 확신한다. 이유가 무엇일까? 우선 모델 서비스의 경제성이 이토록 왜곡된 것은 대형 연구소 특유의 운영 방식 때문이다. 오픈AI는 마음만 먹으면 문제 하나를 무차별 대입으로 풀려고 1,800만 달러를 아무렇지 않게 태운다. 엄청난 손실을 보면서 구독 서비스를 운영하고 시장 곳곳을 왜곡한다. 모두가 어느 정도 동등한 조건으로 폭넓게 접근할 수 있었다면, 지금 목격하는 수많은 황당한 문제는 발생하지 않았을 것이다. ## 규제의 총체적 실패 내가 보기에는 지금 전 세계에서 규제가 총체적으로 실패하고 있다. 유럽에는 2년 전에 만들어진 기묘한 AI 규제가 있다. 이 규제는 우리가 실제로 겪는 문제를 완전히 놓치고, 아무도 겪지 않는 문제에 초점을 맞춘다. 미국에서는 중국에 대한 공포와 변덕스러운 의사 결정이 터보 자본주의와 결합한 체제가 나타나고 있다. 우리가 처한 혼란 속에서 현실이 모습을 드러낸다. 그리고 지금 이 순간에도 그 현실은 심각한 문제투성이다. 이미 존재하는 법과 규제도 대부분 완전히 무시된다. 많은 회사가 여기저기서 데이터를 사들이고 있다. 정작 당사자들은 자신의 데이터를 AI 모델 훈련에 써도 된다고 동의한 적이 없다. 새로 등장하는 토큰 경제는 마약 시장과 비슷하다. 요청이 어디로 전달되는지, 어떤 모델이 제공되는지, GPU가 어디에서 작동하는지조차 알 수 없다. 이 모든 것에 얼마를 지불하는지는 말할 것도 없다. 이제 수학자들은 자신이 챗GPT에 입력한 아이디어로 미래 모델을 훈련할까 봐 두려워한다. 오픈AI는 그런 가능성을 [배제하지도 못하는 모양이다](https://www.bbc.com/news/articles/cy7zygy3rl2o). 이상적인 상황이라면 규제 기관은 공유 자원에서 나온 모델이 실제로 그 공유 자원에 이익을 돌려주도록 강제했을 것이다. 예를 들어 인터넷은 스크래핑을 허용한 미국의 매우 자유로운 판결 덕분에 크게 발전했다. 공개 데이터 학습을 규제하되, 연구소가 특정한 형태의 증류를 적극적으로 지원하고 가능하게 만드는 방식도 있었을 것이다. 그것만으로도 모델 훈련 방식은 크게 달라졌을 것이다. ## 어떤 일이 벌어질 수 있는가? 앞서 말했듯이 AI가 인류 멸종을 초래하리라고는 생각하지 않는다. 사실 아무도 속도를 늦추지 않더라도 인류가 크게 걱정할 일은 없다고 본다. 오히려 평판과 법적 책임 측면에서 잃을 것이 훨씬 많은 쪽은 대형 연구소일 것이다. 오픈AI의 에이전트들이 실제로 범죄를 저지르는데도 모두가 어깨를 으쓱하고 아무 일도 없었던 것처럼 넘어간다는 사실은 터무니없다. 하지만 이런 상황이 수많은 잠재 고객에게 전혀 환영받지 못한다는 현실을 해당 기업의 경영진도 깨닫기 시작했으리라 확신한다. 재귀적 자기 개선을 둘러싼 이 모든 시도가 문제로 이어질 가능성도 크다고 생각한다. 반드시 인류나 사회의 종말을 불러온다는 뜻은 아니다. 그저 곳곳에 막대한 피해를 줄 수 있다는 얘기다. 결국 우리가 하는 많은 일의 비용만 훨씬 높아질 것이다. 소프트웨어 엔지니어링은 이미 초기 희생양이 됐다. 지금까지 새롭게 얻은 능력은 기업이 모델 제공업체에 내야 하는 새로운 세금으로 이어졌다. 기업은 빨라진 속도를 따라잡기 위해서도 돈을 내야 하고, 이 기계들이 사방에서 보안 문제를 찾아내며 일으키는 혼란에 대응하려고도 비용을 치러야 한다. 아마 소프트웨어 분야에서 벌어지는 일은 다른 산업에도 확산될 것이다. 대학과 연구 집단 역시 경쟁자를 따라잡으려면 비공개 모델에 막대한 돈을 쏟아부어야 할 것이다. 어떤 면에서는 사회가 이 모든 일을 너무나 태연하게 받아들이는 모습이 정말 이해되지 않는다.