# 다리오 아모데이 — AI 지수적 발전(AI Exponential)에 관한 정책 *반지의 제왕(The Lord of the Rings)*의 한 곁가지 줄거리에서, 두 호빗은 현명하지만 굼뜬 지각 있는 나무인 트리비어드(Treebeard)를 깨워 숲을 베어내는 군대로부터 자신의 숲을 지키게 하려 한다. 문제는 트리비어드가 호빗과는 전혀 다른 속도로 움직인다는 점이다. 그는 다른 나무에게 인사 한마디를 하는 데도 꼬박 하루가 걸린다. 그래서 그와 동족들이 충분히 빨리 행동하게 만드는 일은 거의 불가능하다. AI와 정치 제도의 만남은 다소 호빗과 트리비어드의 관계를 떠올리게 한다. AI는 번개 같은 속도로 발전하고 있다. 불과 4년 만에 AI 모델은 겨우 일관된 코드 한 줄을 쓰던 수준에서, 이제는 주요 AI 기업들의 [대부분의 코드를 작성하는](https://www.anthropic.com/institute/recursive-self-improvement) 수준으로 올라섰다. 생물학, 물리학, 수학, 금융, 법률, 번역 등 수많은 분야에서도 비슷한 진전이 있었다. 컴퓨팅 성능이 커질수록 일반적 인지 능력이 기하급수적으로 증가한다고 예측하는 [AI의 스케일링 법칙(scaling laws)](https://arxiv.org/abs/2001.08361)은 이제 10년이 넘는 실증적 근거를 갖추고 있다. 이 스케일링 법칙이 1~2년만 더 이어진다면, 내가 *강력한 AI(Powerful AI)*라고 불러온 것, 즉 “[데이터센터 속 천재들의 나라(a country of geniuses in a datacenter)](https://darioamodei.com/essay/machines-of-loving-grace)”에 도달할 가능성이 크다. 반면 정책, 특히 입법은 매우 느리게 움직인다. 여기에는 대개 타당한 이유가 있다. 정부는 막강한 권한을 지니고 있고, 그 권한이 너무 성급하게 행사되지 않는 편이 보통 더 낫다. 그럼에도 시간 척도의 불일치는 고통스럽다. 의회가 행동하는 데 몇 년이 걸리는 동안, AI는 재미있는 장난감에서 천재들의 나라로 바뀔 수 있다. 지난 몇 년간 AI가 주요 상업 기술로 자리 잡은 뒤, 이를 책임 있게 다루고자 했던 사람들은 딜레마에 직면했다. 우리는 이 지수 곡선이 어디로 향하는지 분명히 보았다. 몇 년 안에 AI가 정책 지형 전체를 근본적으로 바꾸는 드문 기술이 되리라고 강하게 의심했다. 핵무기가 지정학을 바꾸었고 산업혁명이 모든 경제·사회 문제를 근본적으로 바꾸었듯이 말이다. 그러나 *당시 시점*의 AI 능력만 본 사람들에게 AI는 훨씬 평범한 기술처럼 보였다. 최신 소비자 앱이나 암호화폐와 비슷한 것으로 여겨졌을지도 모른다. 그래서 *자유방임(laissez faire)* 외의 태도가 필요하다고 대부분의 정책결정자와 기업을 설득하기는 어려웠다. 공정하게 말하면, AI의 급진적 효과가 아직 현실화하지 않았고 그 형태도 정확히 알 수 없었기 때문에, 설령 행동 의지가 있었더라도 올바른 정책을 설계하기는 쉽지 않았다. 이런 상황의 제약 때문에, 많은 안전 옹호자들(앤트로픽 포함)은 지금까지 선택지를 열어 두고, 나중에 빠르게 대응할 수 있게 준비하며, 세상에 앞으로 닥칠 일을 더 잘 보게 하는 정책을 주로 지지해 왔다. 예를 들어 투명성 입법, 칩 수출 통제, AI의 노동시장 영향에 관한 데이터 수집 같은 것들이다. 이것들만으로는 충분하지 않지만, 그동안은 그 정도가 현실적으로 가능한 전부처럼 느껴졌다. 하지만 지난 몇 달 사이, AI의 엄청난 힘과 그에 따른 위험을 보여주는 증거는 더 이상 부인할 수 없는 수준이 되었다. 가장 상징적인 사례는 [클로드 미토스 프리뷰(Claude Mythos Preview)](https://www.anthropic.com/glasswing)와, 최첨단 모델이 사이버보안에 [매우 현실적인 위험](https://red.anthropic.com/2026/exploit-evals/)을 초래한다는 발견이다. 이는 금융 부문, 핵심 인프라, 국가안보를 교란할 잠재력을 만든다. 미토스 프리뷰는 전 세계 사이버보안 지형을 [뒤흔들었다](https://red.anthropic.com/2026/attack-navigator/). 그러나 더 넓은 의미는, 이것이 AI 모델이 이제 세계적·국가적 전략적 중요성을 지닌 도구라는 사실을 의심의 여지 없이 입증했다는 데 있다. 미토스급 모델이 제기하는 사이버 위험이 우리가 마주할 마지막 위험은 아닐 것이다. 나는 생물학적 위험이 곧 뒤따를 수 있다고 보고, [심각한 AI 자율성(autonomy) 위험](https://www.anthropic.com/institute/recursive-self-improvement)도 그리 멀지 않았다고 생각한다 ¹. 이제 전 세계는, 놀라울 만큼 빠르게 누적될 위험과 기회를 다루기 위해 느리고 덜컹거리는 정책 장치를 움직여야 한다. 많은 정책결정자가 행동에 더 열린 태도를 보이고 있으며, 지난 몇 년간 우리가 주장해 온 입장에 다른 이들도 동참하는 모습을 보는 것은 고무적이다. 이는 좋은 일이다. 하지만 나는 이러한 초기 조치들이 적어도 1년은 AI의 빠른 진전에 뒤처져 있다고 우려한다. 이 글은 그 격차를 줄이려는 시도다. 지금 지수 곡선이 어디에 와 있는지, 그리고 이 순간에 걸맞게 대응하려면 어떤 집단적 행동이 필요한지를 설명하려 한다. 나는 AI 시대에 새롭게 구상해야 할 다섯 가지 상시적 정책 분야에 초점을 맞추겠다. 규제와 공공 안전, 거시경제와 조세 정책, 과학 혁신, 국가와 사회 사이의 권력 균형, 지정학이다. 앤트로픽은 미국 기업이므로 주로 미국 정책을 기준으로 말하겠지만, 내 제안 대부분은 세계 다른 지역에도 적용된다. 이 글과 함께 앤트로픽은 최첨단 모델 테스트에 관한 입법안과 일자리 대체에 관한 정책 프레임워크를 공개한다. 우리는 여기에 상당한 재정 지원을 제공할 계획이다. 앞으로 훨씬 더 많은 일을 할 생각이지만, 이번 조치들을 우리의 진정성을 보여 주는 첫걸음으로 본다. ## 1\. 규제와 공공 안전 모든 신기술과 제품에는 유익한 용도와 해로운 용도가 함께 존재한다. 따라서 혁신과 안전 사이의 딜레마가 생긴다. 제품을 규제하면 피해 가능성을 낮출 수 있고, 이는 전 세계 삶의 질을 높이는 데 중요한 역할을 해 왔다. 하지만 동시에 그 이익을 직접 줄일 수 있고, 간접적으로 혁신 유인을 약화시킬 수도 있다. 또 [하이에크적(Hayekian)](https://en.wikipedia.org/wiki/Friedrich_Hayek) 관점에서 보면, 규제 당국은 복잡한 경제적 상충관계에 대해 올바른 결정을 내리는 데 필요한 정보를 충분히 갖지 못하는 경우가 많다. 그래서 규제는 종종 비효율적이면서도 부담스럽다. 이와 관련된 개념으로 [콜링리지 딜레마(Collingridge dilemma)](https://en.wikipedia.org/wiki/Collingridge_dilemma)가 있다. 이는 어떤 기술의 영향은 쉽게 관리하기에는 너무 늦은 시점이 되기 전까지는 예측하기 어려운 경우가 많다고 말한다. 이런 역학은 2023~2024년 AI 분야에서 크게 드러났다. 앤트로픽은 미래에 AI가 수백만 명을 위협할 수 있는 생물학 무기를 만드는 능력을 가질 수 있고, 자율적 오작동으로 인해 극단적 경우에는 인류 자체를 위협할 수도 있다는 점을 분명히 인식하고 있었다. 그러나 위험이 정확히 어떤 *형태*로 나타날지, 이를 어떻게 가장 잘 시험하고 완화할지, 실제로 어떻게 전개될지는 덜 분명했다. 그래서 미리 작성한 입법이 결국 비효율적으로 끝날 위험이 컸다. 실제 위험의 핵심 원천은 놓치면서도, 무의미하거나 가치가 낮은 준수 의무만 만들어낼 수 있었다 ². 결국 당시 우리가 내린 결론은 *투명성(transparency)*이 올바른 접근이라는 것이었다. AI 모델 개발자는 자신들의 안전 절차와 모델에 수행하는 테스트를 *공개(disclose)*해야 하고, 중대한 안전 사고가 발생하면 보고해야 한다. 그래야 대중과 과학 공동체가 위험이 부상하는 과정을 더 잘 볼 수 있다. 그리고 위험이 더 분명해지고 그 형태가 선명해질 때, 투명성을 통해 축적된 증거를 바탕으로 가장 우려되는 위험을 정확히 겨냥하는 영리한 입법을 설계할 수 있다. 그래서 2025년 앤트로픽은 투명성 법안을 지지했고, 캘리포니아의 [SB 53](https://www.anthropic.com/news/anthropic-is-endorsing-sb-53), 뉴욕의 [RAISE](https://www.nysenate.gov/legislation/bills/2025/A6453/amendment/A), 일리노이의 [SB 315](https://legiscan.com/IL/bill/SB0315/2025)(2026년 초), 그리고 [연방 차원의 투명성 기준](https://www.nytimes.com/2025/06/05/opinion/anthropic-ceo-regulate-transparency.html)을 지지하는 데 힘을 보탰다. 하지만 이제 위험은 [분명히 현실이 되었다](https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/). 이제는 투명성을 넘어 더 진지하고 구속력 있는 AI 규제로 나아가야 한다. 적어도 현재의 지수적 발전 단계에서 가장 적절한 비유는 자동차, 비행기, 의약품이라고 본다. 현대 경제에 필수적이지만, 설계나 운용이 잘못되면 많은 사람을 죽일 수 있는 강력한 기술들이다. 따라서 AI 규제는 연방항공청(FAA) 같은 기관을 본떠야 한다고 생각한다. **최첨단 AI 모델은 비행기처럼 기술적 시험과 감사를 거쳐야 하며, 높은 안전 기준을 충족하지 못하면 공공 안전에 대한 위협으로 간주해 출시를 막거나 철회할 수 있어야 한다.** [트럼프 행정부의 행정명령](https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/)이 AI에서 정부 역할을 점진적으로 확대하는 방향으로 움직인 점은 반갑다. 다만 앤트로픽의 제안은 이보다 더 강한 조치를 권고한다. 우리의 제안은 다음 요소를 포함한다. - 일정 계산량(compute) 기준을 넘는 모델은 네 가지 특정 영역의 위험 수준에 대해 자격 있는 제3자가 의무적으로 시험해야 한다. 네 영역은 사이버보안, 생물학 무기, AI 시스템 통제 상실, 그리고 이런 다른 위험을 가속할 수 있는 자동화된 연구개발(R&D)이다. - 제3자 평가 결과를 고려할 때 용인할 수 없는 위험이 있다고 판단되면, 정부는 해당 모델의 배포를 막거나 억제할 권한을 가져야 한다. 다만 이 권한은 위 네 가지 위험으로 범위를 한정해야 하며, 정치적 편파나 자의적 결정에 대한 보호 장치도 있어야 한다. - 제3자 평가는 정부 기관(FAA와 유사한 형태)이 수행할 수도 있고, 정부가 일정 기준에 따라 모델 평가를 하도록 승인하고 감독하는 민간 기관 집합이 수행할 수도 있다. 이른바 “[규제 시장(regulatory markets)](https://www.americanbar.org/groups/science_technology/resources/jurimetrics/2026-winter/regulatory-markets-future-ai-governance/)” 접근이다. - 고도 AI 모델을 개발하는 AI 기업은 모델 가중치(weights)를 보호할 강력한 보안 기준을 갖춰야 하고, 정기적인 레드팀 활동과 침투 테스트를 수행해야 하며, 주요 위협 행위자에 대응하기 위해 정부와 협력해야 한다. - 네 가지 핵심 영역에서 발생한 안전 사고는 즉시 보고해야 한다. 앞으로는, 어쩌면 비교적 가까운 시일 안에, 이 수준을 넘어서는 규제가 필요해질 수도 있다. 가장 강력한 AI 시스템이 비행기나 자동차보다 무기화 가능한 핵물질에 더 가까워질 수 있기 때문이다. 이는 “단지” 공공 안전에 대한 위협이 아니라 인류 전체에 대한 위협이다. 그런 상황이 오면, 내가 여기서 제시한 것보다 훨씬 더 강한 규제 조치가 필요할 수 있다 ³. 그러나 2024년에 지금 내가 제안하는 조치를 정확히 겨냥해 적용하기가 어려웠던 것처럼, 너무 앞서갈 필요는 없다고 본다. 오늘 나타나는 위험에 맞는 정책을 설계하되, 새로운 위험이 등장하면 더 빠르게 대응을 강화할 수 있는 토대도 함께 마련해야 한다. ## 2\. 거시경제와 조세 정책 정부는 오래전부터 경제 성장을 장려하는 동시에 중요한 공공 서비스를 제공하고 가장 어려운 처지에 놓인 사람들을 보호하는 방법이라는 과제에 직면해 왔다. 이 논쟁의 중요한 전제이자 대체로 옳은 전제는 *경제 성장은 취약하고 달성하기 어렵다*는 것이다. 즉, 불평등 완화는 중요한 이익을 줄 수 있지만, 그 대가로 증세나 재정적자가 가져오는 경제적 부담을 감수해야 한다는 생각이다. 나는 강력한 AI가 이 가정을 뒤흔들 수 있다고 본다. AI가 대부분의 인지 작업을 인간보다 훨씬 잘 수행하게 된다면, 과학·기술·운영 효율성을 가속하면서 매우 빠르고 강한 경제 성장을 만들어낼 가능성이 크다. AI가 [더 나은 AI를 스스로 만들어내는](https://www.anthropic.com/institute/recursive-self-improvement) 반복적 능력은 그 성장을 더욱 증폭할 수 있다. 하지만 바로 같은 이유로, AI는 이전 기술들보다 인간의 인지 능력을 더 일반적으로 대체하는 경제적 대체재로 작동할 수 있다. 게다가 이전 기술들보다 훨씬 빠르게 경제를 바꿀 수도 있다. 따라서 AI가 과거 기술보다 훨씬 큰 노동시장 충격을 일으킬 수 있다고 보는 것은 타당하다. 그리고 그 충격은 더 *지속적*일 수도 있다. 우리는 경제의 조절 다이얼이 초고성장·초불평등 설정에 고정되어, 그 상태에서 다시 떼어내기 매우 어려운 세계에 처할 위험이 있다. *그런 세계의 핵심 과제는 성장을 유인하는 일이 아니라, 그 혜택을 모두가 나누는 길을 찾는 일이다.* 이 글에서 다루는 주제들 가운데 거시경제와 지속적인 노동 대체 문제는 아마도 가장 많은 대중적 관심과 오해를 동시에 불러온 영역일 것이다. 그래서 두 가지를 매우 분명히 말하고 싶다. 첫째, 지속적 일자리 대체는 바람직하지도 않고 위험하다. 우리는 이를 초래하려는 것이 아니라, 가능한 한 최소화하거나 막기 위해 할 수 있는 일을 다 해야 한다. 내가 인터뷰와 글에서 일자리 대체를 경고해 온 이유는 정책결정자와 민간 부문이 적응하고 대응할 최선의 기회를 갖게 하려는 것이지, “파국의 예언자”가 되려는 것이 아니다. 기업으로서 앤트로픽은 언제나 고객과 협력해 창의적인 신규 활용 사례와 새로운 수익원을 찾으려 한다. 그렇게 해서 기존 인력을 유지한 채 더 많은 일을 할 수 있도록 하려는 것이다. 비용 절감, 곧 인력 축소에만 초점을 맞추지 않으려 한다. 우리는 또 시스템이 발전할수록 인간이 AI 시스템과 협업하는 데 가능한 한 적극적인 역할을 하게 만드는 새로운 상호작용 패러다임도 끊임없이 고민한다. 더 넓게 보면, 전 세계가 가능한 한 많은 새로운 방식으로 AI를 써보는 실험을 하는 것은 가치가 있다. 그래야 사회가 새로운 일자리 구성 가능성을 발견할 수 있기 때문이다. 나는 AI가 여러 새로운 경제적 기회를 열어줄 것이라고 생각한다. 한 개인이 AI를 이용해 수십억 달러 기업을 만들 수 있을 것이라고 예측해 왔고, 실제로 소수 인원 팀이 수억 달러 매출 기업을 세우는 사례도 이미 보고 있다. 하지만 동시에, 모든 노력을 다하더라도 AI가 여전히 상당한 규모의 지속적 일자리 상실을 초래할 가능성이 작지 않다는 점도 인정해야 한다. 그리고 이는 이 기술이 인간의 인지를 폭넓게 복제하는 방식에 내재한 *본질적* 속성일 수도 있다 ⁴. 둘째, AI가 주도하는 일자리 대체에 대한 어떤 대응도 *모든 사람의 경제적 생활 보장*과 *사람들이 의미, 목적, 주체성을 찾을 필요*를 모두 다뤄야 한다. 후자가 궁극적으로 더 중요하다. 이는 사회를 어떻게 조직할지, 사람들이 무엇을 추구해야 할지, 좋은 삶이 무엇인지 같은 깊은 질문에 달려 있다. 사실 나는 AI가 모든 면에서 인간보다 뛰어난 세계에서도 인간이 깊은 목적의식을 지닌 삶을 살고, 경이롭고 아름다운 것을 만들기 위해 노력할 수 있다고 매우 낙관한다 ⁵. 그러나 이것은 사회 전체가 함께 풀어가야 할 문제이지, 정책이 직접 해결할 수 있는 문제는 아니다. 정책이 가장 잘할 수 있는 일은 시간을 벌어 주는 것이다. 즉, 일자리 상실 속도를 늦추고 영향을 받을 가능성이 큰 사람들의 경제적 기반을 지탱함으로써 사회가 이 문제를 숙고할 여유를 만드는 것이다. 그런 취지에서 도움이 될 가능성이 큰 핵심 정책 개입은 다음과 같다. - **측정과 추적.** 단순한 데이터 수집과 분석은 문제 규모에 비해 부족해 보일 수 있다. 하지만 현장에서 실제 무슨 일이 벌어지는지 정확히 측정하지 못한다면 좋은 정책도 나오기 어렵다. 앤트로픽은 거의 1년 반 동안 사람들이 클로드를 어떻게 쓰는지 보여 주는 [경제 지수(Economic Index)](https://www.anthropic.com/economic-index)를 운영해 왔다. 그러나 정부는 우리가 접근할 수 없는 종류의 데이터를 갖고 있으며, 경제 통계를 대폭 확장해 AI에 의한 일자리 대체를 훨씬 더 정밀하게 추적할 수 있다. - **고용 촉진 인센티브.** 고용 유지와 확대를 유도하는 폭넓은 정책 인센티브는 일자리 대체를 늦추거나 줄이는 데 도움이 된다. 여기에는 더 낮은 임금의 일자리를 받아들여야 할 때 차액을 보전하는 임금 보험 정책 ⁶, 고용주가 해고를 하지 않도록 장려하는 고용 유지 세제 혜택, 직업훈련 보조금, 고용주와 구직자의 매칭을 촉진해 노동시장 적응 속도를 높이는 인프라 등이 포함될 수 있다. 어떤 개입이 최선인지의 세부 내용은 AI가 어떤 유형의 노동 대체를 가져오는지에 달려 있다. 하지만 이러한 정책이 비용과 시장 비효율을 수반하더라도, 특히 AI가 이끄는 생산성 향상이 그 비용을 상쇄할 가능성이 크다는 점을 감안하면, 우리는 이를 기꺼이 받아들여야 한다. - **장기적 거시경제 지원.** AI 주도의 노동 대체가 규모 면에서 매우 크고, 노동 수요를 영구적으로 낮추게 된다면, 단순한 인센티브 프로그램을 넘어 노동력의 상당 부분을 위한 장기 소득 지원이 필요할 가능성이 크다. 보편적 기본소득(UBI) 같은 제도는 관련 기업에 대한 과세나 자본이득세 인상으로 재원을 마련할 수 있다. 보편적 자본 계정(universal capital accounts)도 또 하나의 수단이 될 수 있다. 넓게 보면, 빠른 경제 성장이 공동 번영을 위한 세원을 만들어 줄 것이다. AI에 대한 경제적 우려 가운데 내가 아직 언급하지 않은 흔한 쟁점은 데이터센터, 특히 전기요금 인상 가능성이다. 내 생각에 AI 기업은 요금 인상분을 흡수하는 비용을 부담해야 하며, 앤트로픽은 이미 [그렇게 하겠다고 약속했다](https://www.anthropic.com/news/covering-electricity-price-increases). 그러나 나는 데이터센터에 대한 대중의 반감이 대체로 AI를 둘러싼 더 넓은 경제적 불안의 상징 또는 배출구라고 본다. 이런 더 큰 경제 문제들에 대해 사회가 직접 대화하고, 진정으로 설득력 있는 해결책을 제시하는 것이 중요하다. 그렇지 않으면 그 불안은 데이터센터 논란처럼 우회적으로 드러날 가능성이 크다. ## 3\. AI의 긍정적 영향을 가속하기 AI 자체에서 혁신과 안전의 균형을 고민해야 하듯, 생의학, 에너지, 재료과학처럼 AI에 의해 가속될 가능성이 큰 기술들에 대해서도 같은 균형을 고민해야 한다. 다만 AI 자체는 매우 빠르게 등장하는 새로운 도전, 즉 우리가 다뤄본 적 없는 문제를 낳을 가능성이 크지만, AI에 의해 가속되는 다른 분야들은 전혀 다른 문제를 마주할 가능성이 높다. 느린 혁신 속도에 맞춰 설계된 규제 체계가 AI가 쏟아낼 새로운 제품과 발전의 홍수를 감당할 준비가 되어 있지 않다는 점이다. AI는 또 이런 하류 기술들을 더 안전하고 예측 가능하게 만들 수 있으며, 이는 식품의약국(FDA) 같은 규제기관이 가진 회의적 가정을 흔들 수 있다. 따라서 AI의 하류 응용에 대해서는, AI 자체와 달리, 나는 규제 장치가 중요한 위험을 놓칠까 봐 걱정하기보다는 *진전을 늦출까 봐* 더 걱정한다. 변화 속도가 빨라진 상황을 감당하지 못해서 말이다. 우리가 가장 원치 않는 일은 AI의 위험은 크게 다가오는데 그 혜택은 규제 때문에 늦어지는 것이다. 그러므로 이 문제에는 가능한 한 빨리 손을 대야 한다. 문제와 해결책은 과학, 상업, 기술의 각 영역에서 서로 다르게 나타날 것이다. 여기서는 예시로 생의학 혁신 하나에 초점을 맞추겠다. 그 이유는 두 가지다. 하나는 이 분야가 AI의 가장 큰 인도주의적 혜택의 원천이 될 가능성이 크기 때문이고, 다른 하나는 이 분야의 규제가 특히 복잡하기 때문이다. AI가 정확히 어떤 방식으로 생의학 혁신을 가속할지는 아직 알 수 없다. 하지만 다음과 같은 변화가 일어날 가능성이 높다. - 규제 파이프라인에 들어가는 신규 약물 후보의 속도가 크게 빨라질 것이다. - 더 나은 최적화와 어쩌면 기저 생물학에 대한 더 깊은 이해 덕분에, 신약의 효과 크기(effect size)가 커지고 안전성 프로파일도 개선될 것이다. - 이전에는 한 번도 성공적으로 치료하지 못했던 질환에 대한 약물 후보가 개발될 것이다. - 지난 수십 년간 항체, 펩타이드, 세포치료가 새로운 치료 범주가 되었듯이, 전혀 새로운 형태의 치료법이 빠르게 등장할 것이다. 이 가운데 일부 발전은 구조적 변화 없이도 규제 일정을 자연스럽게 단축할 것이다. 효과 크기가 큰 약물은 더 작고 저렴한 임상시험으로도 충분할 수 있고, 신속 승인 절차를 발동하게 할 수도 있다. 그러나 현재 규제 체계는 약물 후보가 자주 실패하고, 성공하더라도 심각한 안전 문제를 안고 있을 때가 많다는 가정 아래, 높은 수준의 심사와 여러 단계의 시험을 적용하도록 설계되어 있다. FDA와 유럽의약품청(EMA) 모두에서, 약물 후보가 규제 파이프라인을 통과하는 데 걸리는 일반적인 시간은 [7~8년](https://www.sciencedirect.com/science/article/pii/S2666776224001650)이다. 이런 비관적 가정이 그 이유 중 하나다. 개혁이 없다면 AI는 이 시스템을 그저 마비시키거나 과부하 상태로 만들 것이다. 물론 엉터리 약물이 쏟아지거나 광범위한 안전 사고로 이어지게 만드는 식의 변화는 원하지 않는다. 그러나 비교적 단순한 몇 가지 개혁만으로도, AI가 과학 발전을 빠르게 가속할 경우 FDA, EMA, 그리고 유사 기관이 더 유연하게 대응하도록 만들 수 있다. 이전에는 비싸고 느린 실험이 필요했던 임상 과정의 많은 단계가 머지않아 AI 시뮬레이션이나 분석으로 수행될 수 있다. 규제기관은 이런 방법을 인정하려면 무엇이 필요한지에 대한 기준을 *지금* 마련하는 방안을 검토해야 한다. 그래야 실제로 작동하게 되었을 때 곧바로 도입할 수 있다. 불필요한 시험을 계속 요구하는 장기 과도기를 피할 수 있다. 적용 가능한 영역으로는 다음이 있다. - AI 기반 약력학·약동학(PD/PK) 모델링 - 여러 종의 동물 독성 시험 필요성을 줄이기 위한 독성 예측 - 임상시험에서 광범위한 용량 구간이 필요하지 않도록 더 정확한 용량 선택 - 대규모 데이터셋 분석을 통한 바이오마커 검증 - 임상시험에서 참가자 추가 모집 필요성을 줄이는 합성 대조군(synthetic control arms) - 대리지표(surrogate endpoints) 개발, 특히 노화와 신경퇴행 분야에서 중요하다 이런 구체적 사례를 넘어, 규제기관은 보다 급진적이고 유연한 신속 승인 메커니즘도 검토해야 한다. 내가 AI에 대해 내놓은 예측이 맞다면, 머지않아 갑자기 매우 잘 작동하는 개입이 많이 등장할 것이다. 규제 체계는 이를 진지하게 받아들일 준비가 되어 있어야 하며, 지나치게 회의적인 태도를 취해서는 안 된다. 생의학 가속은 AI의 혜택을 크게 늘릴 것이다. 동시에 AI의 위험을 줄이는 데도 도움이 될 수 있다는 점은 주목할 만하다. 생의학 승인 절차를 개혁하면 생물방어에도 도움이 될 수 있고, AI가 이끄는 생의학 진전은 [정신 건강을 개선할 수도 있다](https://darioamodei.com/essay/machines-of-loving-grace). 이는 사회 안정에 긍정적 영향을 줄 수 있다. ## 4\. 국가와 시민적 자유 모든 정부 체제는 국가 권력과 그 한계라는 문제를 마주해야 한다. 국가는 내부와 외부의 위협으로부터 국민을 보호할 정당하고, 종종 실존적인 이해관계를 가진다. 하지만 국가에 지나친 권한을 부여하면 그것은 폭정으로 가는 길이 된다. 현대 민주주의는 대체로 이 균형을 잘 유지해 왔지만, 가장 좋은 상황에서도 결코 편안한 균형은 아니다. 이 균형을 지키려면 수세기에 걸쳐 축적된 방대한 법적·헌정적 장치가 필요했다. 미국만 해도 수정헌법 제1조, 제4조, 제5조, [민병대법(Posse Comitatus Act)](https://en.wikipedia.org/wiki/Posse_Comitatus_Act), [해외정보감시법(FISA)](https://en.wikipedia.org/wiki/Foreign_Intelligence_Surveillance_Act) 등이 그 예다. AI는 이 균형을 무너뜨릴 위험이 있으며, 동시에 그 중요성을 극적으로 키운다. 하지만 우리가 빠르게 대응하고 지금 이 순간에 걸맞게 행동한다면, AI를 이용해 지금까지보다 더 강하고 지속적인 자유 보장과 더 나은 위협 대응을 함께 갖춘 세계를 만들 수 있다. 강력한 AI가 잘못된 손에 들어가면 궁극적인 독재 도구가 될 수 있다. 그리고 기존의 법적·헌정적 보호장치는 이 위협에 충분히 대비되어 있지 않다. 근본적으로, 세계에서 권력으로 전환되는 지능의 수익이 엄청나게 크다는 점과, AI 발전 속도가 매우 빠르다는 점이 결합되면, 다양한 위험 행위자가 기습적으로 권력을 장악하기에 완벽한 폭풍이 형성된다 ⁷. 위험은 구체적인 기술이나 운영 형태로 다양하게 나타날 수 있다. 그러나 공통점은 AI가 기존 민주적 감독 메커니즘을 우회하면서 갑자기 막대한 권력을 부여할 수 있다는 생각이다. 오늘날에는 공상과학처럼 들리는 완전 자동화 드론 군대도 미래에는 불법적 명령에 복종해 정부가 일방적으로 권력을 굳히도록 도울 수 있다. 전문 훈련을 받은 인간은 그런 불법 명령에 이의를 제기할 가능성이 더 크다. 감시에 초점을 맞춘 AI는 널리 이용 가능한 정보를 막대한 규모로 분석해 모든 시민의 가장 내밀한 삶의 تفاصيل를 추론할 수 있을지도 모른다. 현재 시민적 자유 관련 법은 이런 기술적 능력을 상정하지 않았다. 이 모든 일은 매우 빠르게, 혹은 비밀리에 일어날 수 있다. לכן 민주주의가 자유와 시민적 자유에 대한 헌신을 선제적으로 강화하는 것이 중요하다. 우리가 검토해야 할 정책 아이디어는 다음과 같다. - **완전 자율 무기에 대한 신뢰할 수 있는 책임 규칙을 만들 것.** 자율 무기, 특히 이를 조정하거나 지휘하는 자율 시스템은 맹목적으로 명령을 따르기보다 헌정적·지휘 책임 메커니즘(예: 법원 명령, 입법, 상급 인간 감독자에 대한 책임)에 반응하도록 의무화해야 한다. 이는 적절히 설계된 법적 검토 패널이나 사법부가 “전원 차단 스위치(off switch)”를 쥐는 형태일 수도 있고, 시스템 자체가 정당한 감독 권한을 찾아내고 반응하도록 내재적으로 훈련되는 형태일 수도 있으며, 두 가지를 모두 포함할 수도 있다. - **국내에서 완전 자율 무기 사용을 금지할 것.** 외국의 적대 세력, 예를 들어 러시아의 우크라이나 침공 같은 상황에 맞서기 위해 완전 자율 무기가 필요하다는 주장은 어느 정도 정당성이 있을 수 있다. 그러나 미국인을 상대로 이를 사용하는 데에는 정당성이 없다. 군은 이미 국내 활동에 일정한 제한을 받고 있지만, 이상적으로는 이런 무기를 법 집행 분야에서도 금지해야 한다. - **대량 수집 / 데이터 브로커 허점을 막을 것.** 현행법 아래에서는 미국인이 민간 기업(예: 인터넷 서비스 제공업체)과 공유한 데이터를 구매해 국내 감시나 법 집행을 위한 대량 분석에 활용할 수 있다. 이 프라이버시 보호의 공백은 AI 이전부터 존재했지만, AI는 이런 데이터를 대량 분석하는 능력을 과거보다 훨씬 더 폭로적이고 유용하게 만들어 그 위험을 크게 높인다. 이 허점은 막아야 한다. - **정부의 불리한 조치에 직면한 국민의 AI 조언 권리.** 일반 원칙으로서, 정부의 불리한 조치(예: 규제 조치나 법적 조치)의 대상이 되는 개인이나 조직은, 해당 조치에서 정부가 사용할 수 있는 AI만큼은 적어도 유능한 AI에 접근할 수 있어야 한다고 본다. 그렇지 않으면 정부에 부당한 우위를 부여해 시민의 법적 권리를 사실상 약화시키게 된다. 이는 [행정절차법(Administrative Procedure Act)](https://en.wikipedia.org/wiki/Administrative_Procedure_Act), 적법절차 보호, 또는 수정헌법 제6조의 [법률 대리인 조력을 받을 권리](https://en.wikipedia.org/wiki/Assistance_of_Counsel_Clause)의 확장이나 해석으로 추가될 수 있다. 마지막으로, AI가 불러올 권력 장악을 경계해야 할 대상은 정부만이 아니라는 점도 중요하다. 역사적으로 여러 시기, 예를 들어 미국의 도금 시대(Gilded Age)나 영국의 [동인도회사(East India Company)](https://en.wikipedia.org/wiki/East_India_Company) 같은 사례에서, 기업은 국가를 포획하거나 준국가적 성격을 띨 정도로 강력해진 적이 있다. AI는 곧 너무나 강력해져서, 나는 이것을 정부나 기업 어느 한쪽에도 *전적으로* 맡겨서는 안전하지 않을 수 있다고 우려한다. 양쪽 모두에 견제와 균형이 필요하다. 기업을 통제하는 하나의 답은 규제이며, 그에 대한 내 생각은 1절에 담았다. 그러나 AI 기업 역시 일반적인 민간 기업보다 더 큰 권력 분립과 책임성을 가져야 한다는 점도 중요하다. 앤트로픽의 장기 공익 신탁(Long-Term Benefit Trust)은 그런 구조의 한 예다. 이는 회사가 사명을 지키도록 설계된 독립적 거버넌스 기구다. 업계는 이보다 더 나아가는 메커니즘도 계속 모색해야 한다. 기업과 정부 모두의 권력에 실질적 견제가 작동하도록 균형을 맞추는 일이 핵심이다. ## 5\. 민주주의 국가의 주도권 확보 최근 인터넷과 통신 분야의 경험 탓인지, 신기술을 지정학적으로 무역정책의 도구로 보는 태도가 일반화되었다. 목표는 “우리의 기술 스택을 전 세계로 확산하는 것”이라는 식이다. 그러나 나는 AI가 훨씬 더 근본적인 무엇이라고 강하게 믿는다. 이것은 판 전체를 다시 짜는 기술이며, 앞으로의 모든 지정학 전략은 이를 중심으로 형성되어야 한다. 핵무기와 비슷하지만, 어쩌면 그보다도 더할 수 있다. AI가 정말로 곧 “데이터센터 속 천재들의 나라”가 되거나, 그에 가까운 무엇이 된다면, **AI는 어떤 국가에게든 군사력과 경제력의 지배적 원천이 될 가능성이 크다.** 1억 명의 천재로 이루어진 가상 국가가 있다면, 그중 1천만 명은 군사 전략에, 1천만 명은 드론 제조에, 1천만 명은 무기 연구개발에, 1천만 명은 정보 수집과 분석에, 1천만 명은 일반 과학 발전에 투입할 수 있다. 강력한 AI를 가진 국가가 그렇지 않은 국가를 상대하거나, 혹은 AI에서 3년 뒤처진 국가를 상대하는 상황은 제2차 세계대전 시기의 해병대가 중세의 검병 군대를 상대하는 것과 비슷할 수 있다. 또한 강력한 AI가 더 깊고, 어쩌면 영구적인 형태의 독재적 억압을 가능하게 한다면(4절 참고), 세계에서 가장 강력한 국가들이 민주주의 국가여야 한다는 점은 더욱 중요해진다. 혹은 최소한 AI 기반 억압에 맞서는 강력한 보호 장치가 있어야 한다. 이는 집중된 지정학 전략의 시급성도 높인다. 민주주의 국가들은 공통의 가치에 따라 AI를 구축하는 것을 중심으로 한 글로벌 연합을 형성해야 한다. 그리고 점진적으로 나머지 세계를 끌어들여야 한다. 연합의 일원이 되는 것은 점점 더 매력적으로 만들고, 밖에 남는 것은 점점 덜 매력적으로 만들어야 한다. 이 연합은 1절부터 4절까지 논의한 AI 정책 아이디어를 국제적으로 조율한 형태여야 하며, AI 구축에 필수적인 공급망을 연합 내부에서는 공유하고 외부에는 차단하는 노력도 포함해야 한다. 몇 가지 원칙과 운영 목표를 들면 다음과 같다. - **AI 공급망 관리.** 신뢰할 수 있는 연합의 구성원들은 서로 간에는 칩과 반도체 제조 장비(SME)를 자유롭게 공유해야 한다. 동시에 협력해 이를 적대 세력에는 차단해야 한다. 중국에 대한 미국의 최첨단 칩 및 SME 수출 통제는 미국의 전반적인 AI 우위를 만드는 데 큰 기여를 했다. 이런 정책은 더 확대되고, 더 엄격해지며, 비슷한 입장의 국가들과 조율되어야 한다. 계류 중인 [MATCH](https://www.congress.gov/bill/119th-congress/house-bill/8170/text)와 [OVERWATCH](https://www.congress.gov/bill/119th-congress/house-bill/6875) 같은 법안은 좋은 첫걸음이며, 동맹 민주국가들도 유사한 조치를 검토해야 한다. - **AI 위험 대응 공조.** 1절에서 설명한 생물학, 사이버보안, 자율성 위험 대응 정책은 국제적으로 조율될 때 더 효과적이며, 업계 부담도 덜하다. 기업은 서로 호환되는 기준을 준수할 수 있고, 규제기관은 이런 위험을 가장 잘 측정하고 완화하는 방법을 서로 배울 수 있다. 법 집행기관과 정보기관도 테러리스트의 AI 활용 생물학 무기 개발 시도 같은 오용 위협을 추적하고 저지하기 위해 더 긴밀히 협력해야 한다. - **AI 혜택 공유.** 무역 및 규제 정책은 연합 내부에서 AI의 경제적 혜택을 더 빠르게 확산시키고, 혁신 가속 방법에 관한 교훈을 공유하는 데 활용할 수 있다. 유익한 배치에 대한 접근을 조율하면 개발도상국에도 AI의 혜택을 가져오는 데 도움이 될 수 있다. 예를 들어 의료 승인 체계를 조화시키면 AI 활용 의약품의 시험과 승인 속도와 품질을 높일 수 있다(위 3절 참고). - **상호 방위.** 연합 국가들은 AI를 활용해 서로를 방어하고, 적대 세력의 AI로부터도 서로를 지켜야 한다. 연합은 AI 주도 사이버 방어, AI 구동 드론, AI 기반 제조, 기밀 AI 컴퓨팅, AI 주도 연구개발, AI 기반 정보 수집 공유의 충분한 생산을 공동으로 보장해야 한다. - **AI 기반 억압 거부.** 연합 구성원은 내가 [*기술의 사춘기(The Adolescence of Technology)*](https://www.darioamodei.com/essay/the-adolescence-of-technology)에서 경고한 고기술·초억압적·AI 기반 폭정을 거부해야 한다. 그리고 위 4절에서 설명한 것과 유사한 보호 장치를 갖춰야 한다. - **거시경제 협력.** 고용이나 일자리 안정성의 위기는 다른 경제 위기와 마찬가지로 국경을 넘어 전염될 수 있다. 따라서 각국은 2절에서 설명한 것과 같은 거시경제 지원 및 안정화 정책을 조율하기 위해 협력할 상호 이해관계를 가진다. 이를 통해 고용에 대한 영향을 상쇄할 수 있다. 목표는 연합 가입을 가능한 한 매력적으로 만들고, 연합 밖에 남는 비용은 분명하게 하는 것이다. 이 연합은 주권 국가들 사이의 조율을 바탕으로 하며, 각국은 자국 문제에 대한 완전한 권한을 유지한다. 이 연합은 점진적으로 성장할 수 있다. 먼저 이념적으로 정렬된 민주국가들로 시작하고, 이후 연합 가입의 막대한 이익을 얻는 대가로 연합 기준을 충족할 준비가 된, 덜 자연스럽게 정렬된 국가들을 점차 받아들이면 된다. 이상적으로는 전 세계가 결국 합류할 수 있다. 그러나 그게 불가능하더라도, 이 연합을 구축하는 일은 민주주의 국가들이 억압에 집착하는 체제를 억제하고 경쟁에서 앞설 가장 강력한 위치를 확보하게 해 준다. ## 기회의 창 AI의 지수적 진보는 정책결정 과정이 원래 잘 감당하지 못하는 수준의 긴박함과 변화 속도를 만들어냈다. 그러나 동시에 이것은 독특한 기회의 창도 열었다. AI의 위험에 대한 [명백하고 현재적인 증거](https://www.anthropic.com/research/glasswing-initial-update), AI가 지닌 [경제적 가치 창출](https://www.anthropic.com/research/81k-economics)과 [경제적 교란](https://www.nytimes.com/2026/05/19/technology/meta-layoffs-ai.html) 가능성에 대한 초기 체감, 그리고 규제 없는 AI 접근법에 대한 [놀라운 대중적 반발](https://www.axios.com/2026/05/17/ai-backlash-polling-sentiment)이 결합되면서, 정책결정자들이 [미래지향적 조치](https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/)에 이례적으로 열려 있는 상황이 만들어졌다. 트리비어드와 그의 숲이 깨어나고 있는 것이다. AI 업계에서는 이를 홍보(PR) 문제로 보는 시각이 유행하게 되었다. AI에 “더 나은 마케팅”이 필요하다고 말하는 식이다. 나는 이런 틀을 전적으로 거부한다. 사람들이 AI를 걱정하는 이유는 AI의 위험이 실제라는 점을 *정확히* 감지하고 있기 때문이지, AI CEO들이 충분히 낙관적인 수사를 하지 않아서가 아니다. 나는 AI 리더로서 이러한 위험에 대해 계속 투명하게 말할 의무가 있다고 믿는다. 그리고 이 투명성에 대한 대중의 우려는 민주적 책임성이 제대로 작동하고 있다는 뜻이다. 핵심 과제는 이 우려를 건설적 해결책으로 모으는 것이지, 형체 없는 분노와 폭력으로 추락하게 두는 것이 아니다. 나는 해결책을 찾을 수 있다고 낙관한다. 일자리 대체 대응, 모델 출시 전 테스트, 칩 수출 통제, 그리고 에너지 사용 같은 다른 AI 관련 정책 이슈들까지, 이들 가운데 많은 문제가 정치 스펙트럼 전반에 걸쳐 상식적으로 받아들여질 수 있기 때문이다. AI가 제기하는 도전을 직접 인식한 폭넓은 초당적 연합이, 정상적이고 미래지향적인 정책을 평소보다 훨씬 빠르게 채택하도록 이끄는, 이상적이면서도 현실적인 미래가 있다. 우리가 이를 더 빨리 해낼수록, AI의 [엄청난 혜택](https://darioamodei.com/essay/machines-of-loving-grace)을 더 빨리 모두와 나눌 수 있다. --- 이 글 초안에 의견과 피드백을 보내 준 앨런 대포, 마리아노-플로렌티노 쿠엘라르, 리처드 폰테인, 버디 샤, 바스 나라심한, 맷 이글레시아스, 닉 벡스테드, 제이슨 매서니, 브래드 카슨, 그리고 앤트로픽의 많은 직원에게 감사드린다. ## 각주 1. 나는 [*기술의 사춘기(The Adolescence of Technology)*](https://www.darioamodei.com/essay/the-adolescence-of-technology)에서 생물학적 위험과 자율성 위험 등을 논의했다. 앤트로픽 연구소(Anthropic Institute)도 재귀적 자기개선(recursive self-improvement), 즉 더 나은 모델을 자율적으로 만들 수 있는 모델의 가능성에 관한 초기 내부 데이터를 [*AI가 스스로를 만들 때(When AI Builds Itself)*](https://www.anthropic.com/institute/recursive-self-improvement)에서 공개했다. 2. 이것은 이론적 현상이 아니다. 우리는 이미 [책임 있는 스케일링 정책(Responsible Scaling Policy)](https://www.anthropic.com/responsible-scaling-policy) 같은 자발적 거버넌스 프레임워크에서 이를 여러 차례 관찰했다. 미래 AI 모델에 대한 안전 요구사항을 고정되거나 경직된 목록으로 정해 놓으면, 실제로는 거의 중요하지 않은 요구사항이 전체 준수 노력의 95%를 잡아먹는 반면, 정작 가장 큰 위험 원천 중 일부는 목록에 전혀 포함되지 않았음을 나중에 알게 될 가능성이 높다. 자발적 프레임워크는 바꾸고 적응시킬 수 있지만, 입법은 훨씬 어렵다. 내가 이 딜레마와 씨름한 흔적은, 2024년 캘리포니아 법안 SB 1047에 관해 내가 쓴 두 통의 [공개](https://www.documentcloud.org/documents/25003075-sia-sb-1047-anthropic/) [서한](https://cdn.sanity.io/files/4zrzovbb/website/6a3b14a98a781a6b69b9a3c5b65da26a44ecddc6.pdf)에서 볼 수 있다. 이 법안은 재앙적 위험을 다루려 했지만, 위와 같은 이유로 나는 복합적인 입장을 가졌다. 3. 예를 들어, 정말 심각한 생물학적 위험은 사이버 위험보다 훨씬 관리하기 어려울 수 있다. 공격자가 방어자보다 훨씬 유리한 위치에 있고, 재앙의 규모도 훨씬 더 클 수 있기 때문이다. 4. 다른 기술에서는 일자리 시장이 빠르게 회복되고 지속적인 노동 대체가 나타나지 않았던 논리가 왜 AI에는 적용되지 않을 수 있는지, 특히 [제번스의 역설(Jevons’s paradox)](https://en.wikipedia.org/wiki/Jevons_paradox)이나 비교우위 같은 통상적 적응 메커니즘이 왜 기술 발전 속도에 압도될 수 있는지에 대한 자세한 분석은 *기술의 사춘기(The Adolescence of Technology)*를 보라. 5. 예를 들어, 사람들은 여전히 체스, 바둑, 등산에 인생을 바치며, 이런 활동으로 존경도 받는다. 비록 이 모든 것은 기계가 더 잘할 수 있지만 말이다. 6. 이는 본질적으로 사람들이 새로운 일자리로 이동하고 새로운 경력 사다리를 오르기 위한 훈련을 시작하도록 추가 유인을 제공하는 제도다. 단기적으로는 고통스러울 수 있지만, 새 일자리 임금이 이전보다 낮다면 그 차액을 지급해 주는 방식이다. 7. 이 주제에 관한 더 자세한 내용은 [*기술의 사춘기(The Adolescence of Technology)*](https://www.darioamodei.com/essay/the-adolescence-of-technology)를 보라.