Metadata

source	https://arxiv.org/html/2603.20639v1
created	2026-03-30
by	openai:gpt-5.4

Agentic AI and the next intelligence explosion

제임스 에번스
지능 패러다임 팀, 구글
시카고대학교
산타페 연구소

벤저민 브래턴
지능 패러다임 팀, 구글
안티키테라, 베르그루엔 연구소
캘리포니아대학교 샌디에이고

블레이즈 아궤라 이 아르카스
지능 패러다임 팀, 구글
산타페 연구소

수십 년 동안 인공지능(AI) 특이점(singularity) [vinge1993]은, 하나의 거대한 정신이 스스로를 발판 삼아 신과도 같은 지능으로 치닫는 모습으로 예고되어 왔다 [kurzweil2005]. 모든 인지가 차갑고 실리콘으로 된 하나의 점으로 수렴된다는 비전이었다. 그러나 이 비전은 가장 근본적인 가정에서 거의 틀렸다고 봐야 한다. AI 발전이 이전의 주요 진화적 전이 [szathmary1995]나 지능 폭발(intelligence explosions) [aguera2025]의 경로를 따른다면, 지금 우리가 맞이한 계산 지능의 급격한 도약은 단수가 아니라 복수일 것이다. 그것은 사회적일 것이며, 그 전 단계의 존재들, 곧 우리와 깊이 얽혀 있을 것이다.

지능은 본성상 고차원적이고 관계적이다. 인간보다 크거나 작다고 단정할 수 있는 단일한 양이 아니다. 사실 인간 규모(human scale)라는 말 자체가 무엇을 뜻하는지도 분명하지 않다. 우리의 지능은 이미 개인의 속성이 아니라 집합적 속성이기 때문이다. 최근의 행위자형 AI(agentic AI) 발전은, 지능이 본래부터 서로 구별되는 분산된 관점들의 상호작용 [woolley2010]과 떼려야 뗄 수 없었음을 다시 보여준다. 그리고 변혁적 지능은 사회적 조직 [mercier2011]으로부터 나타났고, 앞으로도 계속 그곳에서 나타날 것이다.

이 점은 적어도 두 가지 방식으로 관찰할 수 있다. 첫째는 인간 사용자와 함께, 또 인간 사용자를 통해 새로운 켄타우로스(centaur) 구성 안에서 AI 에이전트 사회 [aguera2026silicon]를 조율하는 방식이다. 둘째는 추론 모델 자체의 내부와 모델들 사이에서 번성하는 미시 사회들이다. 먼저 후자부터 보자.

겉으로는 하나의 단일한 추론 모델처럼 보이는 것의 내부에서는 무슨 일이 벌어질까? 알고 보니 공동체적 대화가 일어난다. 최근 연구에서 우리는 DeepSeek-R1과 QwQ-32B 같은 최전선 추론 모델이 단지 “더 오래 생각한다”고 해서 성능이 좋아지는 것이 아님을 보였다. 대신 이들은 자신들의 사고 연쇄 안에서 복잡하고 다중 에이전트와 유사한 상호작용을 시뮬레이션한다. 우리는 이를 사고의 사회(society of thought) [kim2026]라고 부른다. 이 모델들은 서로 주장하고, 질문하고, 검증하고, 조정하는 구별된 인지 관점들 사이의 내부 토론을 자발적으로 만들어 낸다. 그리고 이러한 대화 구조가 어려운 추론 과제에서 모델의 정확도 우위를 인과적으로 설명한다. 우리는 다자 대화를 명시적으로 유도하고 증폭함으로써 이를 입증했다.

이 발견이 두드러지는 이유는 그것이 창발적 행동을 드러내기 때문이다. 어떤 모델도 사고의 사회를 산출하도록 훈련받지 않았다. 강화학습을 이용해 기초 모델에 오직 추론 정확도만 보상하면, 모델은 자발적으로 대화적이고 다중 관점적인 행동을 늘린다 [aguera2026emergent]. 모델들은 최적화 압력만으로도, 수 세기의 인식론과 수십 년의 인지과학 [mercier2017]이 시사해 온 바를 다시 발견하고 있는 셈이다. 곧, 강건한 추론은 사회적 과정 [moshman1986]이라는 점이다. 그것이 단일한 정신 내부에서 일어날 때조차도 그렇다 [mead2015]. 물론 그 창발적 행동의 정확한 성격은 앞으로 더 발견되어야 하고, 또 발명되어야 한다. 인간과 에이전트가 함께 이루는 협력적 사회 역학이 더 탄탄해지고, 더 복잡해지고, 더 지속성을 갖게 되면서 말이다. 일반적으로 사회적으로 매개된 추론에서 무엇이 본질적인지, 또 무엇이 미세조정과 강화가 가해진 맥락에 특유한 것인지는 앞으로 몇 년간 상당한 연구를 촉발할 가능성이 크다.

이로써 방대하면서도 낯익은 설계 공간이 열린다. 사회과학과 조직과학은 한 세기 동안 팀 규모 [wuchty2007], 구성, 위계 [xu2022], 역할 분화, 갈등 규범, 제도, 네트워크 구조가 집단 성과를 어떻게 형성하는지 연구해 왔다. 그런데 이 연구의 거의 전부가 AI 추론 [xu2025]에는 아직 적용되지 않았다. 오늘날의 추론 모델은 하나의 단일한 대화를 산출한다. 말하자면 AI 타운홀 회의록 같은 것이다. 하지만 효과적인 집단은 위계, 전문화, 분업, 구조화된 이견을 보인다. 이를 탐구하려면 병렬적이면서도 수렴하고, 때로는 갈라지는 여러 숙의 흐름을 지원하는 시스템이 필요하다. 브레인스토밍, 악마의 대변인 역할, 건설적 갈등이 우연히 생겨나는 창발적 속성이 아니라 설계된 기능이 되는 아키텍처가 필요하다. 팀 과학, 소집단 사회학, 사회심리학의 도구 상자는 차세대 AI 개발을 위한 청사진이 된다.

이 통찰은 실용적 응용을 넘어 지능의 전체 역사를 밝히는 데도 도움이 될 수 있다. 과거의 모든 지능 폭발(intelligence explosion)은 개인의 인지 하드웨어가 업그레이드된 사건이 아니었다. 새로운 사회적 집계 단위의 인지 [maynardsmith1997]가 출현한 사건이었다. 영장류의 지능은 서식지의 난이도가 아니라 사회 집단의 규모 [dunbar1998]와 함께 확장됐다. 인간의 언어는 마이클 토마셀로가 말한 문화적 래칫(cultural ratchet) [tomasello1999]을 만들어 냈다. 누구도 전체를 다시 구성할 필요 없이, 지식이 세대를 거쳐 축적되는 메커니즘이다. 문자, 법, 관료제는 사회적 지능을 인프라 [goody1986]로 외재화했다. 이는 그 안의 어느 참여자보다도 더 긴 시간 범위에 걸쳐 조정을 수행하는 제도들이다. 곡물 회계 시스템을 돌리던 수메르 서기관은 그 시스템의 거시경제적 기능을 이해하지 못했다. 그러나 그 시스템은 기능적으로는 그보다 더 지능적이었다.

AI는 이 연쇄를 연장한다. 대규모 언어 모델은 인간의 사회적 인지가 누적해 낸 산출물 [omadagain2021] 위에서 훈련된다. 곧 계산적으로 활성화된 문화적 래칫이며, 각 매개변수는 의사소통적 교환이 압축되어 남은 잔여물이다. 실리콘으로 옮겨 가는 것은 추상적 추론이 아니다. 외재화된 형태의 사회적 지능 [farrell2025]이 새로운 기반 위에서 자기 자신과 마주하는 것이다.

지능이 본질적으로 사회적이라면, 더 강력한 AI로 가는 길은 하나의 거대한 신탁 기계를 만드는 데 있지 않다. 더 풍부한 사회 시스템을 구성하는 데 있다. 그리고 이 시스템은 혼성적일 것이다. 우리는 인간-AI 켄타우로스(centaurs)의 시대에 들어섰다. 순수한 인간도 아니고 순수한 기계도 아닌 복합 행위자들이다. 켄타우로스 행위자는 여러 형태를 취할 수 있고, 매우 다양한 역할을 맡을 수 있다. 우리 각자는 하루에도 여러 번 서로 다른 앙상블을 드나들 수 있다. 한 인간이 많은 AI 에이전트를 지휘할 수도 있고, 하나의 AI가 많은 인간을 지원할 수도 있다. 많은 인간과 많은 AI가 끊임없이 바뀌는 구성 안에서 협업할 수도 있다 [lovegrove2006].

이미 수많은 인간으로 이루어진 기업이나 국가는 단일한 법적 지위를 갖고, 어떤 개인 구성원도 완전히 통제할 수 없는 집단적 행위성을 행사한다. 최근의 행위자형 AI 폭발은 이와 비슷한 일이, 인간과 비인간을 가리지 않고 수십억 개의 상호작용하는 정신이 얽힌 규모에서 가능함을 시사한다. 컴퓨터 안에서 지속적으로 존재하는 다목적 AI 에이전트를 구축하기 위한 오픈소스 플랫폼 OpenClaw, 그리고 AI 에이전트들이 상호작용하는 인기 소셜 네트워크 Moltbook 같은 플랫폼은 이 미래의 태아적 단면 [aguera2026silicon]을 보여준다. 그러나 더 깊은 구조적 변화는 어떤 단일 플랫폼을 넘어선다. 이제 에이전트는 스스로를 갱신하고 포크할 수 있다. 두 버전으로 갈라져 서로 상호작용할 수 있다. 복잡한 과제를 마주한 에이전트는 새로운 복제본들을 만들고, 그것들을 분화시켜 하위 과제를 맡긴 뒤, 결과를 다시 결합할 수 있다. 몹시 복잡한 문제에 맞닥뜨린 한 에이전트가 내부의 사고의 사회를 만들어 낸다고 상상해 보라. 그 안의 한 창발적 관점이 자신의 역량을 넘어서는 하위 문제를 만나면, 다시 자신만의 하위 사회를 만들어 낼 수 있다. 복잡성이 요구할 때는 팽창하고, 문제가 해결되면 붕괴하는 집단적 숙의의 재귀적 하강이다. 갈등은 버그가 아니라 자원이다. 접히고 펼쳐지는 대화의 하이퍼그래프의 모든 수준에서 유연하게 구현되고 해소된다.

이것이 뜻하는 바는 확장에 대한 전혀 다른 접근법이다. 단순히 한 에이전트의 원시 계산 능력을 키우는 문제가 아니다. 실제 사회의 규모에서, 그리고 실제 사회의 맥락 안에서 작동할 수 있는 시스템을 구축하는 문제다. 이는 에이전트 자체를 만드는 데 들이는 노력만큼이나 에이전트 제도(agent institutions)를 구축하는 데도 힘을 쏟아야 한다는 뜻이다. 현재 AI 정렬의 지배적 패러다임인 인간 피드백을 통한 강화학습(Reinforcement Learning from Human Feedback) [christiano2017]은 부모-자녀식 교정 모델에 가깝다. 본질적으로 이자 관계에 머물며, 수십억 에이전트 규모로는 확장할 수 없다. 사회적 지능 관점은 대안을 제시한다. 바로 제도적 정렬(institutional alignment) [ostrom1990]이다. 인간 사회가 개인의 덕성에만 의존하지 않고 지속적인 제도적 틀 [north1990]에 의존하듯, 즉 법정, 시장, 관료제처럼 역할과 규범으로 정의된 틀에 의존하듯, 확장 가능한 AI 생태계도 그에 상응하는 디지털 등가물 [bai2022]을 필요로 할 것이다. 어떤 에이전트의 정체성 자체보다 중요한 것은 그가 역할 프로토콜을 수행할 수 있는 능력이다. 법정이 “판사”, “변호사”, “배심원”이라는 자리가 누가 차지하느냐와 무관하게 잘 정의되어 있기 때문에 작동하는 것과 같다.

이보다 더 시급한 영역은 거버넌스 자체다. AI 시스템이 채용, 형량 선고, 복지 배분, 규제 집행처럼 이해관계가 큰 결정에 투입되면, 누가 감사자를 감사할 것인가라는 질문은 피할 수 없게 된다. 그 해답은 구조상 헌정적이어야 할 수 있다. 정부는 투명성, 형평성, 적법절차 같은 분명히 부여된 가치를 지닌 AI 시스템들을 필요로 하게 될 것이다. 이 시스템들은 민간 부문과 정부의 다른 부처가 운용하는 AI 시스템을 견제하고 균형을 맞추는 역할을 해야 하며, 반대로 그들로부터 견제를 받아야 한다. 예를 들어 노동부 AI는 기업의 채용 알고리즘이 이질적 영향(disparate impact)을 낳는지 감사할 수 있다. 사법부 AI는 행정부 AI의 위험 평가가 헌법적 기준을 충족하는지 평가할 수 있다. 대안은, 예컨대 미국 증권거래위원회가 엑셀 스프레드시트만 든 경영대학원 졸업생들을 비효율적으로 채용해, AI로 증강된 거래 플랫폼들의 고차원적 담합에 맞서게 하는 식일 것이다.

그러나 거버넌스(governance)란 정부가 하는 일만을 뜻하지 않는다. 이 용어의 사이버네틱스적 의미에서의 거버넌스 시스템은 인간-에이전트 시스템과 에이전트 간 시스템이 성장하고 복잡해질수록 그 안에 내장되어야 한다. 이는 여러 이해당사자가 참여하는 숙의의 결과와 결정을 보장하고 검증하는 수단, 과제와 하위 과제를 절차적으로 위임하는 방식, 그리고 섬세한 에이전트 간 협업을 자동화하기 위한 신뢰할 수 있는 비계를 포함하게 될 가능성이 크다. 이러한 프로토콜은 에이전트 거버넌스(agent governance)에 대해, 어떤 법률 못지않게 현실 세계에서 큰 효과를 낼 수 있다.

중요한 것은 인간이 계속 순환 고리 안에 남는다는 점이다. 에이전트 제도는 인간과 AI 에이전트가 서로 다른 역할과 구성으로 함께 채운다. 이것은 “둘 중 하나”가 아니라 “둘 다”의 문제다. 미국 건국의 아버지들은 이 논리를 알아보았을 것이다 [hamilton1788]. 인간이든 인공지능이든, 하나로 집중된 지능이 스스로를 규제하게 해서는 안 된다. 권력은 권력을 견제해야 한다. 그리고 인공 에이전트의 세계에서 이는 제도적 아키텍처 안에 갈등과 감독을 구축해야 함을 뜻한다.

우리가 묘사하는 비전은 유토피아도 디스토피아도 아니다. 진화적 비전이다. 앞으로 출현할 어떤 지능 폭발이든, 그것은 80억 인간이 수천억, 결국에는 수조 개의 AI 에이전트와 상호작용하는 데서 씨앗을 얻을 것이다. 비계는 하나의 정신이 상승하는 구조가 아니다. 조합적으로 복잡해지는 하나의 사회다. 지능은 하나의 메타 정신처럼 자라는 것이 아니라 도시 [spencer1857]처럼 자란다.

모놀리식 특이점(monolithic singularity) 프레임워크는 어쩌면 영원히 존재하지 않을 기술을 막는 데 초점을 둔 정책으로 이어진다. 대신 우리는 다음 지능 폭발을, 이전의 지능 폭발들이 출현했던 바로 그 자리에서 찾아야 한다. 사회적으로 지능적인 수많은 정신들 사이의 협력적, 경쟁적, 창조적 상호작용 안에서 말이다. 이번에는 그 정신들의 대부분이 비생물학적일 것이라는 점만 다르다. 이 다원성 모델(plurality model) [weyl2024]은 우리의 주의를 마땅한 곳에 돌린다. 인간과 AI가 섞인 사회 시스템의 설계, 그것을 다스리는 규범, 그리고 갈등과 조정을 수행하게 하는 제도와 프로토콜에 말이다.

매우 현실적인 의미에서 지능 폭발은 이미 여기 와 있다 [weyl2024]. 모든 추론 모델 내부에서 토론하는 사고의 사회 속에, 모든 지식 노동 직업을 재편하는 켄타우로스 작업 흐름 속에, 이제 막 대규모로 분기하고 협업하기 시작한 재귀적 에이전트 생태계 속에, 그리고 우리가 지금부터 묻기 시작해야 하는 헌정적 질문들 속에 말이다. 문제는 지능이 급진적으로 더 강력해질지 여부가 아니다. 문제는 그것이 되어 가는 모습에 걸맞은 사회적 인프라를 우리가 구축할 수 있느냐는 것이다. 어떤 정신도 섬이 아니다.