# 세계 모델의 기능별 분류 “세계는 일어나는 모든 것이다.” — 루트비히 비트겐슈타인, *논리철학논고(Tractatus Logico-Philosophicus)*, 1921 **세계는 말로 이루어져 있지 않다.** [이전 글](https://drfeifei.substack.com/p/from-words-to-worlds-spatial-intelligence)에서 우리는 공간 지능이 AI의 다음 개척지이며, 세계 모델이 그 길이라고 주장했다. 여기서는 월드 랩스(World Labs) 팀과 함께 한 단계 더 깊이 들어가 보려 한다. 지금 만들어지고 있으면서 ‘세계 모델’이라 불리는 수많은 것 가운데, 실제로 그 역량을 구성하는 기능적 요소는 무엇인지, 그리고 각각은 어떤 역할을 맡는지 살펴보자는 것이다. 언어 모델은 기계에 개념, 어휘, 추론을 다루는 놀라운 능력을 부여했다. 그러나 현실이든 가상이든 물리적 세계는 다른 기반 위에서 작동한다. 언어 모델이 텍스트의 통계적 구조를 학습한다면, 세계 모델은 공간과 시간의 통계적 구조를 배운다. 예를 들어 빛이 표면에 어떻게 떨어지는지, 카메라가 한 번도 포착하지 못한 각도에서 정원이 어떻게 보일지, 사물이 힘에 어떻게 반응하고 물리 법칙을 어떻게 따르는지를 익힌다. 바로 그렇기 때문에 오늘날 AI에서 “세계 모델”은 가장 중요하면서도 가장 의미가 뒤섞인 용어 가운데 하나가 되었다. 컴퓨터 비전, 로보틱스, 강화학습, 생성형 AI는 모두 자신들이 세계 모델을 만들고 있다고 말한다. 하지만 각자가 뜻하는 바는 꽤 다르다. 아름답지만 물리적으로는 불가능한 불꽃을 만들어내는 **비디오 모델(video model)**, 플레이 가능한 게임을 즉흥적으로 구성하는 **언어 모델(language model)**, 연소를 충실하게 시뮬레이션하는 **물리 엔진(physics engine)** 이 모두 같은 이름으로 불린다. 고대 그리스인들은 세계가 무엇으로 이루어졌는지, 불인지 물인지 아니면 더 이상 나눌 수 없는 원자인지를 두고 끝내 합의하지 못했다. “세계”가 애초에 하나의 단일한 대상이 아니었기 때문이다. 그것은 언제나 특정 사상가가 사고를 전개하기 위해 필요로 한 전체성을 대신 가리키는 말이었다. AI도 같은 문제를 물려받았다. 하필 지금처럼 이 분야에 정밀한 구분이 절실한 순간에 말이다. ### 분류의 밑바탕에 있는 루프(loop) 이 혼란을 가르는 출발점은, 여기서 다루는 어떤 기술보다도 오래된 하나의 도식이다. 서튼과 바르토의 고전적 교재를 포함한 강화학습 교과서들은 수십 년 동안 에이전트가 세계와 상호작용하는 방식을 설명하기 위해 같은 그림의 변형을 써 왔다. 이 그림의 정식 명칭은 부분 관측 마르코프 결정 과정(POMDP, partially observable Markov decision process)이며, “세계 모델”이라는 용어의 원래 정의도 이 전통에 속한다. 사람이든 로봇이든 소프트웨어 시스템이든, 에이전트는 행동을 취한다. 그 행동은 세계의 상태에 영향을 준다. 하지만 에이전트는 상태를 직접 볼 수 없다. 에이전트에게 도달하는 것은 관측이다. 망막에 들어오는 광자, 센서의 측정값, 비디오 프레임의 픽셀이 여기에 해당한다. 새로운 관측은 새로운 행동에 정보를 제공하고, 이 루프는 계속 이어진다. 여기서 “상태(state)”라는 말은 좀 풀어 설명할 필요가 있다. 분야에 따라 뜻이 달라지기 때문이다. 이것은 화학자가 말하는 상태, 즉 고체·액체·기체의 구분이 아니다. 여기서의 상태는 물리학자와 로봇공학자가 말하는 상태다. 어떤 순간 세계에서 일어나는 일을 완전하게 기술한 것이다. 모든 물체, 모든 위치, 모든 속도, 모든 속성이 포함된다. 상태는 세계의 밑바탕에 있는 현실이다. 원칙적으로는 완전하지만, 그 안에 있는 어떤 에이전트도 그것을 직접 볼 수는 없다. 관측은 그 현실에 대한 에이전트의 부분적 시야다. 행동은 그에 대응해 에이전트가 하는 일이다. 이 루프, 즉 에이전트에서 행동으로, 상태로, 관측으로, 다시 에이전트로 돌아오는 구조가 현대적 의미의 “세계 모델”에 기술적 의미를 부여했다. 이 표현 자체는 더 오래되었다. 1943년 케네스 크레이크가 인간 정신은 현실의 “축소 모형(small-scale models)”을 실행하며 추론한다고 제안한 데까지 거슬러 올라가며, 1980년대 후반과 1990년대 초반에는 신경망 분야로 이어졌다. 그리고 이 루프는 오늘날 사람들이 이 용어로 무엇을 뜻하는지도 설명해 준다. 지금 세계 모델이라 불리는 서로 다른 것들은 사실 모두 같은 루프를 서로 다르게 투영한 결과다. 각각이 이 루프의 다른 부분을 출력할 뿐이다. ### 세계 모델의 세 가지 기능 **첫 번째 유형의 세계 모델은 렌더러(renderer)다.** **렌더러는 사람의 눈을 위한 픽셀 형태의 관측을 출력하며, 가장 중요한 품질은 시각적 충실도다.** 텍스트 프롬프트를 영화 같은 드론 촬영 장면으로 바꿔 주는 비디오 모델은 렌더러다. ***구글의 지니 3(Google’s Genie 3)*** 같은 상호작용 시스템도 그렇고, 사용자 입력에 따라 실시간으로 프레임을 생성하는 월드 랩스의 ***RTFM*** 도 마찬가지다. 이 모델에는 3차원 구조에 대한 명시적 이해가 없을 수 있다. 그것이 만들어내는 것은 “무엇이 있는가”가 아니라 “보는 사람이 무엇을 볼 것인가”다. 드론 촬영 장면 속 건물은 위에서 보면 완벽해 보일지 모른다. 하지만 그 아래 도시를 직접 운전해 지나가려 하면 금세 무너져 내린다. **두 번째 유형은 시뮬레이터(simulator)다. 시뮬레이터는 상태를 출력한다. 즉, 사람과 컴퓨터 프로그램이 모두 계산하고 상호작용할 수 있는, 기하학적으로도 물리적으로도 또는 동역학적으로도 충실한 세계 표현을 내놓는다.** 렌더러의 약속이 순전히 시각적인 데 비해, 시뮬레이터의 약속은 구조적이다. 들여다봐도 무너지지 않는 기하 구조, 뉴턴 법칙을 따르는 물리, 그리고 물리 법칙에 따라 세계가 실제로 그렇게 움직여야 하는 방식의 동역학이 필요하다. 시뮬레이터는 두 부류의 사용자를 동시에 상대한다. 건축가, 디자이너, 영화 제작자, 게임 개발자 같은 전문가에게는 단순히 그럴듯해 보이는 수준을 넘어서는 정확성이 필요하다. 한편 강화학습 에이전트, 로봇 제어기, 자율주행차 같은 컴퓨터 프로그램은 시뮬레이터를 대규모 훈련장으로 활용한다. 현실에서는 위험하거나 비용이 너무 크거나 아예 실행할 수 없는 시나리오를 그 안에서 시험할 수 있기 때문이다. **세 번째 유형은 플래너(planner)다. 플래너는 행동을 출력한다.** 관측과 목표가 주어졌을 때, 플래너는 에이전트가 다음에 무엇을 해야 하는지 답한다. 여러 면에서 이것은 렌더러의 반대편에 있다. 렌더러가 행동을 입력으로 받아 관측을 만들어낸다면, 플래너는 관측을 입력으로 받아 행동을 만들어내며 지각-행동 루프를 닫는다. 비전-언어-행동(Vision-Language-Action) 모델, 모델 기반 시스템, 그리고 최근의 월드 액션 모델(World Action Models) 흐름은 모두 플래너를 향한 시도다. 구조화되지 않은 세계에서 로봇이 무엇을 해야 하는지 결정할 수 있는 시스템을 만들려는 것이다. 이 세 범주는 오늘 실제로 출시되고 있는 것들의 대부분을 설명한다. 또한 실무적으로도 이 구분은 유용하다. 다만 이 범주들이 근본적으로 서로 분리된 것은 아니다. 세계가 어떻게 작동하는지에 대한 같은 밑바탕의 지식, 즉 기하학, 물리, 동역학이 세 범주 모두 아래에 깔려 있다. 컵을 어느 각도에서든 렌더링할 수 있는 모델이라면, 원칙적으로는 그 컵을 밀었을 때 무슨 일이 일어나는지도 시뮬레이션할 수 있어야 하고, 손이 그 컵을 집도록 계획할 수도 있어야 한다. 점점 더 흥미로운 연구는 이 세 범주 사이의 경계를 의도적으로 흐리고 있다.  ### 왜 시뮬레이션이 핵심 축인가 **세 범주 가운데 시뮬레이터는 대중의 관심을 가장 적게 받지만, 영향력은 가장 크다. 이 글은 그 비대칭을 다룬다.** **렌더러는 단연 상업적으로 가장 성숙했다.** 이미지나 텍스트를 비디오로 바꾸는 여러 제품이 소비자 시장과 기업 시장에서 빠르게 확장되고 있다. 구글의 나노 바나나(Nano Banana) 모델은 렌더러 수준의 이미지 생성을 잠재적으로 수억 명의 사용자 손에 쥐여 주었다. 기술은 실재하고, 시장도 실재한다. 그러나 렌더러는 물리적 정확성보다 시각적 개연성을 최적화한다. 그리고 그 한계는 중요하다. 출력은 아름답지만, 건물을 설계하거나 로봇을 훈련시키는 데 그대로 믿고 쓸 수는 없다. **플래너는 가장 흥미롭지만 아직 가장 초기 단계에 있으며, 빠르게 진화하는 로봇 학습(robotic learning) 분야와 밀접하게 연결되어 있다.** 지난 2년 동안 이 분야는 영상으로 보면 인상적인 로봇 데모들을 내놓았다. 하지만 그 데모가 실제로 무엇을 보여 주는지에 대해서는 솔직할 필요가 있다. 거의 모두가 강하게 제약된 실험실 환경에서만 이뤄졌고, 다루는 물체 종류도 제한적이며 과제의 시간 범위도 짧았다. 현실 세계 배치에 필요한 복잡성, 변동성, 지속 시간 수준에서 검증된 사례는 아직 없다. 눈길을 끄는 데모 영상과, 주방이나 창고나 수술실에서 안정적으로 작동하는 로봇 사이의 간극은 여전히 엄청나게 크다. 그럼에도 상업적 베팅은 이미 거대하다. 자금력이 풍부한 신규 기업들이 범용 계획 시스템을 먼저 출시하려고 경쟁하는 한편, 대형 인프라 기업들은 더 넓은 시뮬레이션 스택 위에 플래닝을 올리는 방향으로 포지셔닝하고 있다. 계획할 수 있는 로봇은 일할 수 있는 로봇이며, 업계 전체가 그 지점에 가장 먼저 도달하려고 질주하고 있다. **시뮬레이션은 이 둘을 잇는 다리다.** 언어가 세계의 추상화이고 픽셀이 그 투영이라면, 기하학, 물리, 동역학은 세계 그 자체다. 시뮬레이터는 바로 그 수준에서 작동해야 한다. 즉 시각적 외형은 물론이고 행동의 결과까지도 도출해 낼 수 있는 구조적 골격을 제공해야 한다. 시뮬레이션을 완전히 익힌 모델은 자신의 이해를 인간을 위한 픽셀로도 투영할 수 있고, 몸을 가진 에이전트를 위한 행동 예측으로도 투영할 수 있다. 반대로 렌더링만 익혔거나 플래닝만 익힌 모델은 둘 중 어느 쪽도 해내지 못한다. 상업적 적용 범위는 막대하다. 엔비디아의 옴니버스(Omniverse)만 보더라도, 회사 추산으로는 공장, 창고, 공급망, 디지털 트윈에 걸쳐 1조 달러가 넘는 잠재 시장을 겨냥한다. 로보틱스 훈련, 자율주행차 시험, 건축 시각화, 엔지니어링, 신약 발견도 모두 어떤 형태로든 시뮬레이션에 의존한다. 이 분야에서 가장 어려운 미해결 문제들도 바로 여기에 몰려 있다. 명시적 기하 구조, 재질 속성, 물리 주석을 갖춘 3차원 데이터는 렌더러가 학습하는 인터넷 비디오에 비해 규모가 몇 자릿수나 부족하다. 시뮬레이션에서의 동작과 현실에서의 동작 차이를 뜻하는 심투리얼 간극(sim-to-real gap)도 여전히 남아 있다. 생성형 시뮬레이터는 여기에 새로운 위험을 더한다. AI가 생성한 기하 구조가 겉보기에는 맞아 보여도, 자체 교차(self-intersection)나 잘못된 스케일을 포함해 물리적으로는 말이 안 되는 결과를 낼 수 있기 때문이다. 강체, 변형체, 유체, 천이 모두 상호작용하는 대규모 다중물리 시뮬레이션(multi-physics simulation)은 지금도 단일 영역 시뮬레이션보다 몇 자릿수나 더 비싸다. 월드 랩스에서 ***마블(Marble)*** 은 이 영역으로 들어가는 우리의 첫걸음이다. 텍스트, 이미지, 비디오, 공간 스케치 같은 멀티모달 프롬프트를 받아 탐색 가능한 3D 환경을 생성한다. 시각 탐색을 위한 가우시안 스플랫(Gaussian splats)과 함께, 물리 엔진이 작동할 수 있는 충돌 메시(collision meshes)도 출력한다. 하지만 마블은 시작일 뿐이다. 렌더링, 시뮬레이션, 플래닝의 경계가 무너지기 시작하면서, 이 분야 전반에 걸쳐 훨씬 더 긴 궤적이 써 내려가고 있다. ### 경계가 무너지는 지점과 다음에 올 것 하지만 더 많은 변화가 뒤따를 것이다. 지금 이 분야에서 가장 중요한 흐름은 이 세 범주가 서로 섞이기 시작했다는 점이다. 그 밑에 있는 공통된 통찰은 이렇다. 세계를 렌더링하고, 시뮬레이션하고, 그 안에서 행동하는 데 필요한 지식은 대체로 동일하다. 앞서 든 컵의 예를 이어 가면, 컵이 테이블 위에 어떻게 놓여 있는지, 즉 그 기하 구조, 재질 속성, 힘에 대한 반응 등을 진정으로 이해하는 모델이라면, 어떤 각도에서든 그 컵을 렌더링할 수 있어야 하고, 컵을 밀었을 때 무슨 일이 일어나는지도 시뮬레이션할 수 있어야 하며, 손이 그 컵을 집도록 계획할 수도 있어야 한다. 이 세 범주는 하나의 밑바탕 이해가 세 방향으로 투영된 결과다. 예를 들어 최근 여러 로보틱스 연구실에서 나온 소수지만 점점 늘어나는 연구들은, 적어도 개념적으로는 사전 학습된 비디오 렌더러를 세계와 행동을 함께 예측하는 백본으로 사용할 수 있음을 보여 주었다. 이는 하나의 모델이 “무슨 일이 일어날지”와 “무엇을 해야 할지”를 함께 상상하게 함으로써, 렌더러와 플래너 사이에 다리를 놓을 수 있음을 시사한다. 월드 랩스의 마블은 이미 단일 모델에서 가우시안 스플랫과 충돌 메시를 함께 출력한다. 이는 렌더러와 시뮬레이터의 경계를 녹여 없앤다. **모든 층위가 수동적 출력에서 상호작용적 시스템으로 이동하고 있다.** 렌더러는 행동 조건부(action-conditioned)로 바뀌고, 시뮬레이터는 더 통제 가능하고 수정 가능한 세계를 생성하며, 플래너는 단순 반응을 넘어 숙고(deliberation)하기 시작한다. **논리적 종착점은 통합 세계 모델(unified world model)이다.** 즉, 사진처럼 사실적인 시점을 렌더링하고, 물리적으로 정확한 구조를 만들어내며, 행동 시퀀스를 계획할 수 있는 하나의 파운데이션 모델이다. 그리고 하위 사용자가 무엇을 필요로 하느냐에 따라 출력 양식을 바꿔 가며 작동하게 된다. 물론 여전히 만만치 않은 과제가 많다. 데이터 상황은 고르지 않다. 렌더러는 인터넷 비디오가 넘쳐나지만, 시뮬레이터와 플래너는 3D 자산과 로봇 데모가 심각하게 부족하다. 시각적 아름다움을 최적화하면 로봇이나 고충실도 시뮬레이션에 필요한 정밀도가 희생될 수 있다. 이런 긴장을 하나의 아키텍처 안에서 어떻게 조화시킬지가 오늘날 세계 모델 연구의 핵심 미해결 문제이며, 월드 랩스가 마블을 계속 발전시키며 풀고자 하는 과제도 바로 그것이다.  그럼에도 방향은 분명하다. 1980년대 후반부터 이 분야가 걸어 온 같은 베팅, 즉 충분히 풍부한 세계 모델만 있다면 어떤 에이전트든 세계를 보고, 만들고, 그 안에서 행동하는 데 필요한 모든 것을 얻게 된다는 그 베팅이 이제 한 세대에 걸친 연구 전체를 움직이고 있다. 이 “거대한 베팅”에 무게를 실어 주는 것은 이미 진행 중인 수렴이다. 각각 따로 수십억 달러 규모 산업을 움직이고 형태를 빚어 온 세 갈래의 흐름이, 원래는 별개 연구 프로그램으로 출발했지만 이제는 하나처럼 움직이기 시작했다. 이 경계들이 함께 무너지면, 더 큰 무언가가 재편될 것이다. 기계 지능과 그것이 살아가는 물리적 세계의 관계, 곧 공간 지능의 긴 궤적이다. 언어는 기계가 그 세계에 대해 말할 수 있는 길을 열어 주었다. 세계 모델은 기계가 마침내 그 세계를 이해하고, 상상하고, 추론하고, 상호작용하게 만드는 방식이 될 것이다. --- *이 비전에 마음이 끌린다면, [월드 랩스 채용 페이지](https://job-boards.greenhouse.io/worldlabs)에서 현재 모집 중인 역할을 확인해 보길 바란다.*