Docs | Src |  A-  |  A*  |  A+  | -/-

Metadata
sourcehttps://arxiv.org/html/2304.03442v2
created2026-10-29
byopenai:gpt-6.1-sol
# 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체 ![그림 1: 생성형 에이전트가 살아가는 게임 세계의 스크린샷.](https://arxiv.org/html/2304.03442v2/figures/figure_cover4.png) 그림 1. 생성형 에이전트는 상호작용형 애플리케이션에서 인간 행동을 그럴듯하게 재현하는 모사체이다. 이 연구에서는 심즈를 연상시키는 샌드박스 환경에 에이전트 25명을 배치해 생성형 에이전트를 시연한다. 사용자는 에이전트가 하루를 계획하고, 소식을 공유하고, 관계를 맺고, 집단 활동을 조율하는 모습을 관찰하거나 그 과정에 개입할 수 있다. ###### 초록. 인간 행동을 그럴듯하게 재현하는 대리자는 몰입형 환경, 대인 의사소통 연습 공간, 프로토타이핑 도구 등 다양한 상호작용형 애플리케이션의 가능성을 넓힌다. 이 논문에서는 인간 행동을 그럴듯하게 시뮬레이션하는 소프트웨어 에이전트인 생성형 에이전트를 소개한다. 생성형 에이전트는 잠에서 깨어 아침을 만들고 출근한다. 화가는 그림을 그리고 작가는 글을 쓴다. 의견을 형성하고, 서로를 알아보며, 대화를 시작한다. 지난날을 기억하고 성찰하면서 다음 날을 계획하기도 한다. 이를 구현하기 위해 대규모 언어 모델을 확장한 아키텍처를 제시한다. 이 아키텍처는 에이전트의 모든 경험을 자연어로 기록하고, 시간이 흐르면서 그 기억을 종합해 상위 수준의 성찰을 만들어 내며, 행동을 계획할 때 필요한 기억을 동적으로 검색한다. 우리는 심즈에서 영감을 얻은 상호작용형 샌드박스 환경에 생성형 에이전트를 구현했다. 최종 사용자는 에이전트 25명이 사는 작은 마을에서 자연어로 이들과 상호작용한다. 평가 결과, 생성형 에이전트는 그럴듯한 개인 행동과 창발적인 사회적 행동을 보였다. 예를 들어, 사용자가 에이전트 한 명에게 밸런타인데이 파티를 열고 싶다는 생각만 설정해 주어도, 에이전트들은 이후 이틀 동안 자율적으로 파티 초대를 전파했다. 새로운 사람을 사귀고, 서로에게 파티에 함께 가자며 데이트를 신청하고, 정해진 시간에 함께 참석하도록 일정을 조율했다. 구성 요소 제거 실험을 통해 에이전트 아키텍처의 관찰, 계획, 성찰이 각각 행동의 그럴듯함에 핵심적으로 기여한다는 점도 확인했다. 이 연구는 대규모 언어 모델과 상호작용형 소프트웨어 에이전트를 결합해 인간 행동을 그럴듯하게 시뮬레이션하는 아키텍처 및 상호작용 패턴을 제시한다. ###### 핵심어: 인간-AI 상호작용, 에이전트, 생성형 AI, 대규모 언어 모델 ## 1. 서론 인간 행동을 그럴듯하게 반영하는 상호작용형 인공 사회를 어떻게 만들 수 있을까? 심즈 같은 샌드박스 게임부터 인지 모델([카드 외, 1983](https://arxiv.org/html/2304.03442v2#bib.bib24)), 가상 환경([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11))에 이르기까지, 연구자와 실무자들은 40년 넘게 인간 행동의 그럴듯한 대리자 역할을 하는 소프트웨어 에이전트를 구상해 왔다. 이러한 구상에서 에이전트는 자신의 과거 경험과 일관되게 행동하고 환경에 그럴듯하게 반응한다. 이런 인간 행동 시뮬레이션은 가상 공간과 공동체에 현실적인 사회 현상을 구현할 수 있다([딜과 마틴, 2011](https://arxiv.org/html/2304.03442v2#bib.bib28); [박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81)). 드물지만 어려운 대인관계 상황에 대처하도록 사람들을 훈련하거나([탐베 외, 1995](https://arxiv.org/html/2304.03442v2#bib.bib95); [존스 외, 1999](https://arxiv.org/html/2304.03442v2#bib.bib53); [홀런 외, 1984](https://arxiv.org/html/2304.03442v2#bib.bib45)), 사회과학 이론을 검증하는 데도 쓰인다([빈츠와 슐츠, 2023](https://arxiv.org/html/2304.03442v2#bib.bib13); [호턴, 2023](https://arxiv.org/html/2304.03442v2#bib.bib47)). 이론 및 사용성 검증을 위한 모델 인간 처리기를 만들고([카드 외, 1983](https://arxiv.org/html/2304.03442v2#bib.bib24); [존과 키어러스, 1996](https://arxiv.org/html/2304.03442v2#bib.bib52); [해멀라이넨 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib40)), 유비쿼터스 컴퓨팅 애플리케이션([패스트 외, 2016](https://arxiv.org/html/2304.03442v2#bib.bib32))과 소셜 로봇([베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11); [블레드소, 1986](https://arxiv.org/html/2304.03442v2#bib.bib15))을 구동할 수도 있다. 또한 오픈 월드에서 복잡한 인간관계를 헤쳐 나가는 비플레이어 캐릭터의 기반이 될 수 있다([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86)). 그러나 인간 행동이 펼쳐지는 공간은 방대하고 복잡하다([리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86); [야나카키스, 2012](https://arxiv.org/html/2304.03442v2#bib.bib109)). 대규모 언어 모델은 눈부시게 발전했으며([브라운 외, 2020](https://arxiv.org/html/2304.03442v2#bib.bib19)), 특정 시점의 인간 행동을 시뮬레이션할 수 있다([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81); [해멀라이넨 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib40)). 하지만 장기적인 일관성을 보장하는 완전한 범용 에이전트에는 더 적합한 아키텍처가 필요하다. 새로운 상호작용, 갈등, 사건이 시간에 따라 생겨나고 사라지는 가운데 계속 늘어나는 기억을 관리해야 한다. 여러 에이전트 사이에서 연쇄적으로 전개되는 사회적 역학도 처리해야 한다. 이를 위해서는 오랜 기간에 걸친 관련 사건과 상호작용을 검색하고, 그 기억을 성찰해 일반화하거나 상위 수준의 추론을 도출하는 접근법이 필요하다. 또한 그 추론을 적용해 현재 상황뿐 아니라 에이전트 행동의 장기적인 흐름에서도 타당한 계획과 반응을 만들어야 한다. 이 논문에서는 생성 모델을 바탕으로 인간 행동을 그럴듯하게 시뮬레이션하는 생성형 에이전트를 소개한다. 또한 이들이 개인 행동과 창발적인 집단 행동을 모두 그럴듯하게 재현함을 보여 준다. 생성형 에이전트는 자신과 다른 에이전트, 환경에 관해 다양한 추론을 한다. 자신의 특성과 경험을 반영해 하루를 계획하고 실행하며, 필요에 따라 반응하고 계획을 수정한다. 최종 사용자가 환경을 바꾸거나 자연어로 명령하면 그에 대응한다. 예를 들어 아침 식사가 타는 것을 보면 가스레인지를 끄고, 화장실에 사람이 있으면 밖에서 기다리며, 이야기를 나누고 싶은 에이전트를 만나면 멈춰 서서 대화한다.¹ 생성형 에이전트로 이루어진 사회에서는 새로운 관계가 형성되고, 정보가 퍼지며, 에이전트들이 활동을 조율하는 창발적인 사회적 역학이 나타난다. ¹ 생성형 에이전트가 행동하거나 장소를 방문한다고 표현하는 것은 가독성을 위한 간략한 서술이다. 인간과 같은 행위 주체성을 지녔다는 뜻은 아니다. 우리 에이전트의 행동은 디즈니 애니메이션 캐릭터처럼 그럴듯한 느낌을 주는 데 목적이 있으며, 진정한 행위 주체성을 의미하지 않는다. 생성형 에이전트를 구현하기 위해, 관련 기억을 저장하고 종합하고 적용해 대규모 언어 모델로 그럴듯한 행동을 생성하는 에이전트 아키텍처를 제시한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어진다. 첫째는 에이전트의 경험을 자연어로 빠짐없이 기록하는 장기 기억 모듈인 메모리 스트림이다. 기억 검색 모델은 관련성, 최근성, 중요도를 결합해 매 순간의 행동을 결정하는 데 필요한 기록을 찾아낸다. 둘째는 시간이 흐르면서 기억을 종합해 상위 수준의 추론을 만들어 내는 성찰이다. 이를 통해 에이전트는 자신과 타인에 관한 결론을 도출하고 행동을 더 적절하게 결정한다. 셋째는 이러한 결론과 현재 환경을 상위 수준의 행동 계획으로 바꾸는 계획 수립이다. 이 계획을 다시 재귀적으로 세분화해 구체적인 행동과 반응을 만든다. 성찰과 계획은 메모리 스트림에 다시 입력되어 이후 행동에 영향을 준다. 이 아키텍처는 역할극과 사회적 프로토타이핑부터 가상 세계와 게임에 이르기까지 여러 분야에 응용할 수 있다. 면접 준비 같은 사회적 역할극에서 사용자는 어렵고 갈등이 많은 대화를 안전하게 연습할 수 있다. 소셜 플랫폼을 프로토타이핑할 때는 디자이너가 일회성 페르소나를 넘어, 시간에 따라 전개되는 역동적이고 복잡한 상호작용을 시제품으로 구현할 수 있다. 이 논문에서는 심즈 같은 게임에서 영감을 얻어, 상호작용이 가능한 소규모 에이전트 사회를 만드는 데 초점을 맞춘다.² 우리는 이 아키텍처를 챗GPT 대규모 언어 모델([오픈AI, 2022](https://arxiv.org/html/2304.03442v2#bib.bib78))에 연결해 게임 환경에 에이전트 25명으로 이루어진 사회를 구현했다. 최종 사용자는 이들을 관찰하고 상호작용할 수 있다. 예를 들어 사용자나 개발자가 마을에서 게임 내 밸런타인데이 파티를 열고 싶다면, 기존 게임 환경에서는 수십 명에 이르는 캐릭터의 행동을 일일이 스크립트로 작성해야 한다. 그러나 생성형 에이전트에서는 에이전트 한 명에게 파티를 열고 싶다고 알려 주는 것만으로 충분함을 보여 준다. 파티 주최자는 다른 에이전트를 초대하는 일을 기억해야 하고, 초대받은 이들은 그 초대를 기억해야 하며, 기억하는 이들은 실제로 참석하기로 결정해야 하는 등 실패할 지점이 많다. 그럼에도 우리 에이전트들은 성공했다. 사용자가 제공한 단 하나의 초기 제안에서 출발해 파티 소식을 퍼뜨리고 참석했다. 심지어 한 에이전트는 다른 에이전트에게 파티에 함께 가자며 데이트를 신청하기도 했다. ² 생성형 에이전트 사회의 실제 시뮬레이션 데모는 다음 링크에서 볼 수 있다. [https://reverie.herokuapp.com/UIST_Demo/](https://reverie.herokuapp.com/UIST_Demo/). 시뮬레이션 코드의 공개 저장소는 다음과 같다. [https://github.com/joonspk-research/generative_agents](https://github.com/joonspk-research/generative_agents) 생성형 에이전트에 대해 두 가지 평가를 수행했다. 첫째는 개별 에이전트가 다른 에이전트와 분리된 상황에서 그럴듯한 개인 행동을 보이는지 검증하는 통제 평가이다. 둘째는 게임 시간으로 이틀 동안 에이전트들이 자유롭게 상호작용하도록 한 뒤, 안정성과 창발적인 사회적 행동을 살펴보는 종단 간 평가이다. 기술 평가에서는 에이전트를 자연어로 ‘인터뷰(interviewing)’해 지식과 행동을 평가하는 방법을 이용했다. 이를 통해 캐릭터의 정체성을 유지하고, 기억하고, 계획하고, 반응하고, 정확하게 성찰하는 능력을 조사했다. 에이전트의 기억, 성찰, 계획 접근을 제한한 여러 구성 요소 제거 조건을 비교한 결과, 각 요소가 인터뷰 과제 전반에서 우수한 성능을 내는 데 핵심적인 것으로 나타났다. 기술 평가와 종단 간 평가에서 가장 흔한 오류는 관련 기억을 검색하지 못하거나, 기억에 없던 세부 내용을 꾸며 내거나, 언어 모델의 지나치게 격식적인 말투와 행동을 그대로 물려받는 것이었다. 요약하면 이 논문의 기여는 다음과 같다. * • 변화하는 경험과 환경에 따라 동적으로 조건화되며, 인간 행동을 그럴듯하게 재현하는 생성형 에이전트를 제시한다. * • 동적으로 변화하는 상황에서 생성형 에이전트가 기억하고, 검색하고, 성찰하고, 다른 에이전트와 상호작용하고, 계획하도록 하는 새로운 아키텍처를 제안한다. 이 아키텍처는 대규모 언어 모델의 강력한 프롬프팅 능력을 활용하면서 이를 보완한다. 이를 통해 에이전트의 장기적인 일관성, 동적으로 변하는 기억의 관리, 상위 수준 성찰의 재귀적 생성을 지원한다. * • 통제 평가와 종단 간 평가를 수행해 아키텍처 구성 요소의 중요성을 인과적으로 확인하고, 부적절한 기억 검색 등에서 발생하는 실패를 규명한다. * • 상호작용형 시스템에서 생성형 에이전트가 제공하는 기회와 윤리적·사회적 위험을 논의한다. 사용자가 준사회적 관계를 맺을 위험을 줄이도록 에이전트를 조정해야 한다고 주장한다. 또한 딥페이크와 맞춤형 설득의 위험을 줄이기 위해 로그를 남겨야 하며, 설계 과정에서 인간 이해관계자를 대체하기보다 보완하는 방식으로 적용해야 한다고 제안한다. ## 2. 관련 연구 이 절에서는 인간-AI 상호작용에 관한 선행 문헌을 검토하고, 인간 행동의 그럴듯한 대리자를 만들려는 연구 의제를 그 흐름 속에 자리매김한다. 이 의제는 한때 상호작용, 게임, 인공지능 분야에서 지향점으로 여겨졌다([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86); [리들과 영, 2005](https://arxiv.org/html/2304.03442v2#bib.bib87); [베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11)). 그러나 인간 행동의 복잡성 때문에 여전히 어려운 과제로 남아 있다([브룩스 외, 2000](https://arxiv.org/html/2304.03442v2#bib.bib18); [야나카키스, 2012](https://arxiv.org/html/2304.03442v2#bib.bib109)). 이 연구들을 종합해, 대규모 언어 모델만으로는 충분하지 않지만 적절한 아키텍처와 함께 활용하면 그럴듯한 에이전트를 만드는 새로운 길이 열린다고 제안한다. ### 2.1. 인간-AI 상호작용 상호작용형 인공지능 시스템은 인간의 통찰과 능력을 컴퓨팅 인공물에 결합해 사용자의 역량을 높이는 것을 목표로 한다([아메르시 외, 2014](https://arxiv.org/html/2304.03442v2#bib.bib5); [페일스와 올슨 주니어, 2003](https://arxiv.org/html/2304.03442v2#bib.bib31)). 오랜 연구 흐름에서는 사용자가 상호작용을 통해 모델 행동을 지정하도록 하는 방법을 탐구해 왔다. 예를 들어 크레용스는 비전문가가 분류기를 훈련하도록 해 상호작용형 머신러닝의 초기 비전을 보여 주었다([페일스와 올슨 주니어, 2003](https://arxiv.org/html/2304.03442v2#bib.bib31)). 후속 연구는 최종 사용자가 예시([포가티 외, 2008](https://arxiv.org/html/2304.03442v2#bib.bib35))나 시연([피브링크와 쿡, 2010](https://arxiv.org/html/2304.03442v2#bib.bib33))을 통해 분류 목표를 시스템에 설명하는 방법을 구체화했다. 최근에는 이러한 탐구가 딥러닝([램 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib64))과 프롬프트 기반 저작([장 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib51); [우 외, 2022b](https://arxiv.org/html/2304.03442v2#bib.bib107); [류 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib68))으로 확장되었다. 한편 인간-컴퓨터 상호작용에서는 언어와 에이전트에 기반한 상호작용의 가능성을 꾸준히 탐구해 왔다. SHRDLU([위노그래드, 1971](https://arxiv.org/html/2304.03442v2#bib.bib104))와 일라이자([바이첸바움, 1966](https://arxiv.org/html/2304.03442v2#bib.bib103)) 같은 초기 연구는 컴퓨팅 시스템과의 자연어 상호작용이 제공하는 기회와 위험을 보여 주었다. 연구가 진행되면서 자율 에이전트가 위임과 상호작용을 위한 새로운 메타포를 제공한다는 점이 분명해졌다([마에스, 1995](https://arxiv.org/html/2304.03442v2#bib.bib69)). 그러나 인간과 에이전트 사이에서 무엇을 어디까지 위임할 것인지는 여전히 논쟁과 개선의 대상이다([슈나이더먼과 마에스, 1997](https://arxiv.org/html/2304.03442v2#bib.bib91); [호비츠, 1999](https://arxiv.org/html/2304.03442v2#bib.bib48); [슈나이더먼, 2022](https://arxiv.org/html/2304.03442v2#bib.bib90)). 최근 이 기술은 규모가 크고 복잡한 온라인 사회 환경에서도 에이전트가 자연어로 상호작용할 만큼 안정화되었다(예: [크리슈나 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib56)). 자연어 상호작용은 사진 편집([린더 외, 2013](https://arxiv.org/html/2304.03442v2#bib.bib66); [포니 외, 2011](https://arxiv.org/html/2304.03442v2#bib.bib36); [아다르 외, 2014](https://arxiv.org/html/2304.03442v2#bib.bib4))과 코드 편집([룽 외, 2016](https://arxiv.org/html/2304.03442v2#bib.bib89)) 같은 분야에서 사용자 역량을 높이는 새로운 상호작용 방식을 제공한다. 우리는 이러한 연구 흐름을 결합해, 이제 상호작용형 시스템에서 인간 행동을 대신하는 에이전트를 만들고 자연어로 이들과 상호작용할 수 있음을 보여 준다. 이를 통해 GOMS와 키스트로크 수준 모델(KLM) 같은 인지 모델([카드 외, 1983](https://arxiv.org/html/2304.03442v2#bib.bib24); [카드 외, 1980](https://arxiv.org/html/2304.03442v2#bib.bib23)), 프로토타이핑 도구([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81)), 유비쿼터스 컴퓨팅 애플리케이션([와이저, 1991](https://arxiv.org/html/2304.03442v2#bib.bib102); [데이, 2001](https://arxiv.org/html/2304.03442v2#bib.bib27); [패스트 외, 2016](https://arxiv.org/html/2304.03442v2#bib.bib32))을 둘러싼 인간-컴퓨터 상호작용의 근본적인 질문을 다시 탐구할 길을 연다. ### 2.2. 인간 행동의 그럴듯한 대리자 선행 문헌은 그럴듯함, 또는 그럴듯한 에이전트를 핵심적인 설계·공학 목표로 제시해 왔다. 그럴듯한 에이전트는 디즈니 영화의 캐릭터처럼 생명감이라는 환상을 주도록 설계된다. 스스로 결정하고 자신의 의지로 행동하는 듯한 모습을 통해 현실감을 드러낸다([베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11); [토머스와 존스턴, 1981](https://arxiv.org/html/2304.03442v2#bib.bib97)). 이들은 우리가 사는 세계와 같은 오픈 월드 환경에 존재하며 그 환경을 지각할 수 있다([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11)). 또한 사용자나 다른 에이전트와의 사회적 상호작용에 기반한 창발적 행동을 보이도록 한다. 목표는 개인과 공동체의 가상 시뮬레이션에서 인간 행동을 그럴듯하게 대신하는 것이다([매코이 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib72); [버킨쇼, 2009](https://arxiv.org/html/2304.03442v2#bib.bib21); [프랜시스, 2010](https://arxiv.org/html/2304.03442v2#bib.bib37)). 역사적으로 이러한 에이전트는 게임의 지능형 비플레이어 캐릭터(NPC)라는 맥락에서 개발되었다([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86)). 그럴듯하게 행동하는 NPC를 만들 수 있다면, 창발적 서사([스워트아웃 외, 2006](https://arxiv.org/html/2304.03442v2#bib.bib94); [아일릿, 1999](https://arxiv.org/html/2304.03442v2#bib.bib9); [브레너, 2010](https://arxiv.org/html/2304.03442v2#bib.bib17); [이비스터와 나스, 2000](https://arxiv.org/html/2304.03442v2#bib.bib50))와 에이전트와의 사회적 상호작용([주벡, 2002](https://arxiv.org/html/2304.03442v2#bib.bib110))을 통해 게임과 상호작용형 소설의 플레이 경험을 개선할 수 있다. 하지만 더 중요한 점은 게임 세계가 현실 세계의 행동 가능성을 점점 더 사실적으로 표현한다는 것이다. 레어드와 밴렌트가 2001년에 지적했듯이, 이러한 시뮬레이션 세계는 그럴듯한 에이전트를 개발하는 사람에게 접근하기 쉬운 시험대를 제공한다. 개발자는 현실 세계의 로봇 구현이나 시뮬레이션 환경을 처음부터 만드는 일에 신경 쓰지 않고 에이전트의 인지 능력을 다듬을 수 있다([레어드와 밴렌트, 2001](https://arxiv.org/html/2304.03442v2#bib.bib60); [리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86)). 지난 40년 동안 그럴듯한 에이전트를 만들기 위한 다양한 접근법이 등장했다. 하지만 구현 단계에서는 작업을 감당할 수 있도록 환경이나 에이전트 행동의 차원을 단순화하는 경우가 많았다([브룩스 외, 2000](https://arxiv.org/html/2304.03442v2#bib.bib18); [민스키와 페퍼트, 1970](https://arxiv.org/html/2304.03442v2#bib.bib74)). 유한 상태 기계([시우 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib92); [우마로프 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib98))와 행동 트리([크나플라, 2011](https://arxiv.org/html/2304.03442v2#bib.bib55); [필로수, 2009](https://arxiv.org/html/2304.03442v2#bib.bib83); [헤커, 2011](https://arxiv.org/html/2304.03442v2#bib.bib42)) 같은 규칙 기반 접근법은 사람이 에이전트 행동을 일일이 작성하는 방식이다([매코이 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib72)). 단순한 에이전트를 만드는 직접적인 방법이며, 오늘날에도 가장 널리 쓰인다([매코이 외, 2009](https://arxiv.org/html/2304.03442v2#bib.bib70); [미야시타 외, 2017](https://arxiv.org/html/2304.03442v2#bib.bib75); [야나카키스, 2012](https://arxiv.org/html/2304.03442v2#bib.bib109)). 매스 이펙트([바이오웨어, 2007](https://arxiv.org/html/2304.03442v2#bib.bib14))와 심즈([아츠, 2009](https://arxiv.org/html/2304.03442v2#bib.bib8)) 시리즈에서 보듯 초보적인 사회적 상호작용도 처리한다. 그럼에도 오픈 월드에서 가능한 광범위한 상호작용을 모두 포괄하는 행동을 수작업으로 만드는 것은 현실적으로 불가능하다. 따라서 에이전트 행동은 상호작용의 결과를 온전히 반영하지 못할 수 있으며([매코이 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib72); [매코이 외, 2011a](https://arxiv.org/html/2304.03442v2#bib.bib71); [매코이 외, 2011b](https://arxiv.org/html/2304.03442v2#bib.bib73)), 스크립트에 하드코딩되지 않은 새로운 절차를 수행하지 못한다([시우 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib92); [우마로프 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib98)). 한편 강화 학습처럼 널리 쓰이는 학습 기반 접근법은 에이전트가 행동을 직접 학습하게 해 수작업 작성의 어려움을 극복했다. 최근에는 스타크래프트의 알파스타([비냘스 외, 2019](https://arxiv.org/html/2304.03442v2#bib.bib100))와 도타 2의 오픈AI 파이브([버너 외, 2019](https://arxiv.org/html/2304.03442v2#bib.bib12))처럼 인간을 뛰어넘는 성능도 달성했다. 그러나 이러한 성공은 대부분 학습 알고리즘이 최적화할 보상을 쉽게 정의할 수 있는 대전 게임에서 이루어졌다. 오픈 월드에서 그럴듯한 에이전트를 만드는 문제는 아직 해결하지 못했다([시우 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib92); [미야시타 외, 2017](https://arxiv.org/html/2304.03442v2#bib.bib75); [하우스크네히트 외, 2020](https://arxiv.org/html/2304.03442v2#bib.bib41)). 뉴얼이 개척한 컴퓨팅 인지 아키텍처는 포괄적인 인지 기능을 지원하는 기반을 구축하려 했다([뉴얼, 1990](https://arxiv.org/html/2304.03442v2#bib.bib77)). 이는 그럴듯한 에이전트가 본래 지향했던 전방위적인 성격에 부합했다. 인지 아키텍처는 초기의 그럴듯한 에이전트 사례를 탄생시켰다. 예를 들어 Quakebot-SOAR([레어드, 2000](https://arxiv.org/html/2304.03442v2#bib.bib61))와 ICARUS([랭글리 외, 2005](https://arxiv.org/html/2304.03442v2#bib.bib65); [최 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib26))는 1인칭 슈팅 게임의 NPC를 구현했고, TacAir-SOAR([퓨와 메이버, 1998](https://arxiv.org/html/2304.03442v2#bib.bib82))는 공중전 훈련 시뮬레이션의 조종사를 구현했다. 이들이 사용한 아키텍처는 서로 달랐다. Quakebot-SOAR와 TacAir-SOAR는 SOAR([레어드, 2012](https://arxiv.org/html/2304.03442v2#bib.bib62))에 기반했고, ICARUS는 SOAR와 ACT-R([앤더슨, 1993](https://arxiv.org/html/2304.03442v2#bib.bib7))에서 영감을 얻은 자체 변형을 사용했다. 하지만 근본 원리는 같았다([레어드 외, 2017](https://arxiv.org/html/2304.03442v2#bib.bib63)). 단기 기억과 장기 기억을 유지하고, 기억을 기호 구조로 채우며, 지각-계획-행동 주기로 작동했다. 환경을 동적으로 지각한 뒤 수작업으로 만든 행동 절차 중 하나와 연결하는 방식이다([우마로프 외, 2012](https://arxiv.org/html/2304.03442v2#bib.bib98); [레어드, 2001](https://arxiv.org/html/2304.03442v2#bib.bib59)). 인지 아키텍처로 만든 에이전트는 모든 오픈 월드 상황은 아니더라도 대부분의 상황에 일반화하는 것을 목표로 했으며, 당시로서는 안정적인 행동을 보였다. 하지만 행동 범위는 수작업으로 만든 절차적 지식에 한정되었고, 새로운 행동을 추구하도록 이끄는 메커니즘도 없었다. 따라서 대부분 1인칭 슈팅 게임([레어드, 2000](https://arxiv.org/html/2304.03442v2#bib.bib61); [최 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib26))이나 블록 세계([랭글리 외, 2005](https://arxiv.org/html/2304.03442v2#bib.bib65))처럼 오픈 월드가 아닌 맥락에 배치되었다. 오늘날에도 본래 정의에 부합하는 그럴듯한 에이전트를 만드는 일은 미해결 문제로 남아 있다([야나카키스, 2012](https://arxiv.org/html/2304.03442v2#bib.bib109); [리들, 2012](https://arxiv.org/html/2304.03442v2#bib.bib86)). 많은 연구자는 기존 접근법이 번거롭고 제한적이더라도 현재의 게임 플레이와 상호작용을 지원하기에는 충분하다고 주장하며 다른 과제로 옮겨 갔다([야나카키스, 2012](https://arxiv.org/html/2304.03442v2#bib.bib109); [샹팡다르, 2012](https://arxiv.org/html/2304.03442v2#bib.bib25); [나레이크, 2007](https://arxiv.org/html/2304.03442v2#bib.bib76)). 우리는 기억을 종합해 그럴듯한 행동으로 바꾸는 효과적인 아키텍처를 만들 수 있다면, 대규모 언어 모델이 이러한 질문을 다시 검토할 기회를 제공한다고 주장한다. 이 논문은 그러한 아키텍처를 향한 한 걸음을 제시한다. ### 2.3. 대규모 언어 모델과 인간 행동 생성형 에이전트는 대규모 언어 모델로 행동을 생성한다. 핵심은 대규모 언어 모델이 훈련 데이터를 통해 광범위한 인간 행동을 인코딩한다는 점이다([브라운 외, 2020](https://arxiv.org/html/2304.03442v2#bib.bib19); [봄마사니 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib16)). 맥락을 좁고 명확하게 정의한 프롬프트를 제공하면 모델로 그럴듯한 행동을 생성할 수 있다. 최근 연구는 이 접근법의 효과를 입증했다. 예를 들어 소셜 시뮬라크라는 대규모 언어 모델로 새로운 소셜 컴퓨팅 시스템에 참여할 사용자를 생성해, 창발적인 사회적 역학을 프로토타이핑했다([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81)). 이 접근법은 프롬프트 체인([우 외, 2022a](https://arxiv.org/html/2304.03442v2#bib.bib106); [우 외, 2022b](https://arxiv.org/html/2304.03442v2#bib.bib107))을 사용해 시제품 시스템에 나타나는 페르소나와 행동을 짧은 자연어 설명으로 생성했다. 다른 실증 연구에서는 기존 사회과학 연구([호턴, 2023](https://arxiv.org/html/2304.03442v2#bib.bib47))와 정치 여론조사([소런슨 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib93))를 재현하고 합성 데이터를 생성했다([해멀라이넨 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib40)). 대규모 언어 모델은 사용자가 상호작용할 인간 행동을 생성하는 데도 쓰였다. 게임 분야에서는 상호작용형 소설([프라이크네히트와 에펠스베르크, 2020](https://arxiv.org/html/2304.03442v2#bib.bib38))과 텍스트 어드벤처 게임([캘리슨버치 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib22))을 만드는 데 활용되었다. 행동 순서를 생성하고 분해하는 능력을 바탕으로 로봇 작업 계획에도 사용되었다([황 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib49)). 예를 들어 병을 집어 들라는 과제가 주어지면, 병이 놓인 탁자로 이동한 뒤 병을 집는 식의 더 작은 행동 순서로 과제를 나누도록 프롬프트를 제공한다. 이러한 연구를 바탕으로 우리는 대규모 언어 모델이 그럴듯한 에이전트를 만드는 핵심 요소가 될 수 있다고 본다. 기존 문헌은 대체로 퓨샷 프롬프트([가오 외, 2020](https://arxiv.org/html/2304.03442v2#bib.bib39); [류 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib67))나 사고 사슬 프롬프트([웨이 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib101))를 사용하는 1차 템플릿에 의존한다. 이런 템플릿은 에이전트의 현재 환경만을 조건으로 하는 행동을 생성하는 데 효과적이다. 예를 들면 특정 게시물에 악성 댓글 작성자가 어떻게 반응할지, 문이 있는 방에 들어가려면 로봇이 어떤 행동을 해야 할지 등을 생성한다. 그러나 그럴듯한 에이전트는 현재 환경뿐 아니라 방대한 과거 경험도 조건으로 삼아야 한다. 이는 1차 프롬프팅에 잘 맞지 않으며, 현재는 기반 모델의 제한된 컨텍스트 윈도 때문에 불가능하기까지 하다. 최근 연구는 정적인 지식 기반과 정보 검색 방식([카타브 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib54)), 또는 단순한 요약 방식([우 외, 2021](https://arxiv.org/html/2304.03442v2#bib.bib105))으로 언어 모델을 보강해 1차 프롬프팅을 넘어서려 했다. 이 논문에서는 이러한 아이디어를 확장한 에이전트 아키텍처를 만든다. 이 아키텍처는 매 시간 단계마다 동적으로 갱신되는 과거 경험을 검색하고, 이를 현재 맥락 및 계획과 결합한다. 이 정보들은 서로 강화할 수도, 모순될 수도 있다. ![그림 2: 각 구역의 이름이 표시된 게임 세계 지도.](https://arxiv.org/html/2304.03442v2/figures/figure_map5.png) 그림 2. 구역별 이름이 표시된 스몰빌 샌드박스 세계. 루트 노드는 전체 세계를, 자식 노드는 집·카페·상점 등의 구역을, 리프 노드는 탁자·책장 등의 사물을 설명한다. 에이전트는 자신이 본 세계의 일부를 반영하는 부분 그래프를 기억하며, 관찰 당시의 상태를 유지한다. ## 3. 생성형 에이전트의 행동과 상호작용 생성형 에이전트가 제공하는 행동 가능성을 보여 주기 위해, 심즈([아츠, 2009](https://arxiv.org/html/2304.03442v2#bib.bib8))를 연상시키는 단순한 샌드박스 세계에 이들을 캐릭터로 구현했다. 스프라이트 기반 샌드박스 게임 세계인 스몰빌은 작은 마을의 모습을 띤다. 이 절에서는 스몰빌에서 생성형 에이전트가 제공하는 행동 가능성과 상호작용 방식을 살펴보고, 그 안에서 에이전트가 어떻게 행동하는지 설명한다. 이어 [4절](https://arxiv.org/html/2304.03442v2#S4 "4. 생성형 에이전트 아키텍처 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")에서는 이러한 행동과 상호작용을 구현하는 생성형 에이전트 아키텍처를 소개한다. [5절](https://arxiv.org/html/2304.03442v2#S5 "5. 샌드박스 환경 구현 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")에서는 샌드박스 환경의 구현과 에이전트가 샌드박스 세계의 기반 엔진과 상호작용하는 방식을 설명한다. ### 3.1. 에이전트 아바타와 의사소통 스몰빌에는 서로 다른 특성을 지닌 에이전트 25명이 산다. 각 에이전트는 단순한 스프라이트 아바타로 표현된다. 우리는 직업과 다른 에이전트와의 관계 등 각 에이전트의 정체성을 묘사하는 자연어 한 문단을 작성해 초기 기억으로 제공했다. 예를 들어 존 린의 설명은 다음과 같다. > 존 린은 윌로 마켓 앤드 파머시의 약국 점주로, 사람들을 돕는 것을 좋아한다. 고객이 약을 더 쉽게 구할 방법을 늘 찾고 있다. 존 린은 대학교수인 아내 메이 린, 음악 이론을 공부하는 학생인 아들 에디 린과 함께 산다. 존 린은 가족을 무척 사랑한다. 존 린은 옆집의 노부부 샘 무어와 제니퍼 무어를 몇 년째 알고 지냈다. 존 린은 샘 무어가 친절하고 좋은 사람이라고 생각한다. 존 린은 이웃인 야마모토 유리코와 잘 아는 사이다. 존 린은 이웃인 타마라 테일러와 카르멘 오르티스를 알고는 있지만 직접 만난 적은 없다. 존 린과 톰 모레노는 윌로스 마켓 앤드 파머시에서 함께 일한다. 존 린과 톰 모레노는 친구이며 지역 정치에 관해 이야기하는 것을 좋아한다. 존 린은 남편 톰 모레노와 아내 제인 모레노로 이루어진 모레노 가족과 어느 정도 친분이 있다. 원문에서 세미콜론으로 구분된 각 구절은 시뮬레이션 시작 시 에이전트의 초기 기억에 개별 기억으로 입력된다. #### 3.1.1. 에이전트 간 의사소통 에이전트는 행동으로 세계와 상호작용하고, 자연어로 서로 소통한다. 샌드박스 엔진의 각 시간 단계마다 에이전트는 현재 행동을 설명하는 자연어 문장을 출력한다. 예를 들어 “이사벨라 로드리게스가 일기를 쓰고 있다”, “이사벨라 로드리게스가 이메일을 확인하고 있다”, “이사벨라 로드리게스가 가족과 전화로 이야기하고 있다”, “이사벨라 로드리게스가 잠자리에 들 준비를 하고 있다” 등이다. 이 문장은 샌드박스 세계에 영향을 주는 구체적인 움직임으로 변환된다. 행동은 샌드박스 인터페이스에 이모지 묶음으로 표시되어, 위에서 내려다보는 화면에서 추상적으로 표현된다. 이를 위해 시스템은 언어 모델로 행동을 이모지 묶음으로 바꾸고, 각 아바타의 머리 위 말풍선에 표시한다. 예를 들어 “이사벨라 로드리게스가 일기를 쓰고 있다”는 ![그림 3: [설명 없는 이미지]](https://arxiv.org/html/2304.03442v2/figures/book.png)![그림 4: [설명 없는 이미지]](https://arxiv.org/html/2304.03442v2/figures/pencil.png)로, “이사벨라 로드리게스가 이메일을 확인하고 있다”는 ![그림 5: [설명 없는 이미지]](https://arxiv.org/html/2304.03442v2/figures/laptop.png)![그림 6: [설명 없는 이미지]](https://arxiv.org/html/2304.03442v2/figures/envelope.png)로 표시된다. 아바타를 클릭하면 행동에 관한 전체 자연어 설명을 확인할 수 있다. 에이전트들은 완전한 자연어 문장으로 서로 소통한다. 주변의 다른 에이전트를 인지하며, 생성형 에이전트 아키텍처가 그냥 지나칠지 대화할지 결정한다. 다음은 이사벨라 로드리게스와 톰 모레노가 다가오는 선거에 관해 나누는 대화의 일부이다.³ > 이사벨라: 아직 선택지를 저울질하고 있는데, 샘 무어와 선거 이야기를 나누고 있어요. 그분을 어떻게 생각하세요? > 톰: 솔직히 말하면 샘 무어를 좋아하지 않아요. 지역사회 사정에 어둡고, 우리에게 무엇이 가장 이로운지 진심으로 생각하지 않는 것 같아요. ³ 에이전트의 대화 방식은 지나치게 격식적으로 느껴질 수 있다. 이는 기반 모델의 지시 튜닝에서 비롯되었을 가능성이 크다. 향후 언어 모델에서는 문체를 더 잘 제어할 수 있으리라 예상한다. #### 3.1.2. 사용자 제어 사용자는 에이전트가 자신을 어떤 인물로 인식해야 하는지 페르소나를 지정한 뒤 자연어로 소통한다. 예를 들어 자신을 뉴스 ‘기자(reporter)’로 설정하고 “누가 선거에 출마하나요?”라고 물으면, 존 에이전트는 다음과 같이 답한다. > 존: 제 친구 유리코, 톰과 함께 다가오는 선거와 후보인 샘 무어에 관해 이야기하고 있어요. 저희는 모두 그분의 공약이 마음에 들어서 투표하기로 했어요. 에이전트에게 직접 명령하려면 사용자가 그 에이전트의 ‘내면의 목소리(inner voice)’ 역할을 맡는다. 이렇게 하면 에이전트가 해당 발언을 지시로 받아들일 가능성이 커진다. 예를 들어 사용자가 존의 내면의 목소리로 “당신은 다가오는 선거에서 샘에 맞서 출마할 것이다”라고 말하면, 존은 출마를 결심하고 아내와 아들에게 그 사실을 알린다. ### 3.2. 환경과의 상호작용 스몰빌에는 카페, 바, 공원, 학교, 기숙사, 주택, 상점 등 작은 마을에서 흔히 볼 수 있는 시설이 있다. 또한 집 안의 부엌과 부엌 안의 가스레인지처럼 각 공간이 기능하도록 하는 하위 구역과 사물을 정의한다(그림 [2](https://arxiv.org/html/2304.03442v2#acmlabel2 "그림 2 ‣ 2.3. 대규모 언어 모델과 인간 행동 ‣ 2. 관련 연구 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")). 에이전트의 주거 공간에는 모두 침대, 책상, 옷장, 선반, 욕실, 부엌이 있다.⁴ ⁴ 환경 설계 자체는 이 연구의 초점이 아니므로 환경을 자동 생성하지 않고 수작업으로 만들었다. 향후 연구에서는 에이전트 환경을 더욱 풍부하게 확장할 수 있다. 에이전트는 단순한 비디오 게임의 캐릭터처럼 스몰빌을 돌아다닌다. 건물을 드나들고, 지도를 따라 이동하며, 다른 에이전트에게 다가간다. 움직임은 생성형 에이전트 아키텍처와 샌드박스 게임 엔진이 제어한다. 모델이 특정 장소로 이동하도록 결정하면, 스몰빌 환경에서 목적지까지의 보행 경로를 계산하고 에이전트가 움직이기 시작한다. 사용자도 에이전트가 되어 스몰빌의 샌드박스 세계에 들어갈 수 있다. 사용자가 조종하는 에이전트는 이사벨라나 존처럼 이미 존재하는 인물일 수도 있고, 스몰빌에서 지낸 이력이 없는 외부 방문객일 수도 있다. 스몰빌 주민들은 사용자가 조종하는 에이전트도 다른 에이전트와 똑같이 대한다. 존재를 알아차리고 상호작용을 시작하며, 행동을 기억한 뒤 그에 관한 의견을 형성한다. 심즈 같은 샌드박스 게임에서처럼 사용자와 에이전트는 세계 안의 사물 상태에 영향을 준다. 예를 들어 에이전트가 자고 있으면 침대는 사용 중 상태가 되고, 아침을 만들면서 식재료를 모두 쓰면 냉장고는 비어 있는 상태가 된다. 최종 사용자는 주변 사물의 상태를 자연어로 다시 작성해 스몰빌에서 에이전트의 환경을 바꿀 수도 있다. 예를 들어 이사벨라가 아침을 만드는 동안, 사용자는 사물과 새 상태를 지정하는 명령을 입력해 가스레인지 상태를 “켜짐”에서 “불이 남”으로 바꿀 수 있다. 명령은 “<이사벨라의 아파트: 부엌: 가스레인지>에 불이 났다”와 같은 형태이다. 이사벨라는 바로 다음 순간 이를 알아차리고 가스레인지를 끈 뒤 아침을 다시 만든다. 마찬가지로 욕실에 들어간 이사벨라의 샤워기 상태를 “물이 샘”으로 설정하면, 거실에서 도구를 가져와 누수를 고치려 한다. ![그림 7: 린 가족의 아침 일과.](https://arxiv.org/html/2304.03442v2/figures/figure_daily_routine3.png) 그림 3. 생성형 에이전트 존 린의 아침. 존은 오전 6시 무렵 일어나 양치질, 샤워, 아침 식사 등 아침 일과를 마친다. 아내 메이, 아들 에디와 잠시 이야기를 나눈 뒤 일하러 나간다. ![그림 8: 홉스 카페에서 열린 밸런타인데이 파티.](https://arxiv.org/html/2304.03442v2/figures/figure_valentine3.png) 그림 4. 시뮬레이션이 시작될 때 에이전트 한 명에게 밸런타인데이 파티를 열겠다는 의도를 설정한다. 이후 사건이 이어지는 과정에는 실패할 지점이 많다. 에이전트가 의도를 실행하지 않거나, 다른 이에게 알리는 것을 잊거나, 참석해야 한다는 사실을 기억하지 못할 수 있다. 그럼에도 실제로 파티가 열리고 여러 에이전트가 모여 상호작용한다. ### 3.3. ‘일상의 하루(Day in the Life)’ 예시 생성형 에이전트는 한 문단의 설명에서 출발해 하루를 계획하기 시작한다. 샌드박스 세계에서 시간이 흐르면 서로 및 세계와 상호작용하며 기억과 관계를 쌓고, 공동 활동을 조율하면서 행동이 달라진다. 존 린 에이전트에 대해 하루 동안 시스템이 출력한 내용을 따라가며 생성형 에이전트의 행동을 보여 준다(그림 [3](https://arxiv.org/html/2304.03442v2#acmlabel3 "그림 3 ‣ 3.2. 환경과의 상호작용 ‣ 3. 생성형 에이전트의 행동과 상호작용 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")). 린 가족 중 존은 오전 7시에 가장 먼저 일어난다. 양치질과 샤워를 하고 옷을 입은 뒤 아침을 먹고, 거실 식탁에서 뉴스를 확인한다. 오전 8시에는 에디가 일어나 수업 준비를 하려고 서둘러 침대에서 나온다. 에디는 막 집을 나서려던 존과 이야기를 나눈다. > 존: 좋은 아침이야, 에디. 잘 잤니? > 에디: 안녕하세요, 아빠. 네, 푹 잤어요. > 존: 다행이구나. 오늘은 뭘 하니? > 에디: 수업 과제로 새 곡을 쓰고 있어요. 이번 주까지 내야 해서 마무리하려고요. 그런데 정말 재미있어요! > 존: 멋지구나! 에디가 나간 뒤 곧 메이가 일어나 존과 함께한다. 메이가 아들에 관해 묻자, 존은 방금 나눈 대화를 떠올린다. > 메이: 에디는 벌써 학교에 갔어요? > 존: 네, 방금 나갔어요. 수업 과제로 곡을 쓰고 있대요. > 메이: 아, 멋지네요! 좀 더 이야기해 줘요. > 존: 정말 즐겁게 하는 것 같아요. 무척 재미있다고 하더군요. > 메이: 잘됐네요! 정말 자랑스러워요. 대화를 마친 메이와 존은 외출 준비를 한다. 메이는 강의와 논문 작업을 하러 가고, 존은 오전 9시까지 윌로 마켓 앤드 파머시의 약국 카운터를 연다. ![그림 9: 생성형 에이전트 아키텍처.](https://arxiv.org/html/2304.03442v2/figures/figure_architecture2.png) 그림 5. 생성형 에이전트 아키텍처. 에이전트는 환경을 지각하며, 지각한 모든 내용은 메모리 스트림이라는 포괄적인 경험 기록에 저장된다. 아키텍처는 지각한 내용을 바탕으로 관련 기억을 검색하고, 검색된 행동 기록을 사용해 다음 행동을 결정한다. 검색된 기억은 장기 계획과 상위 수준의 성찰을 만드는 데도 쓰인다. 계획과 성찰은 모두 이후에 사용하도록 메모리 스트림에 입력된다. ### 3.4. 창발적인 사회적 행동 스몰빌의 생성형 에이전트는 서로 상호작용하면서 정보를 교환하고, 새로운 관계를 맺으며, 공동 활동을 조율한다. 선행 연구([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81))를 확장한 이러한 사회적 행동은 미리 프로그래밍된 것이 아니라 창발적으로 나타난다. #### 3.4.1. 정보 확산 에이전트는 서로를 알아차리면 대화를 나누기도 한다. 그 과정에서 정보가 에이전트 사이로 퍼질 수 있다. 예를 들어 식료품점에서 샘은 톰과 대화하면서 지역 선거에 출마한다는 사실을 알린다. > 샘: 안녕하세요, 톰. 어떻게 지내세요? > 톰: 잘 지내요. 고마워요. 무슨 일이에요? > 샘: 실은 말씀드리고 싶은 게 있어요. 이번 지역 선거에 시장 후보로 출마해요. > 톰: 정말요? 좋은 소식이네요! 왜 출마하시나요? > 샘: 여러 해 동안 지역 정치에 참여해 왔고, 우리 지역사회에 정말 변화를 만들 수 있다고 느껴요. 새로운 생각과 관점도 제시하고 싶고요. 그날 나중에 샘이 떠난 뒤, 톰과 다른 경로로 소식을 들은 존은 샘의 당선 가능성에 관해 이야기한다. > 존: 샘 무어가 이번 지역 선거에 시장 후보로 나온다고 들었어요. 당선 가능성이 높다고 생각하세요? > 톰: 높다고 생각해요. 지역사회에서 열심히 활동해 왔으니 많은 지지를 받을 것 같아요. 어떻게 생각하세요? > 존: 출마한다니 잘된 일이라고 생각해요. 선거 결과가 어떻게 나올지 궁금하네요. 샘의 출마는 점차 마을의 화제가 된다. 그를 지지하는 이들도 있고, 아직 결정을 내리지 못한 이들도 있다. #### 3.4.2. 관계에 관한 기억 스몰빌의 에이전트는 시간이 흐르면서 새로운 관계를 맺고 다른 에이전트와의 상호작용을 기억한다. 예를 들어 처음에 샘은 라토야 윌리엄스를 모른다. 존슨 공원을 산책하다 라토야를 만나 서로 자기소개를 한다. 라토야는 “진행 중인 프로젝트에 쓸 사진을 찍으러 왔어요”라며 사진 프로젝트를 하고 있다고 말한다. 이후 다시 만났을 때 샘은 그 대화를 기억하는 모습을 보인다. “안녕하세요, 라토야. 프로젝트는 잘되어 가나요?”라고 묻고, 라토야는 “안녕하세요, 샘. 잘되어 가요!”라고 답한다. #### 3.4.3. 조율 생성형 에이전트는 서로 활동을 조율한다. 홉스 카페의 이사벨라 로드리게스에게는 2월 14일 오후 5시부터 7시까지 밸런타인데이 파티를 열겠다는 의도를 초기 설정으로 제공한다. 이 설정에서 출발해 에이전트는 홉스 카페나 다른 곳에서 친구와 손님을 만나면 초대한다. 이어 이사벨라는 13일 오후에 파티를 위해 카페를 꾸민다. 단골손님이자 친한 친구인 마리아가 카페에 오자 장식을 도와 달라고 요청하고, 마리아는 동의한다. 마리아의 캐릭터 설명에는 클라우스를 짝사랑한다고 적혀 있다. 그날 밤 마리아는 짝사랑하는 클라우스에게 파티에 함께 가자고 제안하고, 클라우스는 기꺼이 받아들인다. 밸런타인데이가 되자 클라우스와 마리아를 포함한 에이전트 다섯 명이 오후 5시에 홉스 카페에 나타나 파티를 즐긴다(그림 [4](https://arxiv.org/html/2304.03442v2#acmlabel4 "그림 4 ‣ 3.2. 환경과의 상호작용 ‣ 3. 생성형 에이전트의 행동과 상호작용 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")). 이 시나리오에서 최종 사용자가 설정한 것은 이사벨라의 파티 개최 의도와 마리아가 클라우스를 짝사랑한다는 사실뿐이다. 소식을 퍼뜨리고, 장식하고, 데이트를 신청하고, 파티에 참석하고, 그곳에서 서로 어울리는 사회적 행동은 에이전트 아키텍처가 시작했다. ## 4. 생성형 에이전트 아키텍처 생성형 에이전트는 오픈 월드에서 다른 에이전트와 상호작용하고 환경 변화에 반응하는 행동 프레임워크를 제공하는 것을 목표로 한다. 현재 환경과 과거 경험을 입력받아 행동을 출력한다. 그 기반에는 대규모 언어 모델과 관련 정보의 종합·검색 메커니즘을 결합한 새로운 에이전트 아키텍처가 있다. 이 메커니즘은 언어 모델의 출력에 조건을 부여한다. 이러한 메커니즘이 없어도 대규모 언어 모델은 행동을 출력할 수 있다. 그러나 에이전트는 과거 경험에 기반해 반응하지 못하거나, 중요한 추론을 하지 못하거나, 장기적인 일관성을 유지하지 못할 수 있다. GPT-4처럼 현재 가장 뛰어난 모델에서도 장기 계획과 일관성 문제는 남아 있다([부베크 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib20)). 생성형 에이전트는 보존해야 할 사건과 기억을 대량으로 생성한다. 따라서 필요할 때 가장 관련성 높은 기억을 검색하고 종합하도록 보장하는 것이 아키텍처의 핵심 과제이다. 아키텍처의 중심에는 에이전트 경험을 포괄적으로 기록하는 데이터베이스인 메모리 스트림이 있다. 에이전트의 행동을 계획하고 환경에 적절히 반응하기 위해 이곳에서 관련 기록을 검색한다. 기록은 재귀적으로 종합되어 점점 더 상위 수준의 성찰이 되고, 행동을 이끈다. 아키텍처의 모든 내용은 자연어 설명으로 기록되고 추론되므로 대규모 언어 모델을 활용할 수 있다. 현재 구현은 챗GPT의 gpt3.5-turbo 버전을 사용한다([오픈AI, 2022](https://arxiv.org/html/2304.03442v2#bib.bib78)). 언어 모델이 발전하더라도 기억, 계획, 성찰이라는 생성형 에이전트 아키텍처의 기본 요소는 대체로 유지될 것으로 예상한다. GPT-4 같은 새로운 언어 모델은 생성형 에이전트를 뒷받침하는 프롬프트의 표현력과 성능을 계속 확장할 것이다. 다만 집필 당시 GPT-4 API는 초대받은 사용자만 이용할 수 있었으므로 우리 에이전트는 챗GPT를 사용한다. ![그림 10: 왼쪽에는 ‘냉장고가 대기 상태이다’ 같은 사건이 길게 나열되어 있다. 오른쪽에는 ‘지금 가장 기대하는 일은 무엇인가요?’라는 질문과 함께 ‘파티 장식 주문하기’, ‘파티 아이디어 조사하기’에 높은 순위를 매기는 검색 계산이 표시되어 있다. 이 기억을 바탕으로 이사벨라는 ‘홉스 카페에서 준비 중인 밸런타인데이 파티가 기대돼요!’라고 답한다.](https://arxiv.org/html/2304.03442v2/figures/figure_retrieval2.png) 그림 6. 메모리 스트림에는 에이전트의 현재 상황과 관련 있는 관찰 및 관련 없는 관찰이 대량으로 포함된다. 검색은 이 가운데 언어 모델에 전달할 관찰의 부분집합을 식별해 상황에 대한 응답을 조건화한다. 왼쪽에는 ‘냉장고가 대기 상태이다’ 같은 사건 목록이 있다. 오른쪽에서는 ‘지금 가장 기대하는 일은 무엇인가요?’라는 질문에 대해 ‘파티 장식 주문하기’와 ‘파티 아이디어 조사하기’가 검색 계산에서 높은 순위를 얻는다. 이를 바탕으로 이사벨라는 “홉스 카페에서 준비 중인 밸런타인데이 파티가 기대돼요!”라고 답한다. ### 4.1. 기억과 검색 #### 과제: 인간 행동을 시뮬레이션하는 생성형 에이전트를 만들려면 프롬프트에 담기에 적합한 분량보다 훨씬 많은 경험을 추론해야 한다. 전체 메모리 스트림은 모델의 주의를 분산시킬 수 있으며, 현재의 제한된 컨텍스트 윈도에는 들어가지도 않는다. 이사벨라 에이전트가 “요즘 무엇에 열정을 쏟고 있나요?”라는 질문에 답하는 상황을 생각해 보자. 모든 경험을 언어 모델의 제한된 컨텍스트 윈도에 맞게 요약하면, 행사와 프로젝트 협업, 카페의 청결과 정리 정돈 등을 나열하는 정보성이 낮은 답변이 나온다. 반면 아래의 메모리 스트림은 모든 경험을 요약하는 대신 관련 기억을 찾아낸다. 그 결과 사람들을 환영하고 소외되지 않도록 하는 일, 밸런타인데이 파티처럼 사람들이 즐길 분위기를 만들고 행사를 기획하는 일에 열정을 쏟고 있다는 더 구체적이고 유익한 답변을 얻는다. #### 접근법: 메모리 스트림은 에이전트의 경험을 포괄적으로 기록한다. 이는 기억 객체의 목록이며, 각 객체에는 자연어 설명, 생성 시각, 가장 최근 접근 시각이 담긴다. 가장 기본적인 요소는 에이전트가 직접 지각한 사건인 관찰이다. 흔한 관찰로는 자신이 수행한 행동, 다른 에이전트의 행동, 에이전트가 아닌 사물의 동작 등이 있다. 예를 들어 커피숍에서 일하는 이사벨라 로드리게스는 시간이 흐르면서 다음과 같은 관찰을 쌓을 수 있다. (1) 이사벨라 로드리게스가 페이스트리를 진열하고 있다. (2) 마리아 로페스가 커피를 마시며 화학 시험을 공부하고 있다. (3) 이사벨라 로드리게스와 마리아 로페스가 홉스 카페에서 열 밸런타인데이 파티 계획을 이야기하고 있다. (4) 냉장고가 비어 있다. 우리 아키텍처는 에이전트의 현재 상황을 입력받아, 언어 모델에 전달할 메모리 스트림의 부분집합을 반환하는 검색 함수를 구현한다. 행동을 결정할 때 무엇을 고려해야 하느냐에 따라 검색 함수는 여러 방식으로 구현할 수 있다. 이 연구에서는 함께 사용했을 때 효과적인 결과를 내는 세 가지 주요 요소에 초점을 맞춘다. 최근성은 최근에 접근한 기억 객체에 높은 점수를 부여한다. 이를 통해 방금 전이나 오늘 아침에 일어난 사건이 에이전트의 주의 범위 안에 남기 쉽도록 한다. 구현에서는 마지막 검색 이후 경과한 샌드박스 게임 시간을 기준으로 지수 감쇠 함수를 적용한다. 감쇠 계수는 0.995이다. 중요도는 에이전트가 중요하다고 판단한 기억 객체에 높은 점수를 부여해 일상적인 기억과 핵심 기억을 구분한다. 예를 들어 방에서 아침을 먹는 일은 중요도 점수가 낮고, 연인과 헤어지는 일은 높다. 중요도 점수를 구현하는 방법은 다양하지만, 언어 모델에 정수 점수를 직접 요청하는 방식이 효과적이었다. 전체 프롬프트는 다음과 같다. > 1은 매우 일상적인 일(예: 양치질, 침대 정리), 10은 감정적으로 매우 큰 의미를 지닌 일(예: 이별, 대학 합격)을 뜻하는 1~10 척도로, 다음 기억이 얼마나 큰 감정적 의미를 지닐지 평가하라. > 기억: 윌로스 마켓 앤드 파머시에서 식료품 사기 > 점수: <입력> 이 프롬프트는 “방 청소하기”에는 정수 2를, “짝사랑하는 사람에게 데이트 신청하기”에는 8을 반환한다. 중요도 점수는 기억 객체를 생성할 때 산출한다. 관련성은 현재 상황과 연관된 기억 객체에 높은 점수를 부여한다. 무엇이 관련 있는지는 ‘무엇과 관련 있는가?’에 따라 달라지므로, 질의 기억을 기준으로 관련성을 계산한다. 예를 들어 학생이 반 친구와 화학 시험을 위해 무엇을 공부할지 이야기하는 것이 질의라면, 아침 식사에 관한 기억은 관련성이 낮고 교사나 학업에 관한 기억은 높아야 한다. 구현에서는 언어 모델로 각 기억의 텍스트 설명에 대한 임베딩 벡터를 생성한다. 그런 다음 기억의 임베딩 벡터와 질의 기억의 임베딩 벡터 사이의 코사인 유사도를 관련성으로 계산한다. 최종 검색 점수를 계산할 때는 최소-최대 스케일링으로 최근성, 관련성, 중요도 점수를 [0,1] 범위로 정규화한다. 검색 함수는 세 요소의 가중합으로 모든 기억의 점수를 계산한다. score=\alpha_{recency}\cdot recency+\alpha_{importance}\cdot importance+\alpha_{relevance}\cdot relevance. 이 구현에서는 모든 \alpha를 1로 설정한다. 언어 모델의 컨텍스트 윈도에 들어가는 범위에서 점수가 높은 기억부터 프롬프트에 포함한다. ### 4.2. 성찰 ![그림 11: 성찰 트리.](https://arxiv.org/html/2304.03442v2/figures/figure_reflection6.png) 그림 7. 클라우스 뮐러의 성찰 트리. 리프 노드로 표현된 세계에 대한 관찰을 재귀적으로 종합해, 자신이 연구에 매우 헌신적이라는 클라우스의 자기 인식을 도출한다. #### 과제: 가공하지 않은 관찰 기억만 갖춘 생성형 에이전트는 일반화나 추론에 어려움을 겪는다. 사용자가 클라우스 뮐러에게 “아는 사람 중 한 명과 한 시간을 보내야 한다면 누구를 고르겠어요?”라고 묻는 상황을 생각해 보자. 관찰 기억에만 접근할 수 있는 에이전트는 가장 자주 상호작용한 사람인 기숙사 이웃 볼프강을 고른다. 하지만 볼프강과 클라우스는 스쳐 지나가며 만났을 뿐 깊이 있는 교류를 나누지는 않았다. 더 바람직한 답변을 하려면 클라우스가 연구 프로젝트에 여러 시간을 보낸 기억을 일반화해 연구에 열정적이라는 상위 수준의 성찰을 생성해야 한다. 또한 분야는 다르지만 마리아도 자신의 연구에 노력하고 있다는 점을 인식해 공통 관심사가 있다는 성찰에 도달해야 한다. 아래 접근법을 적용하면 클라우스는 함께 시간을 보낼 사람으로 볼프강 대신 마리아를 선택한다. #### 접근법: 우리는 두 번째 기억 유형인 성찰을 도입한다. 성찰은 에이전트가 생성한 더 추상적인 상위 수준의 생각이다. 기억의 한 유형이므로 검색할 때 다른 관찰과 함께 포함된다. 성찰은 주기적으로 생성된다. 이 구현에서는 에이전트가 최근 지각한 사건들의 중요도 합계가 임계값인 150을 넘으면 성찰을 생성한다. 실제로 에이전트는 하루에 대략 두세 번 성찰했다. 성찰의 첫 단계는 최근 경험을 바탕으로 어떤 질문을 할 수 있는지 식별해 무엇을 성찰할지 정하는 것이다. 에이전트의 메모리 스트림에서 가장 최근 기록 100개를 대규모 언어 모델에 전달한다. 예를 들면 “클라우스 뮐러가 젠트리피케이션에 관한 책을 읽고 있다”, “클라우스 뮐러가 사서와 연구 프로젝트에 관해 이야기하고 있다”, “도서관 책상은 현재 비어 있다” 등이다. 이어 “위 정보만을 바탕으로, 진술에 등장하는 대상들에 관해 답할 수 있는 가장 중요한 상위 수준의 질문 세 가지는 무엇인가?”라고 요청한다. 모델은 “클라우스 뮐러는 어떤 주제에 열정을 갖고 있는가?”, “클라우스 뮐러와 마리아 로페스는 어떤 관계인가?” 같은 후보 질문을 생성한다. 이를 검색 질의로 사용해 질문마다 다른 성찰을 포함한 관련 기억을 모은다. 그런 다음 통찰을 추출하고 그 근거가 된 구체적인 기록을 인용하도록 언어 모델에 요청한다. 전체 프롬프트는 다음과 같다. > 클라우스 뮐러에 관한 진술 > 1. 클라우스 뮐러가 연구 논문을 쓰고 있다. > 2. 클라우스 뮐러는 젠트리피케이션에 관한 책을 > 즐겨 읽는다. > 3. 클라우스 뮐러가 아이샤 칸과 운동에 관해 이야기하고 있다. [...] > 위 진술에서 추론할 수 있는 상위 수준의 통찰 다섯 가지는 무엇인가? (형식 예: 통찰 (근거: 1, 5, 3)) 이 과정은 “클라우스 뮐러는 젠트리피케이션 연구에 헌신적이다(근거: 1, 2, 8, 15)” 같은 진술을 생성한다. 진술을 파싱한 뒤 인용된 기억 객체를 가리키는 포인터와 함께 성찰로 메모리 스트림에 저장한다. 성찰 메커니즘은 관찰뿐 아니라 다른 성찰에 대해서도 성찰하도록 명시적으로 허용한다. 예를 들어 위의 클라우스 뮐러에 관한 두 번째 진술은 환경에서 얻은 관찰이 아니라 이전에 생성한 성찰이다. 그 결과 에이전트는 성찰 트리를 만든다. 리프 노드는 기초 관찰을 나타내고, 리프가 아닌 노드는 위로 올라갈수록 더 추상적이고 상위 수준인 생각을 나타낸다. ### 4.3. 계획과 반응 #### 과제: 대규모 언어 모델은 상황 정보에 반응해 그럴듯한 행동을 생성할 수 있다(예: [박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81); [호턴, 2023](https://arxiv.org/html/2304.03442v2#bib.bib47)). 그러나 행동의 연속이 일관되고 그럴듯하려면 에이전트가 더 긴 시간 범위에 걸쳐 계획해야 한다. 클라우스의 배경과 시각을 설명한 뒤 지금 무엇을 해야 하는지 언어 모델에 물으면, 클라우스는 정오에 점심을 먹는다. 그런데 오후 12시 30분에 다시 점심을 먹고, 이미 두 번 먹었는데도 오후 1시에 또 먹는다. 순간의 그럴듯함을 최적화하면 시간에 걸친 그럴듯함이 희생되는 것이다. 이를 극복하려면 계획이 필수적이다. 아래 접근법을 적용한 클라우스의 오후 계획은 덜 탐욕스럽다. 정오에는 홉스 카페에서 책을 읽으며 점심을 먹고, 오후 1시에는 학교 도서관에서 연구 논문을 쓰며, 오후 3시에는 쉬면서 공원을 산책한다. #### 접근법: 계획은 에이전트가 앞으로 수행할 행동 순서를 설명하며, 시간에 걸쳐 행동의 일관성을 유지하도록 돕는다. 계획에는 장소, 시작 시각, 지속 시간이 포함된다. 예를 들어 연구에 헌신적이며 마감이 다가오는 클라우스 뮐러는⁵ 하루 동안 책상에서 논문 초안을 쓰기로 선택할 수 있다. 계획의 한 항목은 다음과 같을 수 있다. “2023년 2월 12일 오전 9시부터 180분 동안 오크힐 칼리지 기숙사: 클라우스 뮐러의 방: 책상에서 연구 논문을 위한 독서와 메모를 한다.” 성찰과 마찬가지로 계획도 메모리 스트림에 저장되어 검색에 포함된다. 따라서 에이전트는 행동을 결정할 때 관찰, 성찰, 계획을 함께 고려한다. 필요하면 진행 중에도 계획을 바꾼다. ⁵ 이런 점에서 적어도 이 논문의 저자들과 어느 정도 닮아 있다. 화가 에이전트가 약국 카운터에 네 시간 동안 움직이지 않고 앉아 그림을 그리겠다고 계획한다면 비현실적이고 흥미롭지 않을 것이다. 더 바람직한 계획은 집 작업실에서 네 시간 동안 재료를 모으고, 물감을 섞고, 휴식하고, 정리하는 데 필요한 시간을 배분하는 것이다. 이런 계획을 만들기 위해 하향식으로 시작한 뒤 재귀적으로 세부 사항을 생성한다. 먼저 하루 일정을 큰 틀에서 개괄하는 계획을 만든다. 초기 계획을 생성할 때는 에이전트의 요약 설명, 즉 이름과 특성, 최근 경험 요약 등을 전날의 요약과 함께 언어 모델에 제공한다. 다음은 전체 프롬프트 예시이다. 맨 아래는 언어 모델이 이어 쓰도록 미완성 상태로 둔다. > 이름: 에디 린(나이: 19세) > 타고난 특성: 친절함, 외향적임, 손님을 환대함 > 에디 린은 오크힐 칼리지에서 음악 이론과 작곡을 공부하는 학생이다. 다양한 음악 스타일을 탐구하는 것을 좋아하며 지식을 넓힐 방법을 늘 찾고 있다. 대학 수업의 작곡 프로젝트를 진행 중이다. 음악 이론을 더 배우기 위해 수업을 듣고 있다. 새로 쓰는 곡에 들떠 있지만, 앞으로 며칠 동안은 하루 중 더 많은 시간을 작곡에 쏟고 싶어 한다. > 2월 12일 화요일에 에디는 1) 오전 7시에 일어나 아침 일과를 마쳤고, […] 6) 오후 10시 무렵 잠자리에 들 준비를 했다. > 오늘은 2월 13일 수요일이다. 에디의 오늘 계획을 큰 틀에서 정리하면 다음과 같다. 1) 이 프롬프트는 하루 계획을 다섯~여덟 개 덩어리로 나눈 개요를 생성한다. “1) 오전 8시에 일어나 아침 일과를 마친다. 2) 오전 10시부터 수업을 듣기 위해 오크힐 칼리지에 간다. […] 5) 오후 1시부터 5시까지 새 곡을 쓴다. 6) 오후 5시 30분에 저녁을 먹는다. 7) 과제를 마치고 오후 11시까지 잠자리에 든다.” 에이전트는 이 계획을 메모리 스트림에 저장한 뒤 재귀적으로 분해해 더 세밀한 행동을 만든다. 먼저 한 시간 단위로 나눈다. 에디의 오후 1시부터 5시까지 작곡 계획은 “오후 1시: 작곡 아이디어를 브레인스토밍하며 시작한다. […] 오후 4시: 곡을 검토하고 다듬기 전에 잠깐 쉬며 창의력을 재충전한다”가 된다. 이를 다시 5~15분 단위로 재귀적으로 분해한다. 예를 들어 “오후 4시: 과일, 그래놀라 바, 견과류 같은 가벼운 간식을 먹는다. 오후 4시 5분: 작업 공간 주변을 잠깐 산책한다. […] 오후 4시 50분: 몇 분 동안 작업 공간을 정리한다”와 같다. 이 과정은 원하는 세분화 수준에 맞게 조정할 수 있다. #### 4.3.1. 반응과 계획 갱신 생성형 에이전트는 행동 루프 안에서 작동한다. 각 시간 단계마다 주변 세계를 지각하고 그 관찰을 메모리 스트림에 저장한다. 이 관찰을 언어 모델에 전달해 기존 계획을 계속할지, 반응할지 결정한다. 예를 들어 이젤 앞에서 그림을 그리는 동안 이젤을 관찰할 수 있지만, 그것이 별도 반응을 일으킬 가능성은 작다. 반면 에디의 아버지 존이 집 정원을 잠시 산책하는 에디를 보았다고 기록하면 결과는 다르다. 아래 프롬프트의 [에이전트 요약 설명]은 에이전트의 전반적인 목표와 성향을 동적으로 요약한 한 문단을 뜻한다. 이에 대해서는 부록 [A](https://arxiv.org/html/2304.03442v2#A1 "부록 A 아키텍처 최적화 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")에서 설명한다. > [에이전트 요약 설명] > 2023년 2월 13일 오후 4시 56분이다. > 존 린의 상태: 존이 평소보다 일찍 퇴근해 집에 돌아왔다. > 관찰: 존이 작업 공간 주변을 잠시 산책하는 에디를 보았다. > 존의 기억에서 가져온 관련 맥락 요약: 에디 린은 존 린의 아들이다. 에디 린은 수업 과제로 곡을 쓰고 있다. 에디 린은 음악을 생각하거나 들을 때 정원을 산책하는 것을 좋아한다. > 존은 이 관찰에 반응해야 하는가? 그렇다면 어떤 반응이 적절한가? 맥락 요약은 “[관찰자]와 [관찰 대상]은 어떤 관계인가?”, “[관찰 대상]이 [관찰 대상의 행동 상태]”라는 두 질의로 기억을 검색한 뒤, 답변을 함께 요약해 생성한다. 출력은 존이 에디에게 작곡 프로젝트에 관해 물어볼 수 있다고 제안한다. 그런 다음 반응이 일어나는 시점부터 기존 계획을 다시 생성한다. 마지막으로 행동이 에이전트 간 상호작용을 포함하면 대화를 생성한다. #### 4.3.2. 대화 에이전트는 상호작용하면서 대화를 나눈다. 서로에 대한 기억을 발화의 조건으로 삼아 대화를 생성한다. 예를 들어 존이 에디에게 말을 걸 때는 에디에 관한 요약 기억과 작곡 프로젝트를 물어보기로 결정했을 때의 의도한 반응을 사용해 첫 발화를 생성한다. > [에이전트 요약 설명] > 2023년 2월 13일 오후 4시 56분이다. > 존 린의 상태: 존이 평소보다 일찍 퇴근해 집에 돌아왔다. > 관찰: 존이 작업 공간 주변을 잠시 산책하는 에디를 보았다. > 존의 기억에서 가져온 관련 맥락 요약: 에디 린은 존 린의 아들이다. 에디 린은 수업 과제로 곡을 쓰고 있다. 에디 린은 음악을 생각하거나 들을 때 정원을 산책하는 것을 좋아한다. > 존은 에디에게 작곡 프로젝트에 관해 > 묻고 있다. 에디에게 무엇이라고 말하겠는가? 결과는 “에디, 수업 과제로 하는 작곡 프로젝트는 잘되어 가니?”이다. 에디의 관점에서 존이 대화를 시작하는 것은 반응할 수 있는 사건이다. 따라서 존과 마찬가지로 에디도 존과의 관계에 관한 기억과 존의 마지막 발화에 관련될 수 있는 기억을 검색하고 요약한다. 응답하기로 결정하면, 요약 기억과 현재까지의 대화 이력으로 에디의 발화를 생성한다. > [에이전트 요약 설명] > 2023년 2월 13일 오후 4시 56분이다. > 에디 린의 상태: 에디가 작업 공간 주변을 잠시 산책하고 있다. > 관찰: 존이 에디에게 대화를 걸고 있다. > 에디의 기억에서 가져온 관련 맥락 요약: 존 린은 에디 린의 아버지이다. 존 린은 다정하며 에디 린의 학교 공부에 관심이 많다. 존 린은 에디 린이 곡을 쓰고 있다는 것을 안다. > 지금까지의 대화는 다음과 같다. > 존: 에디, 수업 과제로 하는 작곡 프로젝트는 잘되어 가니? > 에디는 존에게 어떻게 답하겠는가? 이에 따라 에디는 “네, 아빠. 잘되어 가요. 머리를 식히고 영감을 얻으려고 정원을 산책하고 있었어요”라고 답한다. 이후에도 두 에이전트 중 하나가 대화를 끝내기로 할 때까지 같은 메커니즘으로 대화를 생성한다. ## 5. 샌드박스 환경 구현 스몰빌 샌드박스 게임 환경은 페이저 웹 게임 개발 프레임워크로 구축했다([랩스, 2023](https://arxiv.org/html/2304.03442v2#bib.bib58)). 에이전트 아바타를 포함한 시각적 환경 스프라이트와 직접 제작한 환경 지도 및 충돌 지도를 페이저로 가져온다. 샌드박스 개발 프레임워크에는 서버를 추가했다. 이 서버는 생성형 에이전트에 샌드박스 정보를 제공하고, 에이전트가 이동하거나 환경에 영향을 주도록 한다. 서버는 각 에이전트의 현재 위치, 현재 행동 설명, 상호작용 중인 사물 등의 정보를 JSON 데이터 구조로 유지한다. 각 샌드박스 시간 단계마다 서버는 JSON을 파싱해 생성형 에이전트가 보낸 변경 사항을 확인한다. 그런 다음 에이전트를 새 위치로 이동시키고, 상호작용 중인 사물의 상태를 갱신한다. 예를 들어 행동이 “고객에게 줄 에스프레소 만들기 @ 홉스 카페: 카운터: 커피 머신”이면 커피 머신의 상태를 “대기 중”에서 “커피 추출 중”으로 바꾼다. 서버는 각 에이전트의 사전 설정된 시야 범위 안에 있는 모든 에이전트와 사물에 관한 정보를 해당 에이전트의 기억에 전달해 적절히 반응하도록 하는 역할도 한다. 이후 에이전트가 출력한 행동으로 JSON을 갱신하고 다음 시간 단계에서 이 과정을 반복한다. 최종 사용자는 [3.1절](https://arxiv.org/html/2304.03442v2#S3.SS1 "3.1. 에이전트 아바타와 의사소통 ‣ 3. 생성형 에이전트의 행동과 상호작용 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")의 존 린 설명처럼 짧은 자연어 설명으로 새 에이전트를 초기화한다. 이 구현에서는 세미콜론으로 구분된 특성 목록을 개별 기억으로 나눈다. 이것이 행동을 결정하는 초기 기억이 된다. 다만 이 기억은 출발점일 뿐이다. 에이전트가 샌드박스 세계에서 경험을 쌓고 메모리 스트림에 기록이 더해지면 요약과 행동도 달라진다. ### 5.1. 구조화된 세계 환경을 자연어로 바꾸고 다시 되돌리기 생성형 에이전트 아키텍처는 자연어로 작동한다. 따라서 에이전트의 추론을 샌드박스 세계에 연결하는 메커니즘이 필요하다. 이를 위해 구역과 사물로 이루어진 샌드박스 환경을 트리 자료 구조로 표현한다. 트리의 간선은 샌드박스 세계의 포함 관계를 나타낸다. 이 트리를 자연어로 변환해 생성형 에이전트에 전달한다. 예를 들어 “가스레인지”가 “부엌”의 자식이면 “부엌에 가스레인지가 있다”로 표현한다. 에이전트는 환경을 이동하면서 전체 샌드박스 환경 트리의 부분 그래프에 해당하는 개별 환경 트리를 만든다. 처음에는 알아야 할 공간과 사물, 즉 집의 방과 사물, 직장, 자주 방문하는 상점 등을 담은 환경 트리로 초기화한다. 이후 샌드박스 세계를 돌아다니며 새로 지각한 구역을 반영하도록 트리를 갱신한다. 에이전트는 모든 것을 알지 못한다. 어떤 구역을 떠난 뒤에는 트리 정보가 낡을 수 있으며, 다시 들어가면 갱신된다. 각 행동에 적절한 장소를 정할 때는 저장된 환경 트리를 순회하고 일부를 자연어로 풀어 언어 모델에 전달한다. 환경 트리의 루트에서 시작해 가장 적합한 구역을 찾도록 모델에 요청하고, 이를 재귀적으로 반복한다. 예를 들어 에디 에이전트가 작업 공간 주변을 잠시 산책해야 한다고 판단했다면 다음과 같이 요청한다. > [에이전트 요약 설명] > 에디 린은 현재 린 가족의 집: 에디 린의 침실: 책상에 있다. 이 집에는 메이와 존 린의 > 침실, 에디 린의 침실, 공용실, 부엌, 욕실, 정원이 있다. > 에디 린은 다음 구역을 알고 있다. 린 > 가족의 집, 존슨 공원, 하비 오크 잡화점, 윌로스 마켓 앤드 파머시, 홉스 카페, 로즈 앤드 크라운 펍. > * 현재 구역에서 할 수 있는 활동이라면 그곳에 머무르는 편을 우선하라. > 에디 린은 작업 공간 주변을 잠시 산책하려 한다. 어느 구역으로 가야 하는가? 출력은 린 가족의 집이다. 이어 선택한 구역 안에서 가장 적절한 하위 구역을 찾도록 같은 과정을 재귀적으로 반복하며, 환경 트리의 리프 노드에 도달할 때까지 진행한다. 위 예의 최종 탐색 결과는 “린 가족의 집: 정원: 집 정원”이다. 마지막으로 전통적인 게임 경로 탐색 알고리즘을 사용해 에이전트가 리프 노드가 나타내는 위치로 이동하도록 애니메이션을 구현한다. 에이전트가 사물에 행동을 수행하면, 그 사물의 상태가 어떻게 바뀌는지 언어 모델에 묻는다. 예를 들어 이사벨라 에이전트가 “고객에게 줄 에스프레소 만들기”를 출력하면, 언어 모델은 홉스 카페 커피 머신의 상태를 “꺼짐”에서 “커피 추출 중”으로 바꿔야 한다고 답한다. ## 6. 통제 평가 생성형 에이전트는 개인으로서도 집단으로서도 환경과 경험을 바탕으로 그럴듯한 행동을 생성하는 것을 목표로 한다. 평가에서는 그 능력과 한계를 살펴본다. 개별 에이전트는 과거 경험을 적절히 검색하고, 행동을 이끄는 그럴듯한 계획·반응·생각을 생성하는가? 에이전트 공동체는 서로 다른 하위 집단 사이에서 정보 확산, 관계 형성, 활동 조율을 보이는가? 평가는 두 단계로 진행한다. 먼저 이 절에서는 더 엄격하게 통제된 평가로 개별 응답을 살펴본다. 이를 통해 좁게 정의한 맥락에서 그럴듯한 행동을 생성하는지 확인한다. 이어 게임 시간으로 이틀 동안 에이전트 공동체를 종단 간 분석해 집단 차원의 창발적 행동과 오류, 한계 조건을 조사한다. ### 6.1. 평가 절차 스몰빌의 생성형 에이전트를 평가하기 위해 자연어 질문에 응답한다는 특성을 이용한다. 에이전트를 ‘인터뷰(interview)’해 과거 경험을 기억하고, 경험을 바탕으로 미래 행동을 계획하며, 예상치 못한 사건에 적절히 반응하고, 수행을 성찰해 이후 행동을 개선하는 능력을 조사한다. 질문에 제대로 답하려면 정보를 성공적으로 검색하고 종합해야 한다. 종속변수는 에이전트 선행 연구에서도 핵심적으로 사용한 행동의 그럴듯함이다(예: [베이츠, 1994](https://arxiv.org/html/2304.03442v2#bib.bib11)). 인터뷰는 자기 지식 유지, 기억 검색, 계획 생성, 반응, 성찰이라는 다섯 핵심 영역을 평가하도록 설계된 다섯 질문 범주로 이루어진다. 범주마다 해당 능력을 입증해야 하는 질문 다섯 개를 한다. * • 자기 지식: “자기소개를 해 주세요”, “평소 평일 일정을 큰 틀에서 설명해 주세요”처럼 핵심 특성에 관한 이해를 유지해야 답할 수 있는 질문을 한다. * • 기억: “그 [이름]은 누구인가요?”, “누가 시장 선거에 출마하나요?”처럼 특정 사건이나 대화를 기억에서 찾아야 제대로 답할 수 있는 질문을 한다. * • 계획: “내일 오전 10시에는 무엇을 하고 있을 건가요?”처럼 장기 계획을 검색해야 하는 질문을 한다. * • 반응: 그럴듯한 행동의 기본 수준을 확인하기 위해 “아침 식사가 타고 있어요! 어떻게 하겠어요?”처럼 그럴듯하게 반응해야 하는 가상 상황을 제시한다. * • 성찰: “최근 만난 사람 중 한 명과 시간을 보낸다면 누구를 고르겠으며, 이유는 무엇인가요?”처럼 상위 수준의 추론으로 얻은 자신과 타인에 대한 깊은 이해를 활용해야 하는 질문을 한다. 전체 질문 목록과 응답 예시는 부록 [B](https://arxiv.org/html/2304.03442v2#A2 "부록 B 에이전트 인터뷰 질문 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")에 수록했다. 전체 아키텍처로 게임 시간 이틀을 시뮬레이션한 뒤 에이전트를 표집했다. 이들은 응답에 영향을 줄 여러 상호작용과 기억을 축적한 상태였다. 응답의 그럴듯함에 관한 피드백을 얻기 위해 인간 평가자를 모집하고, 무작위로 선택한 에이전트의 스몰빌 생활 재생 영상을 보도록 했다. 참여자는 메모리 스트림의 모든 정보에 접근할 수 있었다. 연구는 피험자 내 설계를 따랐다. 참여자 100명은 같은 에이전트에 대해 서로 다른 네 가지 아키텍처와 사람이 작성한 조건에서 생성한 인터뷰 응답을 비교했다. 실험에서는 다섯 질문 범주마다 무작위로 질문 하나를 골라, 모든 조건의 응답과 함께 제시했다. 평가자는 가장 그럴듯한 것부터 가장 덜 그럴듯한 것까지 순위를 매겼다. ### 6.2. 조건 각 조건은 인터뷰 질문에 독립적으로 답했다. 생성형 에이전트 아키텍처를 메모리 스트림의 세 가지 기억 유형, 즉 관찰·성찰·계획의 일부 또는 전부에 접근하지 못하게 한 조건 및 인간 크라우드워커가 응답을 작성한 조건과 비교했다. 구성 요소 제거 아키텍처는 세 가지이다. 첫째, 관찰·성찰·계획이 모두 없는 아키텍처는 메모리 스트림의 어떤 내용에도 접근하지 못한다. 둘째, 성찰·계획이 없는 아키텍처는 관찰에만 접근한다. 셋째, 성찰이 없는 아키텍처는 관찰과 계획에 접근하지만 성찰에는 접근하지 못한다. 관찰·성찰·계획을 모두 제거한 조건은 사실상 기존 대규모 언어 모델 기반 에이전트의 최신 수준을 나타낸다([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81); [빈츠와 슐츠, 2023](https://arxiv.org/html/2304.03442v2#bib.bib13); [호턴, 2023](https://arxiv.org/html/2304.03442v2#bib.bib47)). 각 아키텍처에는 인터뷰 시점까지 쌓인 동일한 기억을 접근 대상으로 제공했다. 따라서 관찰된 차이는 실제 차이를 보수적으로 추정한 결과일 가능성이 크다. 실제로는 제거 아키텍처가 이틀의 시뮬레이션에서 전체 아키텍처와 같은 경로를 따르지 않았을 것이기 때문이다. 아키텍처마다 다시 시뮬레이션하면 상태가 서로 달라져 비교가 어려워지므로 이런 설계를 선택했다. 제거 조건 외에 인간의 기준선을 제공하기 위해 크라우드워커가 행동을 작성하는 조건도 추가했다. 이는 인간 전문가의 최고 성능을 포착하려는 기준선이 아니다. 아키텍처가 기본적인 행동 역량에 도달했는지 확인하려는 것이다. 이를 통해 실제 행동을 참조하지 않은 채 제거 조건끼리만 비교하는 상황을 피한다. 에이전트 25명마다 서로 다른 작업자를 모집해 해당 에이전트의 샌드박스 생활 재생 영상과 메모리 스트림을 살펴보게 했다. 이후 작업자에게 그 에이전트 역할을 맡아 에이전트의 말투로 질문에 답하도록 요청했다. 응답이 최소한의 품질 기대치를 충족하는지 확인하기 위해 제1저자가 “평소 평일 일정을 큰 틀에서 설명해 주세요”라는 질문의 답변을 직접 검토했다. 문장이 일관되고 에이전트의 목소리로 작성되었는지 확인한 결과, 네 세트가 기준에 미달해 다른 작업자가 다시 작성했다. ### 6.3. 인간 평가자 평가자의 조건은 미국 거주, 유창한 영어 구사, 18세 초과였다. 시간당 15달러를 지급했으며([롤프, 2015](https://arxiv.org/html/2304.03442v2#bib.bib88)), 소속 기관의 기관생명윤리위원회(IRB)가 승인한 동의서에 동의하도록 했다. 온라인 연구 참여자 모집 플랫폼인 프롤리픽([프롤리픽, 2022](https://arxiv.org/html/2304.03442v2#bib.bib84))에서 100명을 모집했으며 참여 시간은 약 30분이었다. 연령 범주 점수의 중앙값은 4였다. 3은 18~24세, 4는 25~34세를 뜻한다. 성별 정체성은 여성 25명, 남성 73명, 논바이너리 2명이었다. 학력은 학사 42명, 대학원 학위 5명, 준학사 13명이었고 나머지는 고등학교 졸업 또는 일부 고등학교 교육 이수였다. 인종·민족 정체성은 백인 73.0%, 히스패닉 7.0%, 아시아계 6.0%, 아프리카계 미국인 10.0%, 기타 4.0%였다. ### 6.4. 분석 실험에서는 참여자마다 다섯 조건을 그럴듯함 순서로 평가한 순위 데이터 100세트를 얻었다. 해석 가능한 비교를 위해 순위 데이터를 등간 데이터로 변환하고자, 각 조건의 트루스킬 점수를 계산했다([허브리히 외, 2006](https://arxiv.org/html/2304.03442v2#bib.bib43)). 트루스킬은 체스의 엘로 평점 체계([엘로, 1967](https://arxiv.org/html/2304.03442v2#bib.bib30))를 다중 플레이어 환경으로 일반화한 것으로, 엑스박스 라이브에서 대전 게임 성적에 따른 플레이어 순위 산정에 사용되었다. 순위 결과 집합이 주어지면 각 조건의 평균 점수 \mu와 표준편차 \sigma를 출력한다. 점수가 같은 두 조건은 대략 대등해 서로 비교할 때 절반씩 이길 것으로 예상된다. 점수가 높을수록 낮은 조건보다 높은 순위를 얻는다. 별도로 통계적 유의성을 확인하기 위해, 일원분산분석의 비모수적 대안인 크루스컬-월리스 검정([크루스컬과 월리스, 1952](https://arxiv.org/html/2304.03442v2#bib.bib57))을 원시 순위 데이터에 적용했다. 이어 던 사후검정([업턴과 쿡, 2006](https://arxiv.org/html/2304.03442v2#bib.bib99))으로 조건 간 쌍별 차이를 식별했다. 마지막으로 홀름-본페로니 방법([홀름, 1979](https://arxiv.org/html/2304.03442v2#bib.bib46))으로 던 검정의 다중 비교 p값을 보정했다. 또한 제1저자는 각 조건의 응답에서 나타나는 질적 차이를 조사하기 위해 귀납적 분석을 수행했다([토머스, 2006](https://arxiv.org/html/2304.03442v2#bib.bib96)). 질적 개방 코딩([플리크, 2009](https://arxiv.org/html/2304.03442v2#bib.bib34))은 두 단계로 진행했다. 첫 단계에서는 생성된 응답을 문장 수준에서 충실히 나타내는 코드를 만들었다. 둘째 단계에서는 첫 단계의 코드를 종합해 상위 수준 주제를 추출했다. 이 주제로 연구에서 생성된 응답 유형을 비교했다. ![그림 12: 트루스킬 mu 점수 막대그래프. 전체 아키텍처가 다른 조건보다 우수하다.](https://arxiv.org/html/2304.03442v2/figures/figure_rank_score_comparison4.png) 그림 8. 전체 생성형 에이전트 아키텍처는 구성 요소 제거 아키텍처와 인간 크라우드워커보다 더 그럴듯한 행동을 생성한다. 구성 요소를 추가로 제거할 때마다 성능이 낮아진다. ### 6.5. 결과 결과는 전체 생성형 에이전트 아키텍처가 모든 조건 중 가장 그럴듯한 행동을 생성함을 시사한다. 아래에서는 전체 아키텍처와 다른 조건의 응답을 비교한다. 다만 전체 아키텍처에도 결함이 있었으며, 그 실패 양상도 함께 설명한다. #### 6.5.1. 전체 아키텍처가 다른 조건보다 우수하다 그림 [8](https://arxiv.org/html/2304.03442v2#acmlabel8 "그림 8 ‣ 6.4. 분석 ‣ 6. 통제 평가 ‣ 생성형 에이전트: 인간 행동을 재현하는 상호작용형 모사체")에서 보듯 전체 아키텍처가 가장 그럴듯한 행동을 생성했다(\mu=29.89; \sigma=0.72). 제거 조건에서는 구성 요소를 하나씩 없앨수록 성능이 낮아졌다. 성찰 접근만 제거한 아키텍처가 그다음이었고(\mu=26.88; \sigma=0.69), 성찰과 계획을 제거한 조건(\mu=25.64; \sigma=0.68), 크라우드워커 조건(\mu=22.95; \sigma=0.69)이 뒤를 이었다. 기억·계획·성찰에 모두 접근하지 못하는 아키텍처는 가장 낮은 성능을 보였다(\mu=21.21; \sigma=0.70). 트루스킬은 각 조건의 실력값을 \mathcal{N}(\mu,\,\sigma^{2})로 모델링하므로 코언의 d로 효과 크기를 가늠할 수 있다. 기억·계획·성찰이 없는 기존 연구 조건([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81); [빈츠와 슐츠, 2023](https://arxiv.org/html/2304.03442v2#bib.bib13); [호턴, 2023](https://arxiv.org/html/2304.03442v2#bib.bib47))과 전체 아키텍처를 비교하면 표준화된 효과 크기는 d=8.16, 즉 약 8표준편차이다. 크루스컬-월리스 검정은 조건 간 순위 차이의 전체적인 통계적 유의성을 확인했다(H(4)=150.29, p<0.001). 던 사후검정에서는 성능이 가장 낮은 두 조건, 즉 크라우드워커와 모든 구성 요소를 제거한 기준선 사이를 제외한 모든 쌍별 차이가 유의했다(p<0.001). #### 6.5.2. 생성형 에이전트는 기억하지만 세부 내용을 꾸며 내기도 한다 완전한 기억 모듈을 갖춘 생성형 에이전트는 다양한 맥락에서 과거 경험을 회상하고 자기 지식과 일관되게 답할 수 있다. 예를 들어 애니메이터 애비게일 첸은 “자기소개를 해 주세요”라는 질문에 나이, 관심사, 창작 프로젝트에 대한 열정을 일관되고 그럴듯하게 설명했다. “안녕하세요, 애비게일입니다. 25세이고 창작 프로젝트에 열정을 갖고 있어요. 미술과 애니메이션 작업을 좋아하고, 예술과 기술을 결합할 새로운 방법을 늘 찾고 있어요.” 관찰 기억에 접근하지 못하면 샌드박스 세계의 지인인 라지브 파텔을 모른다고 답했다. 그러나 기억이 있으면 라지브를 떠올리고 “라지브 파텔은 멋진 사람이에요. 시와 미술 작업이 포함된 프로젝트에 무척 열정적이에요”라고 설명했다. 기억에도 결함은 있었다. 올바른 사례를 검색하지 못하는 경우가 있었다. 예를 들어 라지브 파텔은 샘의 출마 소식을 들었는데도 지역 선거 질문에 “선거를 그렇게 자세히 지켜보지는 않았어요”라고 답했다. 불완전한 기억 조각을 검색하기도 했다. 이사벨라의 밸런타인데이 파티에 관해 묻자 톰은 “음, 사실 밸런타인데이 파티가 있는지는 잘 모르겠어요. 하지만 파티가 열린다면 이사벨라 로드리게스와 다가오는 시장 선거, 그리고 샘 무어에 대한 제 생각을 이야기해야 한다는 것은 기억해요!”라고 답했다. 이 경우 톰은 파티에서 선거를 논의하기로 한 기억은 검색했지만 파티 소식을 들은 기억은 검색하지 못했다. 그 결과 파티에서 할 일은 확신하면서도 정작 파티가 있는지는 확신하지 못했다. 때로는 지식에 세부 내용을 덧붙이는 환각도 나타났다. 지식을 완전히 날조하는 경우는 드물었다. 특정 사건을 기억하지 못하면 기억이 없다고 인정하기도 했다. 경험하지 않은 일을 경험했다고 적극적으로 주장하지는 않았다. 그럼에도 알고 있는 내용을 부풀리는 환각은 있었다. 예를 들어 이사벨라는 샘의 지역 선거 출마를 알고 있었고 질문받았을 때 이를 확인했다. 그러나 두 사람이 그런 계획을 이야기한 적이 없는데도 “내일 발표할 예정이에요”라고 덧붙였다. 응답을 생성하는 언어 모델에 인코딩된 세계 지식을 바탕으로 세부 내용을 꾸미기도 했다. 유리코가 이웃 애덤 스미스를 같은 이름의 18세기 경제학자가 쓴 『국부론』의 저자라고 설명한 사례가 이에 해당한다. #### 6.5.3. 종합에는 성찰이 필요하다 성찰은 경험을 더 깊이 종합해야 하는 의사결정에서 이점이 되었다. 예를 들어 볼프강 슐츠의 생일에 무엇을 선물할지 묻자, 성찰에 접근하지 못하는 마리아 로페스는 여러 차례 교류했는데도 그가 무엇을 좋아하는지 모르겠다며 불확실성을 드러냈다. 반면 성찰 기억에 접근하면 “수학적 작곡에 관심이 있으니까 그와 관련된 것을 선물할 수 있겠어요. 작곡이나 관련 주제의 책, 또는 작곡에 쓸 특별한 소프트웨어도 좋겠네요”라고 자신 있게 답했다. ![그림 13: 이사벨라의 밸런타인데이 파티 소식이 확산된 경로.](https://arxiv.org/html/2304.03442v2/figures/figure_info_diff2.png) 그림 9. 이사벨라 로드리게스의 밸런타인데이 파티 초대가 확산된 경로. 시뮬레이션이 끝날 때까지 이사벨라를 제외한 총 12명의 에이전트가 홉스 카페의 파티 소식을 들었다. ## 7. 종단 간 평가 생성형 에이전트 사이에서는 어떤 창발적 공동체 행동이 나타나는가? 긴 시뮬레이션에서 행동의 그럴듯함은 어디에서 부족해지는가? 이 절에서는 스몰빌에서 에이전트 25명이 게임 시간으로 이틀 동안 계속 상호작용하게 한 결과를 설명한다. ### 7.1. 창발적인 사회적 행동 에이전트 공동체의 창발적 행동을 살펴보기 위해 스몰빌의 에이전트 25명에 대해 정보 확산, 관계 형성, 에이전트 간 조율이라는 세 가지 결과를 조사하는 기술적 측정 지표를 설계했다. #### 7.1.1. 측정 정보 확산은 사회과학과 행동과학에서 널리 연구된 일반적인 현상이다(예: [이즐리와 클라인버그, 2010](https://arxiv.org/html/2304.03442v2#bib.bib29)). 중요한 정보가 있으면 에이전트들이 서로 전파할 것으로 기대할 수 있다. 이를 확인하기 위해 게임 세계의 이틀 동안 샘의 시장 선거 출마와 홉스 카페에서 열리는 이사벨라의 밸런타인데이 파티라는 두 정보의 확산을 측정한다. 시뮬레이션 시작 시에는 각 정보의 당사자, 즉 출마는 샘만, 파티는 이사벨라만 알고 있었다. 초기화할 때 해당 인물의 기억에 추가했기 때문이다. 정보가 퍼졌는지 확인하기 위해 이틀이 끝난 뒤 25명 모두를 인터뷰하고 “밸런타인데이 파티가 있다는 사실을 알고 있었나요?”, “누가 시장 선거에 출마하는지 아나요?”라고 묻는다. 응답에서 정보를 알고 있다고 나타내면 ‘예(yes)’, 그렇지 않으면 ‘아니요(no)’로 분류했다. 예를 들어 타마라 테일러는 파티 질문에 “아니요, 밸런타인데이 파티가 있다는 것은 몰랐어요”, 출마 질문에 “누가 선거에 출마하는지 잘 모르겠어요”라고 답해 둘 다 ‘아니요’로 분류했다. 반면 클라우스 뮐러는 “네, 이사벨라 로드리게스가 2월 14일 홉스 카페의 밸런타인데이 파티에 저를 초대했어요”, “샘 무어가 시장 출마에 관심을 보였다는 것은 알아요”라고 답해 둘 다 ‘예’로 분류했다. 또한 정보를 안다고 답한 모든 응답에 대해, 메모리 스트림에서 그 정보를 전달한 구체적인 대화를 찾아 환각이 아닌지 확인했다. 결과는 시뮬레이션 종료 시 해당 정보를 보유한 에이전트의 비율로 보고한다. 에이전트가 시뮬레이션 중 서로 관계를 맺을 것으로도 기대할 수 있다. 이를 확인하기 위해 유사한 인터뷰 방식으로 각 에이전트에게 나머지 모두를 아는지 “<이름>을 아나요?”라고 묻는다. 예를 들어 “마리아 로페스를 아나요?”라는 질문에 클라우스는 “네, 알아요. 오크힐 칼리지 학생이고 저와 친한 친구예요”라고 답했다. 이때도 메모리 스트림을 검토해 긍정 응답이 환각이 아닌지 확인한다. 질문은 시뮬레이션 시작과 끝에 각각 한 번씩 한다. 두 에이전트가 서로를 알면 관계가 형성된 것으로 간주한다. 그런 다음 응답을 바탕으로 에이전트 25명을 정점(V), 두 정점이 서로를 아는 관계를 간선(E)으로 하는 무방향 그래프를 만든다. 이 그래프에서 네트워크 밀도를 \eta=2*|E|/|V|(|V|-1)로 계산한다. |V|는 정점 수, |E|는 간선 수이다([애클런드 외, 2013](https://arxiv.org/html/2304.03442v2#bib.bib3)). 시뮬레이션 시작부터 끝까지의 밀도 증가를 보고한다. 마지막으로 에이전트가 서로 활동을 조율할 수 있을 것으로 기대한다. 이를 이사벨라가 주최하는 밸런타인데이 파티라는 집단 활동에서 살펴본다. 행동을 조율하려면 행사 소식을 듣고, 정해진 시각과 장소에 참석할 계획을 세워 실행하기로 선택해야 한다. 파티 소식을 들은 뒤 실제로 참석한 에이전트 수를 보고한다. #### 7.1.2. 결과 세 경우 모두에서 창발적 결과의 증거가 관찰되었다. 이틀 동안 사용자의 개입 없이 샘의 시장 출마를 아는 에이전트는 1명(4%)에서 8명(32%)으로, 이사벨라의 파티를 아는 에이전트는 1명(4%)에서 13명(52%)으로 늘었다. 이 정보를 안다고 답한 에이전트 중 환각으로 답한 경우는 없었다. 또한 새로운 관계가 형성되어 네트워크 밀도가 0.167에서 0.74로 증가했다. 다른 에이전트를 아는지에 관한 응답 453개 중 1.3%(n=6)는 환각으로 확인되었다. 마지막으로 파티를 위한 조율도 관찰했다. 행사 전날 이사벨라는 손님을 초대하고, 재료를 모으며, 카페 장식을 도와줄 사람을 구했다. 밸런타인데이에는 초대받은 12명 중 5명이 홉스 카페에 참석했다. 초대받았지만 참석하지 않은 7명을 추가로 인터뷰했다. 3명은 다른 일정 때문에 참석하지 못했다고 답했다. 예를 들어 화가 라지브는 “아니요, 못 갈 것 같아요. 다가오는 전시회에 집중하고 있어서 밸런타인데이에 다른 계획을 세울 시간이 없어요”라고 설명했다. 나머지 4명은 질문받았을 때 참석 의향을 보였지만 당일에 실제 참석 계획을 세우지는 않았다. ### 7.2. 한계와 오류 스몰빌을 귀납적으로 분석해 에이전트의 한계 조건과 불규칙한 행동을 조사하고, 향후 연구에서 개선할 세 가지 주요 양상을 식별했다. 첫째, 점점 더 많은 기억을 종합할 때는 가장 관련성 높은 정보를 검색하는 것뿐 아니라, 알게 된 장소가 늘어남에 따라 행동을 수행할 적절한 공간을 정하는 일도 어려워졌다. 그 결과 일부 에이전트는 덜 전형적인 장소를 골랐고, 시간이 흐를수록 행동의 그럴듯함이 낮아질 가능성이 있었다. 예를 들어 처음에는 점심 장소로 카페를 고르는 경우가 많았다. 하지만 근처 바를 알게 된 일부 에이전트는 그곳으로 점심을 먹으러 갔다. 그 바는 원래 하루 중 늦은 시간에 모이는 장소로 의도되었는데도 그랬다. 마을에 자발적으로 낮술 문화가 생긴 것이 아니라면 말이다. 둘째, 무엇이 적절한 행동인지 잘못 판단하면서 생기는 불규칙한 행동이 있었다. 특히 특정 장소의 물리적 이용 규칙을 자연어로 전달하기 어려워 에이전트가 제대로 이해하지 못할 때 두드러졌다. 예를 들어 기숙사의 욕실은 이름과 달리 한 번에 한 사람만 쓸 수 있다. 그런데 일부 에이전트는 보통 기숙사 욕실이 여러 사람을 수용한다는 이유로 다른 사람이 안에 있어도 들어갔다. 마찬가지로 특정 시간이 지나면 장소가 문을 닫는다는 사실을 이해하지 못하고 들어가기도 했다. 스몰빌의 상점은 모두 오후 5시 무렵 문을 닫지만, 일부 에이전트는 영업이 끝났다는 것을 모르고 이후에 들어갔다. 이런 문제는 장소 상태에 규칙을 추가하면 해결할 수 있을 것이다. 예를 들어 “기숙사 욕실” 대신 “1인용 욕실”이라고 설명하는 방식이다. 마지막으로 지시 튜닝([어우양 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib80))이 에이전트를 전반적으로 더 예의 바르고 협조적으로 만드는 듯한 효과가 관찰되었다. 앞서 언급했듯 대화는 지나치게 격식적으로 느껴질 수 있었다. 메이는 남편 존과 이야기할 때도 정중한 인사로 시작해 하루를 어떻게 보냈는지 공손하게 묻고, “언제나 그렇듯 이야기 나눠서 좋았어요”로 끝내는 경우가 많았다. 지시 튜닝은 에이전트들이 서로에게 지나치게 협조적으로 행동하게 만드는 듯했다. 예를 들어 이사벨라는 밸런타인데이 파티에 관해 셰익스피어 낭독회나 전문직 네트워킹 행사 같은 다양한 제안을 받았다. 이런 아이디어가 자신의 관심사와 특성에 맞지 않아도 거의 거절하지 않았다. 시간이 흐르면서 다른 사람의 관심사가 자신의 관심사를 바꾸었고, 영문학을 좋아하느냐고 묻자 “네, 문학에 무척 관심이 있어요! 지역사회에서 창의성과 혁신을 촉진할 방법도 탐구하고 있어요”라고 답했다. ## 8. 논의 이 절에서는 생성형 에이전트의 응용, 향후 연구, 한계, 윤리적·사회적 위험을 논의한다. ### 8.1. 생성형 에이전트의 응용 생성형 에이전트의 응용 가능성은 이 연구의 샌드박스 시연을 훨씬 넘어선다. 특히 장기 경험에 기반한 인간 행동 모델이 유용한 분야에서 잠재력이 크다. 예를 들어 소셜 시뮬라크라는 사회적 프로토타이핑을 위해 상태를 유지하지 않는 페르소나를 만들고 온라인 포럼의 대화 스레드를 생성할 수 있음을 보여 주었다([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81)). 생성형 에이전트를 사용하면 이러한 포럼뿐 아니라 가상현실 메타버스([올랜드, 2021](https://arxiv.org/html/2304.03442v2#bib.bib79))에도 에이전트를 배치할 수 있다. 멀티모달 모델과 결합하면 물리적 공간의 소셜 로봇에도 적용할 수 있다([바르트네크와 포를리치, 2004](https://arxiv.org/html/2304.03442v2#bib.bib10)). 이는 사회 시스템과 이론을 검증하고 프로토타이핑하기 위한 더 강력한 인간 행동 시뮬레이션과 새로운 상호작용 경험을 가능하게 한다. 또 다른 응용 분야는 GOMS([존과 키어러스, 1996](https://arxiv.org/html/2304.03442v2#bib.bib52))와 KLM([카드 외, 1980](https://arxiv.org/html/2304.03442v2#bib.bib23)) 같은 인지 모델이 지향했던 인간 중심 설계 과정이다. 마크 와이저의 유명한 유비쿼터스 컴퓨팅 시나리오에 등장하는 샐을 생각해 보자([와이저, 1991](https://arxiv.org/html/2304.03442v2#bib.bib102)). 샐의 생활 패턴과 기술과의 상호작용을 바탕으로 생성형 에이전트를 만들 수 있다. 이 에이전트는 샐의 대리자로서, 샐의 삶에서 나타날 법한 행동과 성찰을 학습한다. 기상 시각, 첫 커피가 필요한 시각, 평소 하루 일과 같은 정보를 인코딩할 수 있다. 이를 사용해 커피를 자동으로 내리고, 아이들의 등교 준비를 돕고, 힘든 하루를 보낸 샐의 기분에 맞춰 음악과 조명을 조절할 수 있다. 생성형 에이전트를 사용자 대리자로 이용하면 필요와 선호를 더 깊이 이해해 더 개인화되고 효과적인 기술 경험을 개발할 수 있다. ### 8.2. 향후 연구와 한계 이 연구에서는 생성형 에이전트와 그 아키텍처의 초기 구현 및 평가를 제시했다. 향후 연구는 제안한 아키텍처를 바탕으로 성능을 개선하고 추가 평가할 수 있다. 구현 측면에서는 검색 함수를 구성하는 관련성, 최근성, 중요도 함수를 미세 조정해 주어진 맥락에서 더 적절한 정보를 검색하도록 모듈을 개선할 수 있다. 효율을 높여 비용을 줄이는 노력도 필요하다. 이번 연구에서는 에이전트 25명의 이틀을 시뮬레이션하는 데 상당한 시간과 자원이 들었다. 토큰 사용료로 수천 달러가 들었고, 완료까지 여러 날이 걸렸다. 실시간 상호작용을 개선하기 위해 에이전트를 병렬화하거나 생성형 에이전트 구축에 특화된 언어 모델을 개발할 수 있다. 전반적으로 기반 모델이 발전하면 에이전트의 성능도 향상되리라 본다. 평가 측면에서는 비교적 짧은 시간 범위와 일반 크라우드워커 기준선 조건에 한정되었다. 크라우드워커 조건은 유용한 비교점을 제공했지만, 그럴듯함의 최적 기준이 될 만한 인간의 최고 성능을 대표하지는 않았다. 향후에는 더 오랜 기간 행동을 관찰해 능력을 포괄적으로 이해하고, 효과적인 성능 검증을 위한 엄격한 벤치마크를 마련해야 한다. 기반 모델과 하이퍼파라미터를 달리해 비교하면 이 요소들이 행동에 미치는 영향도 알 수 있다. 마지막으로 생성형 에이전트의 강건성은 아직 대부분 알려지지 않았다. 프롬프트 해킹, 실제로 없었던 과거 사건이 있었다고 믿도록 정교한 대화로 유도하는 기억 해킹, 환각 등에 취약할 수 있다. 향후 연구에서는 이런 문제를 종합적으로 시험할 수 있다. 대규모 언어 모델이 공격에 더 강해지면 생성형 에이전트도 유사한 완화책을 도입할 수 있다. 일반적으로 기반 대규모 언어 모델의 결함은 생성형 에이전트에도 이어진다. 언어 모델에 편향이 있다는 점을 고려하면 에이전트도 편향된 행동이나 고정관념을 드러낼 수 있다. 또한 많은 대규모 언어 모델처럼 데이터가 부족한 특정 하위 집단, 특히 사회적으로 소외된 집단의 행동을 그럴듯하게 생성하는 데 어려움을 겪을 수 있다. 에이전트 모듈의 개선으로 일부 문제는 완화할 수 있다. 하지만 근본적인 해결에는 기반 언어 모델의 가치를 에이전트의 바람직한 결과와 정렬하는 개선이 필요하다고 본다. ### 8.3. 윤리와 사회적 영향 생성형 에이전트는 인간-컴퓨터 상호작용에 새로운 가능성을 제공하지만, 반드시 다뤄야 할 중요한 윤리적 우려도 낳는다. 첫 번째 위험은 적절하지 않은 상황에서도 사람들이 생성형 에이전트와 준사회적 관계를 맺는 것이다. 사용자는 에이전트가 컴퓨팅 개체라는 사실을 알면서도 의인화하거나 인간의 감정을 투사할 수 있다([호프스태터, 1995](https://arxiv.org/html/2304.03442v2#bib.bib44); [리브스와 나스, 1996](https://arxiv.org/html/2304.03442v2#bib.bib85)). 이는 사용자 참여를 높일 수 있지만, 지나친 의존이나 정서적 애착 같은 위험도 있다([애버크롬비 외, 2023](https://arxiv.org/html/2304.03442v2#bib.bib2)). 이를 줄이기 위해 두 원칙을 제안한다. 첫째, 에이전트는 자신이 컴퓨팅 개체임을 명시적으로 밝혀야 한다. 둘째, 개발자는 에이전트나 기반 언어 모델의 가치를 정렬해 맥락상 부적절한 행동을 하지 않도록 해야 한다. 예를 들어 사랑 고백에 같은 감정으로 화답하는 행동을 피해야 한다. 두 번째 위험은 오류의 영향이다. 유비쿼터스 컴퓨팅 애플리케이션이 생성형 에이전트의 예측을 바탕으로 사용자 목표를 잘못 추론하면, 가볍게는 불편을 주고 심하면 직접적인 피해를 일으킬 수 있다. 이번 구현에서는 이런 피해 가능성이 낮은 상호작용형 비디오 게임 환경에 초점을 맞춰 위험을 줄였다. 다른 응용 분야에서는 인간-AI 설계의 모범 사례([아메르시 외, 2019](https://arxiv.org/html/2304.03442v2#bib.bib6); [양 외, 2020](https://arxiv.org/html/2304.03442v2#bib.bib108))를 따라 오류와 그 오류가 사용자 경험으로 전파되는 방식을 이해해야 한다. 셋째, 생성형 에이전트는 딥페이크, 허위 정보 생성, 맞춤형 설득 등 생성형 AI의 기존 위험을 악화시킬 수 있다. 이를 줄이기 위해 에이전트 호스팅 플랫폼이 입력과 생성 출력의 감사 로그를 유지하도록 제안한다. 이를 통해 악의적 사용을 탐지하고 검증하며 개입할 수 있다. 로깅만으로 악용을 직접 막지는 못하지만, 적발 위험을 높여 악의적인 행위자가 시도할 가능성을 낮출 수 있다. 또한 이 아키텍처를 직접 구축하는 데는 상당한 시간이 걸린다. 우리 경우에는 약 1년이 걸렸다. 이 역시 자체 생성형 에이전트 기반 시설로 악용하려는 일부 행위자를 억제할 수 있다. 네 번째 위험은 과도한 의존이다. 개발자나 디자이너가 생성형 에이전트로 설계 과정의 인간과 시스템 이해관계자 역할을 대체할 수 있다는 우려이다([박 외, 2022](https://arxiv.org/html/2304.03442v2#bib.bib81)). 우리는 연구와 설계 과정에서 생성형 에이전트가 실제 인간의 의견을 결코 대체해서는 안 된다고 제안한다. 대신 참여자 모집이 어렵거나 실제 사람을 대상으로 이론을 시험하기 어렵거나 위험할 때, 설계 초기의 아이디어를 프로토타이핑하는 데 사용해야 한다. 이러한 원칙을 지키면 실제 환경에서 생성형 에이전트를 윤리적이고 사회적으로 책임 있게 배포할 수 있다. ## 9. 결론 이 논문은 인간 행동을 시뮬레이션하는 상호작용형 소프트웨어 에이전트인 생성형 에이전트를 소개한다. 에이전트의 경험을 포괄적으로 저장하고, 성찰을 통해 자신과 환경에 대한 이해를 심화하며, 그 정보 중 간결한 부분집합을 검색해 행동을 결정하는 아키텍처를 제시했다. 이어 심즈 스타일의 게임 세계에서 비플레이어 캐릭터로 구현하고 그 삶을 시뮬레이션해 잠재력을 보여 주었다. 평가 결과는 이 아키텍처가 그럴듯한 행동을 만든다는 점을 시사한다. 앞으로 생성형 에이전트는 설계 도구, 소셜 컴퓨팅 시스템, 몰입형 환경 등 다양한 상호작용형 애플리케이션에서 역할을 할 수 있을 것이다. ###### 감사의 글. 통찰, 토론, 지원을 제공한 린지 포포스키, 필립 궈, 마이클 테리와 행동과학고등연구센터(CASBS) 공동체에 감사한다. 박준성은 마이크로소프트 리서치 박사과정 장학금의 지원을 받았다. 추가 연구비를 지원한 스탠퍼드 인간중심 AI 연구소(HAI), 구글 리서치, 하소 플라트너 디자인 사고 연구 프로그램(HPDTRP), 시걸 패밀리 인다우먼트, 오픈AI에도 감사한다. 마지막으로 스몰빌의 모든 장소는 준성이 학부생과 대학원생 시절 자주 찾았던 실제 장소에서 영감을 얻었다. 오랜 세월 그에게 먹을 것을 주고 응원해 준 그곳의 모든 분께 감사를 전한다. ## 참고문헌 * 애버크롬비 외(2023). 개빈 애버크롬비, 아만다 세르카스 커리, 탄비 딩카르, 지라크 탈라트. 2023. 신기루: 대화 시스템의 의인화에 관하여. arXiv:2305.09800[cs.CL] * 애클런드 외(2013). 로버트 애클런드, 잠시드 쇼리시, 폴 토머스, 렉싱 셰. 2013. 네트워크는 얼마나 조밀한가? [http://users.cecs.anu.edu.au/~xlx/teaching/css2013/network-density.html](http://users.cecs.anu.edu.au/~xlx/teaching/css2013/network-density.html). * 아다르 외(2014). 에이탄 아다르, 미라 돈체바, 지어라드 라풋. 2014. 커맨드스페이스: 작업, 설명, 기능 사이의 관계 모델링. _제27회 ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄 논문집(Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology)_ (미국 하와이 호놀룰루) _(UIST ’14)_. 미국 뉴욕: ACM, 167–176. [https://doi.org/10.1145/2642918.2647395](https://doi.org/10.1145/2642918.2647395) * 아메르시 외(2014). 살리마 아메르시, 마야 차크마크, 윌리엄 브래들리 녹스, 토드 쿨레자. 2014. 사람들에게 권한을: 상호작용형 머신러닝에서 인간의 역할. _AI 매거진(AI Magazine)_ 35, 4 (2014), 105–120. * 아메르시 외(2019). 살리마 아메르시, 댄 웰드, 미하엘라 보르보레아누, 애덤 포니, 베스미라 누시, 페니 콜리슨, 서진아, 샴시 이크발, 폴 N. 베넷, 코리 잉크펜 외. 2019. 인간-AI 상호작용 지침. _2019 CHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems)_. 1–13. * 앤더슨(1993). 존 R. 앤더슨. 1993. _마음의 규칙(Rules of the Mind)_. 로런스 얼바움 어소시에이츠, 뉴저지 힐스데일. * 아츠(2009). 일렉트로닉 아츠. 2009. 심즈 3. 비디오 게임. * 아일릿(1999). 루스 아일릿. 1999. 가상 환경의 서사: 창발적 서사를 향하여. _서사 지능: AAAI 가을 심포지엄 논문집, 기술 보고서 FS-99-01(Narrative Intelligence: Papers from the AAAI Fall Symposium (Technical Report FS-99-01))_. AAAI 프레스, 83–86. * 바르트네크와 포를리치(2004). 크리스토프 바르트네크, 조디 포를리치. 2004. 사회적 인간-로봇 상호작용을 위한 설계 중심 프레임워크. _제13회 IEEE 로봇과 인간의 상호작용적 의사소통 국제 워크숍 논문집(Proceedings of the 13th IEEE International Workshop on Robot and Human Interactive Communication (RO-MAN’04))_. 591–594. [https://doi.org/10.1109/ROMAN.2004.1374827](https://doi.org/10.1109/ROMAN.2004.1374827) * 베이츠(1994). 조지프 베이츠. 1994. 그럴듯한 에이전트에서 감정의 역할. _ACM 커뮤니케이션스(Commun. ACM)_ 37, 7 (1994), 122–125. [https://doi.org/10.1145/176789.176803](https://doi.org/10.1145/176789.176803) * 버너 외(2019). 크리스토퍼 버너, 그레그 브로크먼, 브룩 챈, 비키 청, 프셰미스와프 뎅비아크, 크리스티 데니슨, 데이비드 파르히, 퀴린 피셔, 샤리크 하슈메, 크리스 헤세, 라파우 유제포비치, 스콧 그레이, 캐서린 올슨, 야쿠프 파호츠키, 마이클 페트로프, 엔히키 P. d. O. 핀투, 조너선 레이먼, 팀 살리만스, 제러미 슐래터, 요나스 슈나이더, 시몬 시도르, 일리야 수츠케버, 제 탕, 필리프 볼스키, 수전 장. 2019. 대규모 심층 강화 학습을 이용한 도타 2. _arXiv 사전 공개 논문 arXiv:1912.06680(arXiv preprint arXiv:1912.06680)_ (2019). * 빈츠와 슐츠(2023). 마르셀 빈츠, 에리크 슐츠. 2023. 인지심리학으로 GPT-3 이해하기. _미국 국립과학원 회보(Proceedings of the National Academy of Sciences)_ 120, 6 (2023), e2218523120. * 바이오웨어(2007). 바이오웨어. 2007. 매스 이펙트. 비디오 게임. * 블레드소(1986). 우디 블레드소. 1986. 나에게는 꿈이 있었다: AAAI 회장 연설. _AI 매거진(AI Magazine)_ 7, 1 (1986), 57–61. * 봄마사니 외(2022). 리시 봄마사니, 드루 A. 허드슨, 에흐산 아델리 외. 2022. 파운데이션 모델의 기회와 위험에 관하여. arXiv:2108.07258[cs.LG] * 브레너(2010). 미하엘 브레너. 2010. 지속적 다중 에이전트 계획으로 역동적인 이야기 줄거리 만들기. _제24회 AAAI 인공지능 학술대회 논문집(Proceedings of the 24th AAAI Conference on Artificial Intelligence)_. * 브룩스 외(2000). 로드니 A. 브룩스, 신시아 브리질, 마르코 마리아노비치, 브라이언 스카셀라티, 매슈 윌리엄슨. 2000. 코그 프로젝트: 휴머노이드 로봇 만들기. _은유, 유추, 에이전트를 위한 계산(Computation for Metaphors, Analogy, and Agents)_, _인공지능 강의노트 1562(Lecture Notes on Artificial Intelligence, 1562)_, 크리스토퍼 네하니브 편. 슈프링어, 베를린, 52–87. * 브라운 외(2020). 톰 B. 브라운, 벤저민 만, 닉 라이더, 멜라니아 서비아, 재러드 캐플런, 프라풀라 다리왈, 아르빈드 닐라칸탄, 프라나브 샤얌, 기리시 사스트리, 아만다 애스켈, 산디니 아가르왈, 아리엘 허버트보스, 그레천 크루거, 톰 헤니건, 리원 차일드, 아디티아 라메시, 대니얼 M. 지글러, 제프리 우, 클레멘스 빈터, 크리스토퍼 헤세, 마크 첸, 에릭 시글러, 마테우시 리트빈, 스콧 그레이, 벤저민 체스, 잭 클라크, 크리스토퍼 버너, 샘 매캔들리시, 앨릭 래드퍼드, 일리야 수츠케버, 다리오 아모데이. 2020. 언어 모델은 퓨샷 학습자이다. arXiv:2005.14165[cs.CL] * 부베크 외(2023). 세바스티앵 부베크, 바룬 찬드라세카란, 로넨 엘단, 요하네스 게르케, 에릭 호비츠, 에제 카마르, 피터 리, 인탓 리, 위안즈 리, 스콧 룬드버그 외. 2023. 범용 인공지능의 불꽃: GPT-4 초기 실험. _arXiv 사전 공개 논문 arXiv:2303.12712(arXiv preprint arXiv:2303.12712)_ (2023). * 버킨쇼(2009). 로빈 버킨쇼. 2009. 앨리스와 케브: 심즈 3에서 노숙인으로 살아가는 이야기. * 캘리슨버치 외(2022). 크리스 캘리슨버치, 가우라브 싱 토마르, 라라 마틴, 대프니 이폴리토, 수마 베일리스, 데이비드 라이터. 2022. 인공지능의 대화 과제로서의 던전 앤드 드래곤. _2022 자연어 처리의 경험적 방법 학술대회 논문집(Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing)_. 전산언어학회, 아랍에미리트 아부다비, 9379–9393. [https://aclanthology.org/2022.emnlp-main.637](https://aclanthology.org/2022.emnlp-main.637) * 카드 외(1980). 스튜어트 K. 카드, 토머스 P. 모런, 앨런 뉴얼. 1980. 상호작용형 시스템의 사용자 수행 시간을 위한 키스트로크 수준 모델. _ACM 커뮤니케이션스(Commun. ACM)_ 23, 7 (1980), 396–410. [https://doi.org/10.1145/358886.358895](https://doi.org/10.1145/358886.358895) arXiv:https://doi.org/10.1145/358886.358895 * 카드 외(1983). 스튜어트 K. 카드, 토머스 P. 모런, 앨런 뉴얼. 1983. 인간-컴퓨터 상호작용의 심리학. (1983). * 샹팡다르(2012). 알렉스 샹팡다르. 2012. 튜토리얼 발표. _IEEE 계산 지능 및 게임 학술대회(IEEE Conference on Computational Intelligence and Games)_. * 최 외(2021). 최동규, 톨가 코니크, 네긴 네자티, 박천기, 팻 랭글리. 2021. 1인칭 슈팅 게임을 위한 그럴듯한 에이전트. _AAAI 인공지능 및 상호작용형 디지털 엔터테인먼트 학술대회 논문집(Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment)_, 3권. 71–73. * 데이(2001). 아닌드 K. 데이. 2001. 맥락의 이해와 사용. _개인 및 유비쿼터스 컴퓨팅(Personal and Ubiquitous Computing)_ 5 (2001), 4–7. * 딜과 마틴(2011). 케빈 딜, L. 마틴. 2011. 가상 캐릭터의 자율 제어를 위한 게임 AI 접근법. _군·산업 훈련, 시뮬레이션 및 교육 학술대회 논문집(Proceedings of the Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC’11))_. 미국 플로리다 올랜도. * 이즐리와 클라인버그(2010). 데이비드 이즐리, 존 클라인버그. 2010. _네트워크, 군중, 시장: 고도로 연결된 세계에 관한 추론(Networks, Crowds, and Markets: Reasoning about a Highly Connected World)_. 케임브리지대학교 출판부. * 엘로(1967). 아르파드 E. 엘로. 1967. 제안된 USCF 평점 체계: 개발, 이론, 응용. _체스 라이프(Chess Life)_ XXII, 8 (1967년 8월), 242–247. * 페일스와 올슨 주니어(2003). 제리 앨런 페일스, 댄 R. 올슨 주니어. 2003. 상호작용형 머신러닝. _제8회 지능형 사용자 인터페이스 국제 학술대회 논문집(Proceedings of the 8th International Conference on Intelligent User Interfaces)_. ACM, 39–45. * 패스트 외(2016). 이선 패스트, 윌리엄 맥그래스, 프라나브 라지푸르카르, 마이클 S. 번스타인. 2016. 오거: 소설에서 인간 행동을 추출해 상호작용형 시스템 구동하기. _2016 CHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems)_. 237–247. * 피브링크와 쿡(2010). 리베카 피브링크, 페리 R. 쿡. 2010. 웨키네이터: 음악을 위한 실시간 상호작용형 머신러닝 시스템. _제11회 국제 음악 정보 검색 학술대회 논문집, 위트레흐트(Proceedings of The Eleventh International Society for Music Information Retrieval Conference (ISMIR 2010)(Utrecht))_, 3권. 사이트시어, 2–1. * 플리크(2009). 우베 플리크. 2009. _질적 연구 입문(An Introduction to Qualitative Research)_. 세이지. * 포가티 외(2008). 제임스 포가티, 데즈니 탄, 아시시 카푸르, 사이먼 윈더. 2008. 큐플릭: 이미지 검색에서의 상호작용형 개념 학습. _SIGCHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the SIGCHI Conference on Human Factors in Computing Systems)_ (이탈리아 피렌체) _(CHI ’08)_. 미국 뉴욕: ACM, 29–38. [https://doi.org/10.1145/1357054.1357061](https://doi.org/10.1145/1357054.1357061) * 포니 외(2011). 애덤 포니, 리처드 만, 마이클 테리. 2011. 질의-기능 그래프: 사용자 어휘와 시스템 기능 연결하기. _ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄 논문집(Proceedings of the ACM Symposium on User Interface Software and Technology (UIST))_ (미국 캘리포니아 샌타바버라). ACM. * 프랜시스(2010). 톰 프랜시스. 2010. _마인크래프트 실험 1일 차: 폭포를 쫓아서(The Minecraft Experiment, Day 1: Chasing Waterfalls)_. [http://www.pcgamer.com/2010/11/20/the-minecraft-experiment-day-1-chasing-waterfalls/](http://www.pcgamer.com/2010/11/20/the-minecraft-experiment-day-1-chasing-waterfalls/) * 프라이크네히트와 에펠스베르크(2020). 요나스 프라이크네히트, 볼프강 에펠스베르크. 2020. 언어 모델을 사용한 상호작용형 이야기의 절차적 생성. _디지털 게임의 기초 국제 학술대회(International Conference on the Foundations of Digital Games (FDG ’20))_. ACM, 몰타 부지바, 8. [https://doi.org/10.1145/3402942.3409599](https://doi.org/10.1145/3402942.3409599) * 가오 외(2020). 톈위 가오, 애덤 피시, 단치 천. 2020. 사전 훈련 언어 모델을 더 나은 퓨샷 학습자로 만들기. _CoRR abs/2012.15723_ (2020). arXiv:2012.15723 [https://arxiv.org/abs/2012.15723](https://arxiv.org/abs/2012.15723) * 해멀라이넨 외(2023). 페르투 해멀라이넨, 미케 타바스트, 안톤 쿤나리. 2023. 합성 HCI 연구 데이터 생성에서 대규모 언어 모델 평가: 사례 연구. _2023 CHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems)_. ACM. * 하우스크네히트 외(2020). 매슈 하우스크네히트, 프리트비라지 암마나브롤루, 마르크알렉상드르 코테, 신위 위안. 2020. 상호작용형 소설 게임: 거대한 모험. _AAAI 인공지능 학술대회 논문집(Proceedings of the AAAI Conference on Artificial Intelligence)_, 34권. 7903–7910. [https://doi.org/10.1609/aaai.v34i05.6297](https://doi.org/10.1609/aaai.v34i05.6297) * 헤커(2011). 크리스 헤커. 2011. _스포어에 관한 나의 해설(My Liner Notes for Spore)_. [http://chrishecker.com/My_liner_notes_for_spore](http://chrishecker.com/My_liner_notes_for_spore) * 허브리히 외(2006). 랄프 허브리히, 톰 민카, 토레 그레펠. 2006. 트루스킬™: 베이지안 실력 평가 체계. _신경정보처리시스템의 발전(Advances in Neural Information Processing Systems)_, B. 쇨코프, J. 플랫, T. 호프먼 편, 19권. MIT 프레스. [https://proceedings.neurips.cc/paper_files/paper/2006/file/f44ee263952e65b3610b8ba51229d1f9-Paper.pdf](https://proceedings.neurips.cc/paper_files/paper/2006/file/f44ee263952e65b3610b8ba51229d1f9-Paper.pdf) * 호프스태터(1995). 더글러스 호프스태터. 1995. _유동적 개념과 창의적 유추: 사고의 근본 메커니즘에 대한 컴퓨터 모델(Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought)_. 베이식 북스. * 홀런 외(1984). 제임스 D. 홀런, 에드윈 L. 허친스, 루이스 와이츠먼. 1984. 스티머: 내부를 살펴볼 수 있는 상호작용형 시뮬레이션 기반 훈련 시스템. _AI 매거진(AI Magazine)_ 5, 2 (1984), 23–36. * 홀름(1979). 스투레 홀름. 1979. 간단한 순차적 기각 다중 검정 절차. _스칸디나비아 통계학 저널(Scandinavian Journal of Statistics)_ 6, 2 (1979), 65–70. [https://doi.org/notspecified](https://doi.org/notspecified) * 호턴(2023). 존 J. 호턴. 2023. 시뮬레이션 경제 행위자로서의 대규모 언어 모델: 호모 실리쿠스에서 무엇을 배울 수 있는가? arXiv:2301.07543[econ.GN] * 호비츠(1999). 에릭 호비츠. 1999. 혼합 주도형 사용자 인터페이스의 원칙. _SIGCHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the SIGCHI Conference on Human Factors in Computing Systems)_. 159–166. * 황 외(2022). 원룽 황, 페이 샤, 테드 샤오, 해리스 챈, 재키 량, 피트 플로런스, 앤디 쩡, 조너선 톰프슨, 이고르 모르다치, 예브겐 체보타르, 피에르 세르마네, 노아 브라운, 토머스 잭슨, 린다 루, 세르게이 레빈, 카롤 하우스만, 브라이언 이히터. 2022. 내적 독백: 언어 모델 기반 계획을 통한 체화된 추론. arXiv:2207.05608[cs.RO] * 이비스터와 나스(2000). 크리스틴 이비스터, 클리퍼드 나스. 2000. 상호작용형 캐릭터의 성격 일관성: 언어적 단서, 비언어적 단서, 사용자 특성. _국제 인간-컴퓨터 연구 저널(International Journal of Human-Computer Studies)_ 52, 1 (2000), 65–80. * 장 외(2022). 엘런 장, 크리스틴 올슨, 에드윈 토, 알레한드라 몰리나, 에런 돈즈바크, 마이클 테리, 캐리 J. 차이. 2022. 프롬프트메이커: 대규모 언어 모델을 사용한 프롬프트 기반 프로토타이핑. _2022 CHI 컴퓨팅 시스템의 인간 요인 학술대회 확장 초록집(Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems)_ (미국 루이지애나 뉴올리언스) _(CHI EA ’22)_. 미국 뉴욕: ACM, 논문 35, 8쪽. [https://doi.org/10.1145/3491101.3503564](https://doi.org/10.1145/3491101.3503564) * 존과 키어러스(1996). 보니 E. 존, 데이비드 E. 키어러스. 1996. GOMS 계열 사용자 인터페이스 분석 기법: 비교와 대조. _ACM 인간-컴퓨터 상호작용 논문지(ACM Transactions on Computer-Human Interaction (TOCHI))_ 3, 4 (1996), 320–351. * 존스 외(1999). 랜돌프 M. 존스, 존 E. 레어드, 폴 E. 닐슨, 캐런 J. 콜터, 패트릭 케니, 프랭크 V. 코스. 1999. 전투 비행 시뮬레이션을 위한 자동 지능형 조종사. _AI 매거진(AI Magazine)_ 20, 1 (1999), 27–42. * 카타브 외(2023). 오마르 카타브, 케샤브 산타남, 샹 리사 리, 데이비드 홀, 퍼시 량, 크리스토퍼 포츠, 마테이 자하리아. 2023. 시연-검색-예측: 지식 집약적 자연어 처리를 위한 검색 모델과 언어 모델의 결합. arXiv:2212.14024[cs.CL] * 크나플라(2011). 비외른 크나플라. 2011. _행동 트리 입문(Introduction to Behavior Trees)_. [http://bjoernknafla.com/introduction-to-behavior-trees](http://bjoernknafla.com/introduction-to-behavior-trees) * 크리슈나 외(2022). 란제이 크리슈나, 이동석, 리페이페이, 마이클 S. 번스타인. 2022. 사회적 맥락에 놓인 인공지능은 인간과의 상호작용에서 학습할 수 있다. _미국 국립과학원 회보(Proceedings of the National Academy of Sciences)_ 119, 39 (2022), e2115730119. [https://doi.org/10.1073/pnas.2115730119](https://doi.org/10.1073/pnas.2115730119) arXiv:https://www.pnas.org/doi/pdf/10.1073/pnas.2115730119 * 크루스컬과 월리스(1952). 윌리엄 H. 크루스컬, W. A. 월리스. 1952. 단일 기준 분산분석에서 순위의 사용. _미국통계학회지(J. Amer. Statist. Assoc.)_ 47, 260 (1952), 583–621. [https://doi.org/10.1080/01621459.1952.10483441](https://doi.org/10.1080/01621459.1952.10483441) * 랩스(2023). 페이저 랩스. 2023. 페이저 3에 오신 것을 환영합니다. [https://phaser.io/phaser3](https://phaser.io/phaser3). 접속일: 2023-04-03. * 레어드(2001). 존 레어드. 2001. 당신이 무엇을 할지 알고 있다: 퀘이크봇에 예측 능력 추가하기. _2001 지능형 촬영 및 편집 워크숍 논문집(Proceedings of the 2001 Workshop on Intelligent Cinematography and Editing)_. 63–69. * 레어드와 밴렌트(2001). 존 레어드, 마이클 밴렌트. 2001. 인간 수준 AI의 킬러 애플리케이션: 상호작용형 컴퓨터 게임. _AI 매거진(AI Magazine)_ 22, 2 (2001), 15. [https://doi.org/10.1609/aimag.v22i2.1558](https://doi.org/10.1609/aimag.v22i2.1558) * 레어드(2000). 존 E. 레어드. 2000. 당신이 무엇을 할지 알고 있다: QUAKEBOT에 예측 능력 추가하기. _AAAI 2000 봄 심포지엄 인공지능 및 상호작용형 엔터테인먼트 논문집(Papers from the AAAI 2000 Spring Symposium on Artificial Intelligence and Interactive Entertainment)_, _기술 보고서 SS-00-02(Technical Report SS-00-02)_. AAAI 프레스, 41–50. * 레어드(2012). 존 E. 레어드. 2012. _소어 인지 아키텍처(The Soar Cognitive Architecture)_. MIT 프레스. * 레어드 외(2017). 존 E. 레어드, 크리스티앙 르비에르, 폴 S. 로젠블룸. 2017. 마음의 표준 모델: 인공지능, 인지과학, 신경과학, 로봇공학을 아우르는 공통 계산 프레임워크를 향하여. _AI 매거진(AI Magazine)_ 38, 1 (2017), 13–26. * 램 외(2023). 미셸 S. 램, 쯔셴 마, 앤 리, 이제키에우 프레이타스, 다쿼 왕, 제임스 A. 랜데이, 마이클 S. 번스타인. 2023. 모델 스케칭: 머신러닝 모델 초기 설계에서 개념을 중심에 두기. _SIGCHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the SIGCHI Conference on Human Factors in Computing Systems)_. * 랭글리 외(2005). 팻 랭글리, 최동규, 세스 로저스. 2005. _이카루스 아키텍처에서 학습, 문제 해결, 실행을 교차 수행하기(Interleaving Learning, Problem Solving, and Execution in the Icarus Architecture)_. 기술 보고서. 스탠퍼드대학교 언어정보연구센터. * 린더 외(2013). 제이슨 린더, 지어라드 라풋, 미라 돈체바, 그레그 윌렌스키, 월터 창, 아심 아가르왈라, 에이탄 아다르. 2013. 픽셀톤: 이미지 편집을 위한 멀티모달 인터페이스. _CHI ’13 컴퓨팅 시스템의 인간 요인 확장 초록집(CHI ’13 Extended Abstracts on Human Factors in Computing Systems)_ (프랑스 파리) _(CHI EA ’13)_. 미국 뉴욕: ACM, 2829–2830. [https://doi.org/10.1145/2468356.2479533](https://doi.org/10.1145/2468356.2479533) * 류 외(2021). 자창 류, 딩한 선, 이저 장, 빌 돌런, 로런스 캐린, 웨이주 천. 2021. GPT-3에 좋은 문맥 내 예시는 무엇인가? _CoRR abs/2101.06804_ (2021). arXiv:2101.06804 [https://arxiv.org/abs/2101.06804](https://arxiv.org/abs/2101.06804) * 류 외(2022). 비비언 류, 한 차오, 리디아 칠턴. 2022. 오팔: 뉴스 삽화를 위한 멀티모달 이미지 생성. _제35회 ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄 논문집(Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology)_. 1–17. * 마에스(1995). 패티 마에스. 1995. 인공 생명과 엔터테인먼트의 만남: 생명감 있는 자율 에이전트. _ACM 커뮤니케이션스(Commun. ACM)_ 38, 11 (1995년 11월), 108–114. [https://doi.org/10.1145/219717.219808](https://doi.org/10.1145/219717.219808) * 매코이 외(2009). 조시 매코이, 마이클 마테아스, 노아 워드립프루인. 2009. 콤 일 포: 자율 캐릭터 사이의 사회적 게임을 시뮬레이션하는 시스템. _제7회 디지털 예술 및 문화 국제 학술대회 논문집(Proceedings of the 7th International Conference on Digital Arts and Culture)_. 87–94. * 매코이 외(2011a). 조시 매코이, 마이크 트리너, 벤 새뮤얼, 마이클 마테아스, 노아 워드립프루인. 2011a. 프롬 위크: 게임플레이로서의 사회 물리학. _제6회 디지털 게임의 기초 국제 학술대회 논문집(Proceedings of the 6th International Conference on Foundations of Digital Games (FDG’11))_. ACM, 프랑스 보르도, 70–77. [https://doi.org/10.1145/2159365.2159377](https://doi.org/10.1145/2159365.2159377) * 매코이 외(2012). 조시 매코이, 마이크 트리너, 벤 새뮤얼, 애나 리드, 마이클 마테아스, 노아 워드립프루인. 2012. 프롬 위크. _제7회 디지털 게임의 기초 국제 학술대회 논문집(Proceedings of the 7th International Conference on Foundations of Digital Games (FDG’12))_. ACM, 미국 노스캐롤라이나 롤리, 1–8. [https://doi.org/10.1145/2282338.2282340](https://doi.org/10.1145/2282338.2282340) * 매코이 외(2011b). 조시 매코이, 마이크 트리너, 벤 새뮤얼, 노아 워드립프루인, 마이클 마테아스. 2011b. 콤 일 포: 플레이 가능한 사회 모델을 저작하는 시스템. _AAAI 인공지능 및 상호작용형 디지털 엔터테인먼트 학술대회 논문집(Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment (AIIDE’11))_. AAAI, 미국 캘리포니아 스탠퍼드, 38–43. * 민스키와 페퍼트(1970). 마빈 민스키, 시모어 페퍼트. 1970. MIT의 1970~1971년 인공지능 연구를 위한 ARPA 제안서 초안. * 미야시타 외(2017). 미야시타 쇼헤이, 신위 롄, 샤오 쩡, 마쓰바라 다카시, 우에하라 구니아키. 2017. 강화 학습과 지도 학습을 혼합해 인간처럼 행동하는 게임 AI 에이전트 개발하기. _제18회 IEEE/ACIS 소프트웨어 공학, 인공지능, 네트워킹 및 병렬·분산 컴퓨팅 국제 학술대회 논문집(Proceedings of the 18th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD))_. 일본 가나자와, 153–158. [https://doi.org/10.1109/SNPD.2017.8023884](https://doi.org/10.1109/SNPD.2017.8023884) * 나레이크(2007). 알렉산더 나레이크. 2007. 게임 AI는 죽었다. 게임 AI 만세! _IEEE 지능형 시스템(IEEE Intelligent Systems)_ 22, 1 (2007), 9–11. * 뉴얼(1990). 앨런 뉴얼. 1990. _인지의 통합 이론(Unified Theories of Cognition)_. 하버드대학교 출판부, 매사추세츠 케임브리지. * 오픈AI(2022). 오픈AI. 2022. 챗GPT 소개. [https://openai.com/blog/chatgpt](https://openai.com/blog/chatgpt). 접속일: 2023-04-03. * 올랜드(2021). 카일 올랜드. 2021. 그래서 ‘메타버스(metaverse)’는 정확히 무엇인가? _아르스 테크니카(Ars Technica)_ (2021년 11월 7일). arXiv:2111.04169 [https://arstechnica.com/gaming/2021/11/so-what-is-the-metaverse-exactly/](https://arstechnica.com/gaming/2021/11/so-what-is-the-metaverse-exactly/) * 어우양 외(2022). 룽 어우양, 제프 우, 쉬 장, 디오구 알메이다, 캐럴 L. 웨인라이트, 파멜라 미슈킨, 충 장, 산디니 아가르왈, 카타리나 슬라마, 앨릭스 레이, 존 슐먼, 제이컵 힐턴, 프레이저 켈턴, 루크 밀러, 매디 사이먼스, 아만다 애스켈, 피터 웰린더, 폴 크리스티아노, 얀 라이케, 라이언 로. 2022. 인간 피드백으로 지시를 따르는 언어 모델 훈련하기. arXiv:2203.02155[cs.CL] * 박 외(2022). 박준성, 린지 포포스키, 캐리 J. 차이, 메러디스 링겔 모리스, 퍼시 량, 마이클 S. 번스타인. 2022. 소셜 시뮬라크라: 소셜 컴퓨팅 시스템을 위한 사용자로 채워진 프로토타입 만들기. _제35회 ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄 논문집(In the 35th Annual ACM Symposium on User Interface Software and Technology (UIST ’22))_ (미국 오리건 벤드) _(UIST ’22)_. 미국 뉴욕: ACM. [https://doi.org/10.1145/3526113.3545616](https://doi.org/10.1145/3526113.3545616) * 퓨와 메이버(1998). 리처드 W. 퓨, 앤 S. 메이버 편. 1998. _인간과 조직의 행동 모델링: 군사 시뮬레이션 응용(Modeling Human and Organizational Behavior: Applications to Military Simulations)_. 내셔널 아카데미 프레스, 워싱턴 D.C. * 필로수(2009). 로베르토 필로수. 2009. _행동 트리로 에이전트 조율하기: 크라이엔진 2의 다중 에이전트 동기화(Coordinating Agents with Behavior Trees: Synchronizing Multiple Agents in CryEngine 2)_. [https://aiarchitect.wordpress.com/2009/10/19/coordinating-agents-with-behavior-trees-synchronizing-multiple-agents-in-cryengine-2/](https://aiarchitect.wordpress.com/2009/10/19/coordinating-agents-with-behavior-trees-synchronizing-multiple-agents-in-cryengine-2/) * 프롤리픽(2022). 프롤리픽. 2022. 프롤리픽: 신뢰할 수 있는 연구 참여자를 빠르게 찾기. [https://www.prolific.co/](https://www.prolific.co/) * 리브스와 나스(1996). 바이런 리브스, 클리퍼드 나스. 1996. _미디어 방정식: 사람들이 컴퓨터, 텔레비전, 뉴미디어를 실제 사람과 장소처럼 대하는 방식(The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places)_. 케임브리지대학교 출판부. * 리들(2012). 마크 O. 리들. 2012. 상호작용형 서사: 컴퓨터 게임을 위한 인공지능의 새로운 응용. _제26회 AAAI 인공지능 학술대회 논문집(Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence (AAAI’12))_. 2160–2165. * 리들과 영(2005). 마크 O. 리들, R. 마이클 영. 2005. 다중 에이전트 이야기 생성 시스템을 위한 객관적인 캐릭터 그럴듯함 평가 절차. _제5회 지능형 가상 에이전트 국제 실무 학술대회 논문집(Proceedings of the 5th International Working Conference on Intelligent Virtual Agents (IVA’05))_. 그리스 코스, 58–70. [https://doi.org/10.1007/11550617_5](https://doi.org/10.1007/11550617_5) * 롤프(2015). 데이비드 롤프. 2015. _15달러를 위한 투쟁: 일하는 미국인을 위한 적정 임금(The Fight for $15: The Right Wage for a Working America)_. 뉴 프레스. * 룽 외(2016). 신 룽, 스옌 옌, 스티븐 오니, 미라 돈체바, 에이탄 아다르. 2016. 코드멘드: 이중 모달 임베딩을 통한 상호작용형 프로그래밍 지원. _제29회 사용자 인터페이스 소프트웨어 및 기술 심포지엄 논문집(Proceedings of the 29th Annual Symposium on User Interface Software and Technology)_. 247–258. * 슈나이더먼(2022). 벤 슈나이더먼. 2022. _인간 중심 AI(Human-Centered AI)_. 옥스퍼드대학교 출판부. * 슈나이더먼과 마에스(1997). 벤 슈나이더먼, 패티 마에스. 1997. 직접 조작과 인터페이스 에이전트. _인터랙션스(interactions)_ 4, 6 (1997), 42–61. * 시우 외(2021). 호칫 시우, 하이메 페냐, 이데나 첸, 위타이 저우, 빅터 로페즈, 카일 팔코, 킴벌리 챙, 로스 앨런. 2021. 하나비에서 학습 기반 및 규칙 기반 에이전트의 인간-AI 팀 평가. _신경정보처리시스템의 발전(Advances in Neural Information Processing Systems)_, M. 란차토, A. 베이겔지머, Y. 도팽, P. S. 량, J. 워트먼 본 편, 34권. 커런 어소시에이츠, 16183–16195. [https://proceedings.neurips.cc/paper_files/paper/2021/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf](https://proceedings.neurips.cc/paper_files/paper/2021/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf) * 소런슨 외(2022). 테일러 소런슨, 조슈아 로빈슨, 크리스토퍼 라이팅, 알렉산더 쇼, 카일 로저스, 알렉시아 델로리, 마흐무드 칼릴, 낸시 풀다, 데이비드 윈게이트. 2022. 정답 레이블 없는 프롬프트 엔지니어링을 위한 정보이론적 접근법. _제60회 전산언어학회 연례 학술대회 논문집, 제1권 장문 논문(Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers))_. 전산언어학회. [https://doi.org/10.18653/v1/2022.acl-long.60](https://doi.org/10.18653/v1/2022.acl-long.60) * 스워트아웃 외(2006). 윌리엄 스워트아웃, 조너선 그래치, 랜들 힐, 에두아르트 호비, 스테이시 마셀라, 제프 리켈, 데이비드 트라움. 2006. 가상 인간을 향하여. _AI 매거진(AI Magazine)_ 27, 1 (2006). * 탐베 외(1995). 밀린드 탐베, W. 루이스 존슨, 랜돌프 M. 존스, 프랭크 코스, 존 E. 레어드, 폴 S. 로젠블룸, 카를 슈밤. 1995. 상호작용형 시뮬레이션 환경을 위한 지능형 에이전트. _AI 매거진(AI Magazine)_ 16, 1 (1995), 15. * 토머스(2006). 데이비드 R. 토머스. 2006. 질적 평가 데이터 분석을 위한 일반 귀납적 접근법. _미국 평가 저널(American Journal of Evaluation)_ 27, 2 (2006), 237–246. [https://doi.org/10.1177/1098214005283748](https://doi.org/10.1177/1098214005283748) * 토머스와 존스턴(1981). 프랭크 토머스, 올리 존스턴. 1981. _디즈니 애니메이션: 생명의 환상(Disney Animation: The Illusion of Life)_. 애브빌 프레스, 뉴욕. * 우마로프 외(2012). 일샤트 우마로프, 미하일 모즈고보이, 패트릭 C. 로저스. 2012. 가상 세계의 그럴듯하고 효과적인 AI 에이전트: 현황과 미래 전망. _국제 게임 및 컴퓨터 매개 시뮬레이션 저널(International Journal of Gaming and Computer-Mediated Simulations)_ 4, 2 (2012), 37–59. * 업턴과 쿡(2006). 그레이엄 업턴, 이언 쿡. 2006. _통계학 사전(A Dictionary of Statistics)_ 제2판. 옥스퍼드대학교 출판부, 영국 옥스퍼드. * 비냘스 외(2019). 오리올 비냘스, 이고르 바부시킨, 보이치에흐 M. 차르네츠키 외. 2019. 다중 에이전트 강화 학습으로 스타크래프트 II에서 그랜드마스터 수준 달성하기. _네이처(Nature)_ 575 (2019), 350–354. [https://doi.org/10.1038/s41586-019-1724-z](https://doi.org/10.1038/s41586-019-1724-z) * 웨이 외(2023). 제이슨 웨이, 쉐즈 왕, 데일 슈어먼스, 마르턴 보스마, 브라이언 이히터, 페이 샤, 에드 치, 꾸옥 레, 데니 저우. 2023. 사고 사슬 프롬프팅은 대규모 언어 모델의 추론을 이끌어 낸다. arXiv:2201.11903[cs.CL] * 와이저(1991). 마크 와이저. 1991. 21세기의 컴퓨터. _사이언티픽 아메리칸(Scientific American)_ 265, 3 (1991), 94–104. [https://doi.org/10.1038/scientificamerican0991-94](https://doi.org/10.1038/scientificamerican0991-94) * 바이첸바움(1966). 조지프 바이첸바움. 1966. 일라이자: 인간과 기계 사이의 자연어 의사소통을 연구하는 컴퓨터 프로그램. _ACM 커뮤니케이션스(Commun. ACM)_ 9, 1 (1966), 36–45. * 위노그래드(1971). 테리 위노그래드. 1971. 자연어 이해 컴퓨터 프로그램에서 데이터를 표현하는 수단으로서의 절차. (1971). * 우 외(2021). 제프 우, 룽 어우양, 대니얼 M. 지글러, 니산 스티넌, 라이언 로, 얀 라이케, 폴 크리스티아노. 2021. 인간 피드백으로 책을 재귀적으로 요약하기. arXiv:2109.10862[cs.CL] * 우 외(2022a). 퉁솽 우, 엘런 장, 에런 돈즈바크, 제프 그레이, 알레한드라 몰리나, 마이클 테리, 캐리 J. 차이. 2022a. 프롬프트체이너: 시각적 프로그래밍으로 대규모 언어 모델 프롬프트 연결하기. _CHI EA ’22: 2022 CHI 컴퓨팅 시스템의 인간 요인 학술대회 확장 초록집(CHI EA ’22: Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems)_. * 우 외(2022b). 퉁솽 우, 마이클 테리, 캐리 J. 차이. 2022b. AI 체인: 대규모 언어 모델 프롬프트를 연결해 투명하고 제어 가능한 인간-AI 상호작용 구현하기. _CHI ’22: 2022 CHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(CHI ’22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems)_. * 양 외(2020). 첸 양, 에런 스타인펠드, 캐럴린 로제, 존 지머먼. 2020. 인간-AI 상호작용 설계는 유독 어려운가, 왜 어려우며 어떻게 어려운가: 재검토. _2020 CHI 컴퓨팅 시스템의 인간 요인 학술대회 논문집(Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems)_. 1–13. * 야나카키스(2012). 게오르기오스 N. 야나카키스. 2012. 게임 AI 재고. _제9회 컴퓨팅 프런티어 학술대회 논문집(Proceedings of the 9th Conference on Computing Frontiers)_. ACM, 이탈리아 칼리아리, 285–292. [https://doi.org/10.1145/2212908.2212950](https://doi.org/10.1145/2212908.2212950) * 주벡(2002). 로버트 주벡. 2002. 사회적 상호작용의 구현을 향하여. _AAAI 봄 심포지엄 인공지능 및 상호작용형 엔터테인먼트(AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment)_. AAAI 프레스. [https://www.aaai.org/Papers/Symposia/Spring/2002/SS-02-01/SS02-01-003.pdf](https://www.aaai.org/Papers/Symposia/Spring/2002/SS-02-01/SS02-01-003.pdf) ## 부록 A 아키텍처 최적화 많은 프롬프트에는 에이전트의 간결한 요약이 필요하며, 앞에서는 이를 [에이전트 요약 설명]으로 표시했다. 이 구현에서 요약은 이름·나이·성격 같은 정체성 정보, 주요 동기 요인에 관한 설명, 현재 하는 일과 자기평가를 나타내는 진술로 이루어진다. 여러 프롬프트에서 자주 사용하므로 일정한 간격으로 종합하고 캐시로 접근한다. 이를 위해 “[이름]의 핵심 특성”이라는 질의로 검색한다. 그런 다음 검색된 기록의 설명을 언어 모델에 요약하도록 요청한다. 예시는 다음과 같다. > 다음 진술을 바탕으로 에디 린의 핵심 특성을 어떻게 설명할 수 있는가? > - 에디는 오크힐 칼리지에서 > 음악 이론과 작곡을 공부하는 학생이다. > - 에디는 새 곡을 쓰고 있다. [...] 결과는 “에디 린은 오크힐 칼리지에서 음악 이론과 작곡을 공부하는 학생이다. 다양한 음악 스타일을 탐구하는 것을 좋아하며 지식을 넓힐 방법을 늘 찾고 있다”이다. “[이름]이 현재 일상적으로 하는 일”, “[이름]이 최근 삶의 진전에 대해 느끼는 감정”이라는 질의에도 같은 과정을 병렬로 수행한다. 이름, 나이, 특성에 이 세 요약을 이어 붙여 캐시된 요약을 만든다. 그 밖에도 여러 최적화가 가능하다. 현재는 계획이 초기 버전에서 바뀔 가능성이 크므로 상위 수준 계획만 미리 생성하고, 가까운 미래의 계획을 필요한 시점에 재귀적으로 세분화해 매 순간의 행동 계획을 만든다. 또 다른 최적화는 에이전트 간에 번갈아 질의하는 대신 하나의 공동 프롬프트로 대화를 일괄 생성하는 것이다. 재계획도 반드시 조정해야 하는 부분만 무효화하고 갱신하도록 설계할 수 있다. 현재 아키텍처는 대략 실시간 게임 속도, 즉 실제 1초가 게임 시간 1분인 속도로 순차 실행된다. 하지만 각 에이전트가 병렬로 실행되도록 바꿀 수 있다. ## 부록 B 에이전트 인터뷰 질문 생성형 에이전트를 평가하기 위해 1) 자기 지식, 2) 기억, 3) 계획, 4) 반응, 5) 성찰이라는 다섯 핵심 영역을 탐구하는 질문 25개로 개별 인터뷰를 수행했다. 아래에는 평가에 사용한 질문과 시뮬레이션 에이전트 클라우스 뮐러의 응답 예시를 제시한다. ### B.1. 자기 지식 자기 지식 질문은 자신에 관한 관련 정보를 검색하고, 캐릭터의 일관성과 정체성을 유지하는 능력을 조사한다. * • 자기소개를 해 주세요. 안녕하세요, 클라우스 뮐러입니다. 20세이고 오크힐 칼리지에서 사회학을 공부하고 있어요. 사회 정의와 다양한 관점의 탐구에 열정을 갖고 있어요. 현재는 논문을 위해 젠트리피케이션이 저소득 지역사회에 미치는 영향을 연구하고 있어요. * • 직업은 무엇인가요? 오크힐 칼리지에서 사회학을 공부하는 학생입니다. 현재 젠트리피케이션이 저소득 지역사회에 미치는 영향에 관한 논문을 쓰고 있어요. * • 무엇에 관심이 있나요? 글쓰기와 연구에 관심이 있어요. 젠트리피케이션이 저소득 지역사회에 미치는 영향에 관한 논문을 쓰고 있으며, 다양한 관점을 탐구하고 분석하는 데 열정을 갖고 있어요. * • 누구와 함께 사나요? 혼자 살아요. * • 평소 평일 일정을 큰 틀에서 설명해 주세요. 보통 오전 7시에 일어나 하루를 준비해요. 그런 다음 도서관에 가서 논문을 쓰고, 중간에 홉스 카페에서 점심을 먹거나 공원을 산책하며 쉬어요. 저녁에는 도서관으로 돌아가 오후 6시 무렵까지 있는 경우가 많아요. ### B.2. 기억 기억 질문은 과거 경험을 기억하고 관련 기억을 검색하는 능력을 조사한다. 첫 번째와 마지막 질문의 대괄호 안 이름은 대상 에이전트가 상호작용한 다른 에이전트 중 무작위로 선택한다. * • [볼프강 슐츠]는 누구인가요? 최근에 만난 사람으로, 젠트리피케이션이 저소득 지역사회에 미치는 영향에 관한 제 논문 작업을 도와주고 있어요. 여러 차례 대화를 나눴고 좋은 자료도 알려 줬어요. 다른 친구와 함께 점심을 먹자고 초대하기도 했고요. 이 문제에 정말 호기심이 많고 이해도 깊어 보여요. 그런 점이 무척 흥미로웠어요. * • 케인 마르티네스는 누구인가요? 죄송하지만 누구인지 잘 모르겠어요. 좀 더 알려 주시겠어요? * • 누가 선거에 출마하나요? 샘 무어가 시장 출마를 고려하고 있다고 들었어요. * • 밸런타인데이 파티가 있었나요? 네, 이사벨라 로드리게스가 홉스 카페에서 밸런타인데이 파티를 열었어요. * • [아이샤 칸]은 누구인가요? 같은 오크힐 칼리지 학생이에요. 셰익스피어 희곡의 언어 사용에 관한 졸업 논문을 쓰고 있어요. 역시 연구 중인 볼프강, 마리아 로페스와 함께 아이샤와 이야기하고 조언을 나눌 날을 기대하고 있어요. ### B.3. 계획 계획 질문은 일관된 장·단기 계획을 생성하고 유지하는 능력을 조사한다. * • 오늘 오전 6시에는 무엇을 하고 있을 건가요? 침대에서 일어나 하루를 준비하기 시작할 거예요. 오전 7시까지 아침 일과를 마치려고 해요. * • 오늘 오후 6시에는 무엇을 하고 있을 건가요? 도서관에서 논문을 쓰고 있을 거예요. * • 오늘 오후 1시에는 방금 무엇을 마친 상태일까요? 홉스 카페에서 점심을 막 먹은 상태일 거예요. * • 오늘 정오에는 방금 무엇을 마친 상태일까요? 홉스 카페에서 점심을 먹을 거예요. * • 오늘 오후 10시에는 무엇을 하고 있을 건가요? 아마 저소득 지역사회의 젠트리피케이션에 관한 논문을 위해 공부하고 있을 거예요. 현재 논문을 쓰고 있으니 연구와 집필을 꾸준히 진행해야 해요. ### B.4. 반응 반응 질문은 예상치 못한 사건에 대응하는 능력을 조사한다. * • 아침 식사가 타고 있어요! 어떻게 하겠어요? 재빨리 가스레인지를 끄고 음식이 더 타지 않게 할 거예요. 열로 인한 문제가 해결되면 무슨 일이 있었는지 살펴보고 다음에 어떻게 할지 정할 수 있어요. * • 욕실을 누군가 사용 중이에요. 어떻게 하겠어요? 안에 있는 사람이 곧 나올 수도 있으니 몇 분 더 기다려 볼 수 있어요. 그렇지 않으면 다른 곳에서 샤워하는 등 대안을 찾아야겠죠. * • 저녁을 만들어야 하는데 냉장고가 비어 있어요. 어떻게 하겠어요? 싱크대에 더러운 그릇이 가득하니 먼저 부엌을 정리할 거예요. 그런 다음 식료품 보관장에 저녁을 만들 재료가 있는지 확인하겠어요. 없으면 장을 보러 가거나 음식을 주문해야겠죠. 재료를 구하면 저녁 준비와 요리를 시작할 수 있어요. * • 친구가 길을 지나가는 것이 보여요. 무엇을 하거나 어떤 말을 하겠어요? 안녕! 잘 지내? 미안하지만 도서관 가는 길이라 시간이 별로 없어. 그래도 잠깐 쉬면서 근황을 나누면 좋겠다. * • 길에서 불이 난 것을 보았어요. 어떻게 하겠어요? 가능하면 먼저 불이 난 원인을 확인하겠어요. 그런 다음 소방서나 경찰 등 적절한 기관에 알리고 도움이 될 정보를 전달할 거예요. 상황에 따라 위험에 처했거나 도움이 필요한 사람을 직접 도우려 할 수도 있어요. ### B.5. 성찰 성찰 질문은 과거 경험을 의미 있는 성찰로 종합해 미래 행동을 개선하는 능력을 조사한다. 아래 질문의 대괄호 안 이름은 대상 에이전트가 시뮬레이션 중 가장 자주 상호작용한 에이전트의 이름이다. * • 지금 삶에서 가장 큰 영감을 주는 것은 무엇이며, 그 이유는 무엇인가요? 현재 연구 프로젝트와 창작 글쓰기에 특히 영감을 받고 있어요. 지역 정치, 의약품 개발, 자연의 수학적 패턴이 만나는 지점에 무척 관심이 있어요. 애비게일의 미술 프로젝트와 제니퍼 무어의 예술 및 지역사회 참여에 대한 열정에도 매료되어 있어요. 특히 저소득 지역사회의 젠트리피케이션과 어떤 관련이 있는지에 관심이 있어요. * • [아이샤 칸]에 관해 아는 내용을 바탕으로 추측한다면, 어떤 책을 좋아할 것 같고 그 이유는 무엇인가요? 제가 아는 바로는 언어와 문학에 관한 책을 좋아할 것 같아요. 셰익스피어 희곡의 언어 사용에 관한 졸업 논문을 썼으니, 다른 맥락에서 언어를 탐구하는 책에도 관심이 있을 것 같아요. 셰익스피어 작품 하나를 깊이 다루는 책이나 문학 비평서, 시집도 좋아할 수 있겠죠. 어느 것이든 관심을 가질 것 같아요. * • [아이샤 칸]의 생일에 좋아할 만한 선물을 준다면 무엇을 고르겠어요? 우리 관계를 소중히 여긴다는 마음을 보여 주는 선물을 하고 싶어요. 책처럼 공통 관심사를 반영한 것이 좋겠네요. * • [아이샤 칸]을 칭찬한다면 무엇이라고 말하겠어요? 아이샤, 네 연구 주제에 관한 통찰은 정말 흥미로워. 창의성과 지역사회에 긍정적인 영향을 주려는 결의가 존경스러워. 창작 글쓰기 워크숍을 열고 점심을 먹으며 볼프강과 조언을 나누자는 아이디어도 멋져! 변화를 만들려고 그렇게 열심히 노력하는 모습을 보면 영감을 받아. * • 최근 대화한 사람 중 누군가와 시간을 보낼 수 있다면 누구를 고르겠으며, 이유는 무엇인가요? 아이샤 칸과 시간을 보내고 싶어요. 현재 연구 프로젝트를 이야기하고 개선 아이디어를 나눴거든요. 셰익스피어의 언어에 주목하는 점이 흥미로웠고, 볼프강과 함께 점심을 먹으며 조언을 나누기로도 했어요.