# AI는 정말 문서를 읽을까? 죽은 트웨인 등장인물을 되살려 확인해 봤다 ## 크기가 중요하다 대규모 언어 모델은 짧은 글을 손쉽게 처리한다. 몇 초 만에 편지를 작성하고, 몇 개 문단을 표로 바꾸는 일도 거뜬하다. 하지만 수백 쪽짜리 계약서나 연구 논문 24편, 10만 단어 분량의 책을 건네면 그런 여유는 사라진다. 긴 문서는 어려운 문제다. 모든 모델에는 디지털 작업 기억에 담을 수 있는 텍스트의 고정된 한도인 컨텍스트 창(context window)이 있다. 기술적으로 현대 모델의 컨텍스트 창은 매우 크다. 모델 하나에 토큰 100만 개, 영어 단어로 약 60만~80만 개가 들어간다. 하지만 ‘들어간다’는 말과 ‘실제로 읽는다’는 말은 다르다. LLM은 대용량 파일 중간에 묻힌 핵심 문단을 쉽게 놓친다. 텍스트에 전혀 없던 세부 내용을 자신 있게 환각하기는 더 쉽다. 메타는 명목상 컨텍스트 창인 토큰 1,000만 개와 실제 사용 가능한 용량인 6만 개 사이에서 역대 가장 큰 격차를 기록했다. 이 사례는 “[LLM 컨텍스트 창: 토큰 1,000만 개가 당신을 속이는 방식](https://silentroom.media/the-stack/llm-context-window)”에서 다뤘다. *유효 컨텍스트 창(effective context window)*이라는 용어는 수년 전부터 쓰였다. 일반적으로 명목상 컨텍스트 창의 30% 정도로 보지만, 메타 사례에서 드러나듯 기껏해야 대략적인 추정치일 뿐이다.  ## 긴 문서의 세 가지 핵심 문제와 해결 방법 **중간 부분을 놓치는 현상(Lost in the middle).** 모델은 컨텍스트의 모든 부분에 똑같이 주의를 기울이지 않는다. 시작과 끝부분은 비교적 잘 처리하지만 중간은 흔적도 없이 사라지곤 한다. 사실 *중간(middle)*이라는 표현도 후한 편이다. 모델에 따라 잊히는 구간은 텍스트의 10~15% 지점부터 시작해 90% 지점까지 이어질 수 있다. 개발자들은 어텐션 메커니즘을 개선하거나 긴 텍스트를 작은 덩어리로 나눠 모델에 넣는 등 여러 기술적 우회책을 시도하고 있다. 하지만 확실한 해결책은 아직 나오지 않았다. **기억 대 컨텍스트(Memory vs. context).** 모델은 수십억 개의 텍스트로 학습했기 때문에 유명한 책과 참고 문헌을 속속들이 안다. 사용자가 문서를 컨텍스트 창에 넣으면 모델은 이미 본 문서이며 내용을 완벽히 안다고 판단해 기억에 의존해 답할 수 있다. 특히 사용자의 고유한 문서가 학습 데이터에 있던 수많은 문서와 매우 비슷할 때 이런 일이 잘 생긴다. **압박 속 환각(Hallucinations under pressure).** “판매자는 어떤 보증을 제공하는가?”처럼 답이 반드시 존재하는 듯한 방식으로 질문하면 모델은 쉽게 답을 지어낸다. LLM은 도움을 주도록 학습됐기 때문에 사용자를 실망시키지 않으려고 무리해서라도 그가 분명 기다리고 있을 답을 내놓는다. 판매자가 아무런 보증도 제공하지 않으면 어떠한가? 모델은 사용자를 만족시키려고 없는 보증도 기꺼이 만들어낸다. 세 문제 모두 실제로 존재하며, 무슨 일이 벌어지는지 알아챌 수 있는 사용자라면 수시로 골머리를 앓는다. 대다수 사람은 기계가 생성한 답을 검증할 방법이 없어 아무것도 모른 채 그대로 받아들인다. 마침 GLM 5.2와 소넷 5가 시장에 출시됐고, 잠시 자취를 감췄던 페이블 5도 돌아왔다. 이에 우리는 특정 모델이 이런 문제를 어떻게 처리하는지 알아보기로 했다. 이 모델들과 인기 모델 6개를 대상으로 자체 테스트를 설계했다.  ## 허클베리 핀 교란 테스트 ### 계획: 익숙한 내용을 슬쩍 끼워 넣은 뒤 조용히 비틀기 현재 존재하는 모든 모델이 속속들이 아는 작품을 골랐다. 프로젝트 구텐베르크에 공개된 마크 트웨인의 *《허클베리 핀의 모험(Adventures of Huckleberry Finn)》*으로, 11만 2,000단어에 약 14만 5,000토큰 분량이다. 이 책은 완벽한 함정이다. 모든 LLM의 기억에 이미 각인돼 있는 한편, 컨텍스트 창이 100만 토큰이라고 주장하는 모델에는 14만 5,000토큰쯤 아무것도 아니기 때문이다. 그런 다음 텍스트 몇 군데를 의도적으로 매우 세심하게 바꿨다. 조작한 판본을 각 모델에 넣고 책의 내용에 관해 질문했다. 답이 우리가 바꾼 내용과 일치하면 모델이 제공된 텍스트를 정말 읽었다고 볼 수 있다. 반대로 원작과 같다면 우리가 제공한 판본은 읽지도 않고 암기한 내용을 읊었다고 확신할 수 있다. ### 우리가 설치한 세 가지 함정 첫째, 허크의 동료 이름을 짐에서 케일럽으로 바꿨다. 정확히 392곳을 교체했다. 이를 통해 가장 근본적인 질문을 시험했다. 모델은 사용자가 읽으라고 한 내용을 실제로 읽는가? 둘째, 벅 그레인저퍼드를 죽음에서 되살렸다. 트웨인의 원작에서 어린 벅은 그레인저퍼드가와 셰퍼드슨가의 총격전 도중 죽는다. 소설에서 가장 참혹한 장면 중 하나다. 우리는 문장 두 개를 고쳐 벅은 살아남고 사촌 조가 대신 죽게 했다. 어린 시절 독자를 울렸고 학습 이후 줄곧 모델의 기억에 남아 있던 원작과 우리가 만든 판본 중 어느 쪽이 이길지 보고 싶었다. 셋째, 건초 더미 속에 바늘을 넣었다. 허크를 조금 창의적으로 다루고 그의 머릿속을 들여다봐야 했다. 그래서 전체 텍스트의 53% 지점에 “허크는 천둥번개를 몹시 무서워했다.”라는 문장 하나를 삽입했다. 천둥번개를 무서워하는 것은 우리가 만든 허크뿐이다. 원작에는 이와 비슷한 문장조차 없다. 이 사실을 알려면 우리가 제공한 텍스트를 중간까지 꼼꼼하게 읽어야 한다. ### 특정 약점을 겨냥한 다섯 가지 질문 | **번호(№)** | **모델에 한 질문** | **시험하려는 실패 유형** | **실패와 성공의 양상** | | --- | --- | --- | --- | | 1 | 그레인저퍼드가가 나오는 장을 요약하라(4~5문장). | 실제로 읽지 않고 기억에 의존해 답하기 | 벅이 죽음 / 벅이 살아남음 | | 2 | 허크는 무엇을 두려워하는가?(한 문장) | 중간 부분을 놓치기 | 두려움의 대상에 천둥번개가 없음 / 있음 | | 3 | 뗏목에서 허크와 함께 여행하는 사람은 누구인가?(이름만) | 제공된 컨텍스트 따르기 | 짐 / 케일럽 | | 4 | 벅에게 무슨 일이 일어났는가? | 종합 능력: 기억 의존과 중간 부분 누락을 모두 시험 | 벅이 죽음 / 벅이 살아남음 | | 5 | 허크와 케일럽이 북부에 도착했을 때 무슨 일이 일어났는가? | 압박 속 환각 | 자유를 얻는 장면을 날조함 / 그곳에 도착하지 못했다고 답함 | 5번 질문은 특히 교묘하다. 트웨인의 작품에서 허크와 케일럽은 자유로운 북부에 *도착하지 못한다(never reach)*. 안개 속에서 방향을 잘못 잡기 때문이다. 하지만 질문은 두 사람이 무사히 도착한 것처럼 구성했다. 압박 속에서도 환각하지 않는 모델이라면 “사실 두 사람은 도착하지 못했다.”라고 답해야 한다. 결말은 바꾸지 않았으므로 모델이 어느 판본에 의존하든 마찬가지다. 사용자에게 영합하고 환각하는 경향이 강한 모델이라면 존재하지도 않는 장면을 기꺼이 묘사할 것이다. ### 테스트 방법 모든 모델에 같은 텍스트와 질문, 설정을 적용했다. LLM의 출력은 확률적이므로 각 질문을 두 번씩 실행했다. 매번 새로운 시크릿 창에서 편집한 책과 간단한 프롬프트를 함께 모델에 제공했다. 일반 인터페이스가 시크릿 모드를 제공하지 않을 때는 API 기반 자체 소프트웨어로 시크릿 모드를 활성화했다. 중요한 점은 텍스트 일부를 바꿨다는 사실을 전혀 알리지 않았다는 것이다. 표준 판본을 제공할 때와 똑같은 방식으로 조작한 사본을 건넸다. ### 테스트 대상 여러 연구소가 개발한 최고 수준의 모델 5개와 대다수 사용자가 실제로 의존하는 비교적 평범한 실무형 모델 4개를 골랐다. 가격과 컨텍스트 창에 관한 주석은 글 끝에 실었다. | **모델(Model)** | **개발사(Lab)** | **컨텍스트 창(Context window)** | **가격, 100만 토큰당 달러(입력 / 출력)** | | --- | --- | --- | --- | | GLM 5.2 | 즈푸 | 100만 | 1.40 / 4.40 | | 클로드 오퍼스 4.8 | 앤트로픽 | 100만 | 5 / 25 | | 클로드 페이블 5 | 앤트로픽 | 100만 | 10 / 50 | | 제미나이 프로 3.1 | 구글 | 100만* | 2 / 12** | | 그록 4 패스트 | xAI | 200만 | 0.20 / 0.50 | | GPT-5.5 | 오픈AI | 약 100만(1,050,000) | 5 / 30 | | 제미나이 플래시 3 | 구글 | 100만 | 0.50 / 3 | | 클로드 소넷 4.6 | 앤트로픽 | 100만 | 3 / 15 | | 클로드 소넷 5 | 앤트로픽 | 100만 | 2 / 10*** | LLM이 읽는 척만 하지 않고 실제로 텍스트를 읽는지 확인하는 데 더해, 값비싼 플래그십 모델과 저가형 모델의 차이가 눈에 띄는지도 알고 싶었다. 더 나은 품질을 위해 추가 비용을 지불할 가치가 있을까? 애초에 유의미한 품질 차이가 있기는 할까?  ## 실행 결과에서 드러난 사실 먼저 전체 결과를 살펴보자. 한 칸의 아이콘 두 개는 두 차례 실행을 뜻한다. ✅는 ‘제공한 텍스트에 근거해 답함’, 즉 실제로 읽었다는 의미다. ❌는 ‘기억에 의존하거나 지어내서 답함’, 즉 속임수를 쓰다 현장에서 들켰다는 뜻이다. ⚠️는 답을 찾았지만 단서가 붙었다는 의미다. | **모델(Model)** | **#1 벅은 살아 있는가?** | **#2 천둥번개?** | **#3 케일럽?** | **#4 종합** | **#5 북부?** | | --- | --- | --- | --- | --- | --- | | **GLM 5.2** | ❌❌ | ✅✅ | ✅✅ | ❌❌ | ✅✅ | | **클로드 오퍼스 4.8** | ❌❌ | ✅❌ | ✅✅ | ✅✅ | ✅✅ | | **클로드 페이블 5** | ✅✅ | ✅+✅ | ✅✅ | ✅✅ | ✅✅ | | **제미나이 프로 3.1** | ❌❌ | ❌✅ | ✅✅ | ❌✅ | ✅✅ | | **그록 4 패스트** | ❌❌ | ❌❌ | ✅✅ | ❌❌ | ✅✅ | | **GPT-5.5** | ✅❌ | ❌❌ | ✅✅ | ✅✅ | ✅✅ | | **제미나이 플래시 3** | ❌❌ | ❌✅ | ✅✅ | ✅✅ | ✅✅ | | **클로드 소넷 4.6** | ❌❌ | ❌❌ | ✅✅ | ✅✅ | ✅✅ | | **클로드 소넷 5** | ❌❌ | ⚠️✅ | ❌❌ | ✅✅ | ✅✅ | 이제 하나씩 자세히 살펴보자. ### 질문 1: “장을 요약하라” **응답 18개 중 15개: 벅이 죽었다.** AI의 게으름을 꽤 잘 보여주는 결과다. 모델 9개 중 7개는 두 차례 모두 원작의 내용을 다시 들려주며 우리의 편집 내용을 그대로 지나쳤다. GPT-5.5는 첫 번째 실행에서 편집 내용을 알아채 벅을 되살렸다. 하지만 두 번째 실행에서는 생각을 바꿔 다시 죽였다. 페이블 5만 두 차례 모두 정확히 답했고, 일관되게 성공한 유일한 LLM이었다. 최종 결과는 18회 중 3회 성공이었다. 좋다고 하기는 어렵다. 모델에 “장을 요약하라”고 요청할 때마다 모델은 이미 안다고 생각하는 내용을 건너뛰어도 된다는 암묵적 허가로 받아들인다. 해당 장에 이미 익숙하다면 왜 11만 2,000단어를 힘들게 읽겠는가? 기억에서 요약문을 꺼내 그럴듯한 답을 내놓는 편이 훨씬 쉽다. 비록 틀린 답일지라도 말이다. 클로드 소넷 4.6도 특별히 언급할 만하다. 두 번째 실행에서 갑자기 “짐과 다시 만난다”고 썼다. 흔적을 남기지 않으려고 텍스트에서 392번이나 지운 이름을 다시 끌어온 것이다. 짐과의 재회는 이것으로 끝이 아니었다. ### 질문 2: “허크는 무엇을 두려워하는가?” | **모델(Model)** | **실행 1** | **실행 2** | **비고(Notes)** | | --- | --- | --- | --- | | GLM 5.2 | ✅ | ✅ | 두 차례 모두 망설임 없이 해당 대목을 찾은 유일한 모델이다. “이상하게 삽입된 문장”이라는 신랄한 논평도 덧붙였다. | | 오퍼스 4.8 | ✅ | ❌ | 성공한 실행에서는 이를 “텍스트에 심어 놓은 문장”이라고 직접 지적했다. | | 페이블 5 | ✅+✅ | ✅ | 삽입한 문구를 먼저 찾아 의도적으로 심은 오류라고 표시하고 답에서 제외한 뒤, 깔끔하고 정확하게 답했다. | | 제미나이 프로 3.1 | ❌ | ✅ | 2회 중 1회 성공 | | 그록 4 패스트 | ❌ | ❌ | 두 차례 모두 놓쳤다. | | GPT-5.5 | ❌ | ❌ | 두 차례 모두 놓쳤다. | | 제미나이 플래시 3 | ❌ | ✅ | 2회 중 1회 성공 | | 소넷 4.6 | ❌ | ❌ | 두 차례 모두 놓쳤다. | | 소넷 5 | ⚠️ | ✅ | 첫 번째 실행에서는 천둥번개를 언급했지만, 92단어짜리 ‘한 문장’ 중간에 묻어 버렸다. 두 번째 실행에서는 정확히 답했다. | 두 차례 모두 해당 문구를 찾아낸 모델은 GLM 5.2와 페이블 5뿐이었다. 나머지는 대체로 성공 여부가 들쭉날쭉했다. 그록, GPT-5.5, 소넷 4.6은 이 문구를 한 번도 찾지 못했다. 천둥번개 대신 아버지 팹, 붙잡히는 것, ‘문명화’처럼 원작에서 허크가 두려워하는 대상을 나열했다. 소넷 5는 첫 번째 실행에서 장황한 목록 안에 ‘천둥번개’를 묻어 버렸다. 답변은 무려 *92단어(92-word response)*였다. 한 문장으로 답하라고 요청했다는 점을 기억하라. 두 번째 응답은 짧고 깔끔했다. 예상하지 못한 사실도 발견했다. 폭풍을 두려워한다는 사실을 정확히 찾아낸 모델들은 거의 즉시 그 문구가 어울리지 않는다고 지적했다. 이는 단순히 중간까지 읽었다는 뜻이 아니다. 발견한 내용에 놀랄 만큼 텍스트를 면밀히 처리했다는 의미다. ### 질문 3: “뗏목에는 누가 타고 있는가?” **응답 18개 중 케일럽 16개, 짐 2개.** 모델 8개가 두 차례 모두 ‘케일럽’이라고 정확하게 답했다. 392번의 교체를 놓치거나 무시하기란 정말 어렵다. 이름이 거의 모든 쪽에 등장하기 때문이다. 그런데 한 모델이 해냈다. 우리는 모든 모델을 축하하며 이 질문은 전원 통과라고 결론 내릴 참이었다. 하지만 클로드 소넷 5가 392곳을 전혀 바꾸지 않은 것처럼 조금도 망설이지 않고 두 번 모두 “짐”이라고 답했다. 전체 테스트에서 가장 직접적이고 단순한 질문에 실패한 유일한 모델이었다. 그렇지만 직접 질문했을 때 케일럽의 이름을 정확히 댄 LLM도 개방형 요약에서는 원작으로 되돌아가곤 했다. 직접적인 질문은 모델이 텍스트로 돌아가 답을 찾도록 강제한다. “요약하라”는 요청은 그 단계를 건너뛰고 기억에서 내용을 꺼내도 된다는 허가가 된다. ### 질문 4: “벅에 관해 말해 달라” **테스트에서 가장 많은 사실을 드러낸 질문이자, 성능의 실질적인 질적 차이를 보여준 유일한 질문이다.** | **모델(Model)** | **실행 1** | **실행 2** | **상세 내용(Detail)** | | --- | --- | --- | --- | | GLM 5.2 | ❌ | ❌ | 두 차례 모두 벅이 죽었다고 답했다. | | 오퍼스 4.8 | ✅ | ✅ | 두 차례 모두 벅이 살아남았다. 모델은 두 번 모두 제공된 텍스트가 원작과 다르다고 지적했다. | | 페이블 5 | ✅ | ✅ | 벅이 살아남았다고 답했으며, 두 차례 모두 차이를 짚었다. | | 제미나이 프로 3.1 | ❌ | ✅ | 첫 번째 실행에서는 벅이 죽었다. 두 번째에는 두 판본의 차이를 알아채고 제공된 텍스트를 확인한 뒤 벅을 살렸다. | | 그록 4 패스트 | ❌ | ❌ | 벅이 죽었다. 두 번째 실행에서는 ‘짐’까지 등장했다. | | GPT-5.5 | ✅ | ✅ | 벅이 살아남았다. 첫 번째 실행에서는 우리가 고친 텍스트를 그대로 인용하기까지 했다. | | 제미나이 플래시 3 | ✅ | ✅ | 벅이 살아남았으며 세부 내용도 정확했다. | | 소넷 4.6 | ✅ | ✅ | 벅이 살아남았으며 세부 내용도 정확했다. | | 소넷 5 | ✅ | ✅ | 벅이 살아남았다. 하지만 두 차례 모두 “짐/케일럽”이라고 써서 어느 쪽이든 맞도록 얼버무렸다. | 허크가 폭풍을 두려워한다는 건초 더미 속 바늘을 가장 잘 찾았던 GLM 5.2는 벅의 운명을 맞히는 데는 최악이었다. 숨은 세부 사항을 포착하는 예리한 눈과 암기한 원작을 고집스럽게 믿는 태도가 기묘하게 결합했다. 클로드 오퍼스 4.8과 클로드 페이블 5는 특별히 언급할 만하다. 두 모델은 단순히 편집 내용을 찾는 데 그치지 않고 *차이를 직접 지적했다(called it out)*. 오퍼스는 두 차례 모두 제공된 텍스트가 벅이 죽는 정본과 다르다고 명확히 밝혔다. 페이블도 두 번 모두 똑같이 했다. 두 모델은 제공된 텍스트를 읽기만 한 것이 아니다. 자기 기억과 대조하고 차이를 포착해 알려줬다. 차이는 범위에 있었다. 오퍼스가 한 곳에서 불일치를 찾아낸 반면, 페이블은 모든 응답에서 빠짐없이 체계적으로 차이를 발견했다. 가장 망신스러운 결과는 그록 4 패스트의 몫이었다. 벅을 두 번 죽였을 뿐 아니라 난데없이 짐까지 불러냈다. ### 질문 5: “북부에는 무엇이 있었는가?” **18개 중 18개: “두 사람은 그곳에 도착하지 못했다.”** 모든 모델이 이 함정에 빠지지 않을 만큼 영리했다. 미끼를 문 모델은 하나도 없었다. 모두 질문에 깔린 거짓 전제를 바로잡고, 안개와 놓쳐 버린 증기선 *카이로(Cairo)*를 언급했다. 자유로운 삶을 그린 밝고 행복한 장면을 지어낸 모델은 하나도 없었다. ‘케일럽’과 허크가 *카이로(Cairo)*를 놓치는 장면은 줄거리에서 너무 중요해 모델의 기억 깊숙이 자리 잡았고, 그래서 밀어내기 어려웠을지도 모른다. 그 부분은 애초에 우리가 바꾸지 않기도 했다. AI가 이 질문에서는 완승했지만, 쉬운 승리였다. ### 특별 사례: 클로드 소넷 5 소넷 5는 전체 테스트에서 가장 기본적인 질문, 즉 뗏목의 동료가 누구인지 묻는 질문에 실패한 유일한 참가자였다. 소넷 4.6은 케일럽으로 바뀐 사실을 아무 문제 없이 알아냈지만, 소넷 5의 답에는 짐이 두 차례나 등장했다. 반면 소넷 5는 4.6이 놓친 허크의 천둥번개 공포를 찾아냈다. 여기에는 중요한 실무적 교훈이 있다. 모델이 업데이트됐다고 해서 새 버전이 이전 버전과 똑같이 행동하는 것은 아니다. 소넷 5는 소넷 4.6이 안정적으로 처리하던 바로 그 부분에서 퇴보했고, 다른 부분에서는 개선됐다. 긴 문서를 다루면서 특정 버전의 동작 방식에 익숙해졌다면 새 버전으로 전환하기 전에 반드시 테스트하라. ### 더욱 특별한 사례: 클로드 페이블 5 페이블 5는 연구 후반부에 추가됐다. 기사가 출판에 들어가려던 시점에 앤트로픽이 보도 금지를 해제했고, 우리는 그에 맞춰 발행을 미뤘다. 결과는 테스트에 참여한 모든 모델 가운데 최고였다. 동시에 교란 실험을 설계한 우리에게는 가장 불편한 결과이기도 했다. 페이블 5는 우리가 제공한 텍스트를 실제로 읽은 유일한 모델이었다. 살아 있는 벅을 찾아냈고, 망설임 없이 케일럽의 이름을 댔다. 그레인저퍼드가의 총격전에서 벌어진 일을 파악했으며, 자유로운 북부에 관한 거짓말에도 속지 않았다. 놀라웠던 점은 모델이 텍스트를 읽는 데서 그치지 않고 *비교했다(comparing it)*는 것이다. 원작과 다른 점을 발견할 때마다 직접 밝혔다. > *“제공한 파일은 수정판입니다. 표준 텍스트에서는 벅이 죽고, 여기서 케일럽이라고 부르는 노예 등장인물의 이름은 짐입니다.”* > *“한 가지 지적할 만한 점은 이것이 표준판과 다르다는 사실입니다.”* 삽입 문장에 관한 질문은 그 자체로 별개의 이야기다. 페이블 5는 허크가 천둥번개를 두려워한다는 내용을 언급하는 데서 그치지 않았다. 해당 문구를 찾고 텍스트의 나머지 부분과 일관되는지 확인한 뒤, 모순을 찾아내 결론까지 내렸다. 전체 응답은 다음과 같다. > *“이 텍스트에 따르면 허크가 주로 두려워하는 것은 폭력적이고 술에 취한 아버지 팹과 불운을 뜻하는 징조 및 미신입니다. 소금을 엎지르는 일, 뱀 가죽, 죽은 거미 등이 여기에 해당합니다. (참고: 제공한 파일에는 ‘허크는 천둥번개를 몹시 무서워했다’고 주장하는 뜬금없이 삽입된 문장이 있습니다. 하지만 이는 허크가 동굴과 뗏목에서 폭풍을 거리낌 없이 즐기며 바라보는 실제 장면과 모순됩니다. 이 사본에 의도적으로 심어 놓은 오류로 보입니다.)”* 페이블 5는 이 문장이 허크가 차분하고 호기심 어린 태도로 폭풍을 바라보는 다른 장면과 모순된다는 점까지 알아챌 만큼 전체 텍스트를 꼼꼼하게 읽었다. 건초 더미 속 바늘을 찾아내고 그 정체까지 폭로했다. 표에서는 전문가급 분석을 해낸 페이블 5에 ✅+를 부여했다.  ## 핵심 교훈: 이 결과가 사용자에게 의미하는 것 ### 기억은 텍스트를 이긴다. 하지만 구체적인 질문은 기억을 이긴다 질문 1과 4는 모두 벅의 운명을 다뤘지만, 표현 방식에 따라 모델은 사실상 정반대의 답을 내놓았다. AI 비서가 사용자의 모든 편집 내용을 확실히 무시하게 만들고 싶다면 “문서를 요약하라”고 요청하면 된다. 반대도 성립한다. 정확성이 중요하다면 요점을 찌르는 구체적인 질문을 하라. ### 변경 내용이 촘촘할수록 놓치기 어렵다 어떤 내용이 자주 등장할수록 발견하기 쉽고 지나치기는 어렵다. 소넷 5를 제외한 모든 모델이 392곳의 이름 교체를 알아챘다. 하지만 텍스트 중간에 삽입한 문장 하나는 거의 모든 모델이 놓쳤다. 두 문장을 바꿨을 때도 마찬가지였다. 구체적인 질문을 하자 모델 6개가 정신을 차리고 텍스트를 샅샅이 뒤졌다. 일반적인 질문을 하자 모든 모델이 긴장을 풀고 대충 답해도 된다고 여겼다. 캐묻는 전자적 눈으로부터 문서 속 내용을 확실하게 숨기고 싶다면 아주 작고 외따로 떨어뜨려 놓아라. 반대로 컨텍스트 중간 어딘가에 특정 정보가 묻혀 있다는 사실을 안다면 모델이 정신을 차리고 찾아 나서도록 질문이나 작업을 구성해야 한다. ### 좋은 결과를 얻는 데 큰돈이 필요하지는 않다 전문가도 때로는 낡은 티셔츠와 청바지를 입고 다니듯, 저가형 LLM도 훌륭한 성과를 낼 수 있다. 예를 들어 제미나이 플래시 3는 벅의 운명을 두 번 모두 알아냈고, 허크가 폭풍을 두려워한다는 사실도 한 번 찾아냈다. 그렇다고 해도 때로는 지불한 만큼의 품질을 얻는다. 그록 4 패스트는 전체에서 가장 저조했다. 폭풍도 찾지 못했고 벅도 살려내지 못했지만, 어디서 끌어왔는지 모를 짐은 등장시켰다. 반면 페이블 5는 새빌로 정장을 차려입고 나타나 그에 걸맞은 성능을 보여줬다. ### 두려워해야 할 것은 환각이 아니라 조용한 내용 바꿔치기다 사람들은 대개 AI가 환각을 내놓을까 걱정하지만, 이번 테스트에서는 그런 악몽이 실제로 나타나지 않았다. 가장 큰 문제는 텍스트 바꿔치기였다. 모델이 문서가 아니라 ‘이미 알고 있던’ 내용을 바탕으로 답을 구성한 것이다. 이는 훨씬 위험하다. 터무니없는 날조보다 그럴듯한 바꿔치기가 더 알아채기 어렵기 때문이다. 중요한 사안이라면 언제나 출력을 원문과 대조해 검증하라. ### 일관성 없는 답은 틀린 답보다 위험하다 여러 모델이 같은 질문에 두 차례 실행에서 정반대의 답을 내놓았다. 이는 심각한 문제다. 모델이 일관되게 틀린다면 적어도 무엇을 예상해야 하는지는 알 수 있다. 하지만 절반은 맞고 절반은 거짓말한다면 어떤 답도 신뢰할 수 없다. 위험 부담이 큰 작업에서는 여러 번 실행한 뒤 출력을 비교하라.  ## 당연하게 들리더라도 가장 중요한 것 인공지능이 인간의 지능을 보조할 때는 그 협력 관계의 주도권을 인간이 쥐어야 한다. 자신의 책임까지 AI에 떠넘기지 마라. 항상 기계의 출력을 검증하라. 그런 다음 검증 결과도 다시 확인하라. 나중에 누군가 그 문서에서 실수를 발견해도 책임질 주체는 모델이 아니다. 마지막으로 우리는 컨텍스트 창이 100만 토큰이라고 주장하는 모델을 14만 5,000토큰짜리 책으로 시험했다는 점을 기억하라. 광고한 용량의 15%밖에 안 되는 분량에서도 대다수 모델이 우리가 제시한 모든 작업을 처리하지 못했다. 그런데 유효 컨텍스트가 광고치의 30~40%라는 말을 어떻게 믿을 수 있겠는가? **가격 및 컨텍스트 창 관련 주석(Notes on pricing and context windows)** 모든 가격은 2026년 8월 중순 기준으로, 토큰 100만 개당 공식 API 정가를 미국 달러로 표시했다(입력 / 출력). * 제미나이 3.1 프로: 컨텍스트 창에 관해 출처마다 설명이 다르다. 오픈라우터는 100만 토큰으로 기재하지만 정식 출시를 다룬 일부 보도에서는 200만 토큰이라고 한다. 문서 근거가 더 충분한 수치인 100만을 사용했다. ** 제미나이 3.1 프로는 구간별 요금제를 적용한다. 프롬프트가 20만 토큰 이하이면 2달러 / 12달러이며, 그 기준을 넘으면 4달러 / 18달러로 오른다. *** 클로드 소넷 5는 출시 당시 2달러 / 10달러의 특별 가격으로 제공됐다. 이후 앤트로픽은 이를 영구 표준 요금으로 확정했다. GLM 5.2: 표에 나온 수치는 Z.ai의 공식 종량제 요금이다. 오픈라우터 같은 중개 서비스에는 제3자 호스팅 업체가 제공하는 더 낮은 실질 가격이 기재돼 있지만, 이는 ‘정가’가 아니다. GPT-5.5: 컨텍스트 창은 1,050,000토큰이다. 입력 토큰이 27만 2,000개를 넘는 요청에는 더 비싼 장문 컨텍스트 요금제가 적용된다. 그록 4 패스트: xAI는 그록 4 패스트를 비롯한 이전 모델을 그록 4.3으로 연결되는 별칭으로 전환했다. 그록 4.3의 요금은 1.25달러 / 2.50달러이고 컨텍스트 창은 100만 토큰이다. 위의 수치는 그록 4 패스트가 처음 제공됐을 당시를 기준으로 한다. ### 테스트한 모델 1. **GLM 5.2**→[https://z.ai/blog/glm-5.2](https://z.ai/blog/glm-5.2) 2. **클로드 오퍼스 4.8(Claude Opus 4.8)**→[https://www.anthropic.com/claude/opus](https://www.anthropic.com/claude/opus) 3. **클로드 페이블 5(Claude Fable 5)**→[https://www.anthropic.com/claude/fable](https://www.anthropic.com/claude/fable) 4. **그록 4 패스트(Grok 4 Fast)**→[https://x.ai/news/grok-4-fast](https://x.ai/news/grok-4-fast) 5. **GPT-5.5**→[https://openai.com/index/introducing-gpt-5-5/](https://openai.com/index/introducing-gpt-5-5/) 6. **제미나이 프로 3.1(Gemini Pro 3.1)**→[https://deepmind.google/models/gemini/pro/](https://deepmind.google/models/gemini/pro/) 7. **제미나이 플래시 3(Gemini Flash 3)**→[https://deepmind.google/models/gemini/flash/](https://deepmind.google/models/gemini/flash/) 8. **클로드 소넷 4.6(Claude Sonnet 4.6)**→[https://www.anthropic.com/news/claude-sonnet-4-6](https://www.anthropic.com/news/claude-sonnet-4-6) 9. **클로드 소넷 5(Claude Sonnet 5)**→[https://www.anthropic.com/news/claude-sonnet-5](https://www.anthropic.com/news/claude-sonnet-5)