Docs | Src |  A-  |  A*  |  A+  | -/-

Metadata
sourcehttps://silentroom.media/the-stack/ai-models-late-fall-2026-honest-comparison
created2026-11-15
byopenai:gpt-6.1-sol
style개조식
# (요약) 2026년 늦가을 AI 모델 비교: 독립 벤치마크로 살펴본 성능·속도·비용 - 원문: [AI Models in Late Fall 2026: An Honest Comparison Using Independent Benchmarks](https://silentroom.media/the-stack/ai-models-late-fall-2026-honest-comparison) - 발행: 2026년 11월 9일 / 데이터 갱신: 2026년 11월 - 비교 목적: 제조사 홍보 수치 대신 독립 평가에 기반한 모델별 강점·한계 파악 - 평가 축 - 긴 문맥(long context): 보고서·계약서·학술 문헌 등 대규모 문서 처리 정확도 - 속도(speed): 응답 시작까지의 대기시간 + 생성 속도 - 추론(reasoning): 복잡한 분석 문제에 대한 사고의 깊이·정확성 - 평가 자료: Artificial Analysis, Arena(구 LMArena), LiveBench, OpenRouter - 문학적 산문 생성 능력: 저자의 전반적인 품질 불신과 해당 분야 벤치마크의 신뢰성 부족으로 평가 제외 - 관련 글: [다섯 AI 모델의 헤밍웨이 문체 모방 실험](https://silentroom.media/the-method/hemingway-writing-style-ai-test) ## Model comparison table - [원문 전체 모델 비교표](https://silentroom.media/the-stack/ai-models-late-fall-2026-honest-comparison#model-comparison-table) - 표기 기준 - 가격대: `$`~`$$$$` - EfC: 유효 문맥(effective context) / Sp: 속도 / Th: 추론 능력 - 점수: 0점=낮음, 3점=매우 우수 - 평가 모드: Artificial Analysis에서 측정한 최상위 성능 모드 - 가격: 이미 발표된 인상·인하 예정 가격까지 반영 - EfC 평가 - 기준: Artificial Analysis의 AA-LCR - 2점도 우수한 결과 / 3점은 뚜렷한 우위가 있는 모델에만 부여 - 독립 측정 부재 시 점수 미부여 - 다른 추론 모드·구형 빌드·단일 출처 측정치: 잠정 점수 - Th 평가: 2026년 10월 27일 개편된 Artificial Analysis Intelligence Index v5 기준 - 이전 버전보다 엄격한 평가 → 다수 저가 모델의 점수 하락 - 기타 표기 - NEW: 이번 순위에 신규 편입 - 이미지 생성*: 동일 업체의 별도 모델을 통한 이미지 생성 - 단점 미기재: 무결점이 아니라 독립 시험 부족 가능성 - 아래 가격 단위: 별도 설명이 없으면 **100만 입력 토큰 / 100만 출력 토큰당 미국 달러** - 아래 과제당 비용: AA 지능 지수 평가에서 산출한 비용으로, 실제 사용자 작업 비용과 구분 필요 ### Flagships - **Claude Fable 5.1 — NEW / $$$$ / EfC 2·Sp 0·Th 3** - 위치·출시: Anthropic 최상위 모델 / 9월 1일 출시 / Fable 5 대체 - 독립 평가: 지능 지수 50점 / 10월 27일 Text Arena 5위·1504점 / Opus 5.5와의 차이는 오차 범위 - 에이전트 평가: 출시 당시 Agent Arena 1위 / 실제 장시간 과제에서 가장 가까운 경쟁 모델보다 약 2배 많은 호평 - 강점·용도: 깊이 있는 사고, 신중한 사실 처리, 고난도 분석·중요 의사결정 - 긴 문맥: AA-LCR 82% / low 모드 측정에 따른 잠정 점수 - 비용: $10 / $50 / 과제당 $10.85로 비교표 최고 / Fable 5 대비 약 1.7배 토큰 사용 → 캐시 할인에도 실질 비용 절감 부재 - 속도: 약 63토큰/초 / xhigh 모드 응답 시작까지 1분 이상 - 한계: 전문 분야에서 확신에 찬 오답 가능성, 곁가지 설명, 첫 시도 정답 도달의 어려움, 보수적인 답변 - 안전 분류: 사이버보안·생물학 요청 일부를 더 약한 Opus로 우회 / AA 시험 출력 토큰의 약 4% - **Claude Opus 5.5 — NEW / $$$ / EfC 2·Sp 1·Th 3** - 위치·출시: 9월 22일 출시 / Opus 5.0 대체 - 독립 평가: 지능 지수 58점으로 전체 2위 / Fable 5.1의 50점 상회 - 사람 평가: Text Arena 3위·1509점 / 출시 당시 1위 / 10월 23일 Agent Arena 1위 - 긴 문맥: AA-LCR 85% / 주력 모델군 상단 - 강점·용도: 정확한 지시 이행, 가속 모드 제공, 예산을 고려한 고난도 업무 - 가격: $4 / $20로 Fable 5.1 대비 2.5배 저렴 - 실질 비용: max 모드 평가에 2억 2000만 토큰 사용 / 유사 가격 모델 중앙값 약 7000만 / 과제당 $10.04 - 속도·모드 차이: 약 96토큰/초 / max 응답 시작 약 12분 / xhigh는 57점·약 2분 대기·비용 40% 절감 - 핵심 한계: 낮은 토큰 단가를 상쇄하는 장황함과 긴 추론 대기시간 - **GPT-6.1 Sol — NEW / $$ / EfC 2·Sp 1·Th 3 / 이미지 생성*** - 위치·출시: 9월 29일 출시 / GPT-5.6 Sol 대체 - 독립 평가: 지능 지수 55점 / GPT-6 Astra 57점에 근접 - 가격: $2 / $10 / Astra의 5분의 1 - 긴 문맥: AA-LCR 83% / 다른 주력 모델과 비슷한 수준 - 용도·문체: 분석·보고서에 적합 / Claude보다 건조하고 구조적이며 어조 변화 폭이 좁은 창작 문체 - 속도: 약 80토큰/초 / max 응답 시작 약 5분 / xhigh 약 2분 30초·52점 - 효율: 평가 토큰 6400만 대 중앙값 7000만 / 과제당 $1.27로 Opus 5.5의 약 8분의 1 - **GPT-6 Astra — NEW / $$$$ / EfC 2·Sp 1·Th 3 / 이미지 생성*** - 위치·출시: OpenAI 주력 모델 / 9월 3일 출시 - 독립 평가: 지능 지수 57점·전체 4위 / Fable 5.1보다 높은 점수와 낮은 과제당 비용 - 사실성: 출시 당시 AA 환각률 51% / GPT-5.6 Sol의 92% 대비 하락 - 강점: 코드·컴퓨터 조작·3D·수학 등 결과 검증이 가능한 작업 - 긴 문맥: AA-LCR 81% - 비용: $10 / $50로 GPT-5.6 Sol의 $4 / $20 대비 2.5배 / 과제당 $6.24 - 속도: 약 78토큰/초 / max 응답 시작까지 수분 - 텍스트 한계: Louis-François Bouchard 편집 시험 11위로 GPT-5.6 Sol의 6위보다 낮은 성적 / GDPval-AA 전문 업무 평가에서 약 80 Elo 하락 - 상반된 문체 평가: Every의 자체 리뷰 초안을 작성한 실험에서는 편집장이 인간 작성물이 아니라는 사실을 알아채지 못한 사례 - **Gemini 3.1 Pro — $$ / EfC 2·Sp 2·Th 2 / 이미지 생성*** - 위치·상태: 2월 출시된 Google 이전 최상위 모델 / 여전히 preview / 종료 일정 미발표 - 비교표 잔류 이유: 가격 경쟁력 / $2 / $12, 20만 토큰 초과 프롬프트 $4 / $18 - 가격 비교: 12월 1일 이후 Gemini 4 Argon의 $4 / $20보다 저렴 - 입력·강점: 텍스트·이미지·오디오·비디오 / 긴 문맥, 과학, 이미지 이해 - 용도: 글쓰기·대규모 문서 / 깊은 추론 기대에는 부적합 - 측정 한계: v5 지능 지수와 AA-LCR 독립 측정 부재 / EfC·Th는 이전 기사 점수를 유지한 잠정 평가 - 속도: 최신 측정 약 145토큰/초 - 한계: Gemini 3 계열 전반에서 보고된 환각·아첨(sycophancy) / 이전 버전보다 건조하고 형식적인 문체 - **Gemini 4 Argon — NEW / $$$ / EfC 2·Sp 1·Th 3 / 이미지 생성*** - 위치·출시: Gemini 4 세대 첫 모델이자 Google 현 주력 모델 - 접근: 9월 30일 일부 사이버보안 파트너 대상 발표 / 10월 13일부터 유료 API 공개 / Gemini 앱은 AI Pro·Ultra 구독 필요 - 평가: Text Arena 2위·1520점 / 지능 지수 50점으로 Opus 5.5·Astra보다 낮은 성적 - 핵심 성향: 모르면 답을 삼가는 신중함 - 사실성 비교: 환각률 15% 대 Astra 51% / 정답률 역시 50% 대 Astra 63%로 낮은 수준 - 긴 문맥·입출력: AA-LCR 80% / 텍스트·이미지 입력 / 최대 100만 토큰 출력 - 가격: 현재 $2 / $10 → 12월 1일 $4 / $20로 인상 / 카드에는 인상 후 가격 반영 - 실질 비용: 평가 토큰 1억 1000만 대 중앙값 7000만 / 인상 후 과제당 $7.68로 Astra보다 높은 비용 - 속도: 약 83토큰/초 / high 모드 응답 시작 1분 미만 - **Grok 4.7 — NEW / $$ / EfC 2·Sp 1·Th 1 / 이미지 생성*** - 위치·출시: 9월 21일 Grok 4.6 대체 / 더 큰 기반 모델과 동일 단가 - 제공사: SpaceX와 합병 후 7월부터 기존 xAI가 사용한 명칭인 SpaceXAI - 가격: $2 / $6 / 20만 토큰 초과 프롬프트는 2배 - 강점: 최신 뉴스·소셜미디어 정보, 뛰어난 이미지 생성 - 추론: 지능 지수 35점으로 주력 모델 대비 큰 격차 / 구 지수에서도 이전 모델 대비 44→46점의 소폭 개선 - 긴 문맥: AA-LCR 77% / 문맥 한도 50만 토큰으로 주요 경쟁 모델의 절반 - 비용·속도: 평가 토큰 1억 2000만 / 과제당 $6.18로 Astra와 비슷한 비용 / 약 78토큰/초 / 응답 시작 30초~1분 - 사실성 주의: Grok 4.5 환각률 54% / 4.7의 직접 비교 가능한 측정 부재 - 운영 위험: 콘텐츠 제한 완화에 따른 딥페이크 등 논란 / 엄격한 감사·규제 준수 업무에 부적합 / 오류 비용이 높은 작업의 독립 검증 필요 - **Kimi K3.1 Pro — NEW / $$ / EfC 2·Sp 0·Th 2** - 위치·출시: 10월 23일 출시 / K3와 동일 구조의 추가 학습 버전 - 구조: 전체 2조 8000억·활성 1040억 매개변수 / 100만 토큰 문맥 - 공개 상태: Moonshot의 공개 모델 표방과 11월 4일까지 가중치 공개 약속 / 원문 작성 시점에는 API만 제공, 가중치·라이선스 미공개 / 이전 K3는 공개 상태 - 가격: $2 / $10로 K3의 $3 / $15 대비 약 3분의 1 인하 / Opus 5.5의 절반·Fable 5.1의 5분의 1 - 평가: 지능 지수 46점 / 우수하지만 선두권과 격차 - 문서 성능: GDP.pdf 22→31% 개선 / AA-LCR 86.3%로 주력 모델군 상단이나 K3의 88.7%보다 낮은 결과 - 측정 한계: AA-LCR 단일 출처에 따른 잠정 EfC - 속도·비용: 약 31토큰/초로 비교표 최저 / K3는 66토큰/초 / 응답 시작 1분 이상 / 평가 토큰 1억 1000만·과제당 $3.68 - 용도·한계: 대규모 문서 처리 / 느린 속도와 K3보다 낮은 어휘 다양성·심상·자연스러움 - **Meta Muse Spark 1.3 — NEW / $ / EfC 2·Sp 3·Th 1** - 위치·출시: 코딩·에이전트 중심 모델 / 9월 2일 출시 / 5개월간 네 번째 계열 버전 - 가격: 일반 $1.25 / $4.25 / Contributor $0.10 / $0.20로 약 12~21배 저렴 - 개인정보: Contributor에서는 프롬프트를 학습에 사용 → 업무·기밀 문서에 부적합 - 평가: 지능 지수 36점 / 구 지수에서는 GPT-5.6 Sol과 비슷한 61~62점이었으나 비공개 문제가 많은 v5에서 하락 - 사람·문맥 평가: Text Arena 11위·1495점 / AA-LCR 83% - 속도·비용: 약 168토큰/초 / 응답 시작 약 30초 / 평가 토큰 1억 2000만·과제당 $2.39 - 사실성: 불확실한 질문의 답변 거부 증가 → 환각률과 정답률 동반 하락 - 지원·공개 한계: Muse Wonder 출시 후 AA 정기 평가 중단 / 1.3 가중치 공개 약속 부재 - **Meta Muse Wonder — NEW / $$$ / EfC 2·Sp 2·Th 2** - 위치·출시: Meta 최초의 ‘프런티어급’ 모델 / 10월 12일 Muse Spark 계열 후속으로 출시 - 가격: $4 / $20로 Spark 1.3보다 큰 폭 상승 - 평가: 지능 지수 43점 / Text Arena 4위·1507점으로 Opus 5.5·Fable 5.1과 오차 범위 내 - 입력·문맥: 텍스트·이미지·오디오·비디오 / 100만 토큰 / AA-LCR 81% - 개인정보: Standard 요금제만 제공 / 프롬프트 학습 미사용 - 제공 한계: API preview / 상위 Muse Wonder Full은 월 $50부터인 Muse Code 구독 전용·API 미제공 - 비용·대기: 평가 토큰 1억 1000만 / 과제당 $6.95 / 응답 시작 약 30초 - 지식 평가: 낮은 지식 점수를 낮은 환각률이 일부 보완 ### For everyday use - **Claude Sonnet 5.5 — NEW / $$ / Sp 2·Th 3 / 긴 문맥 점수 없음** - 위치·출시: Claude 주력 실무 모델 / 9월 28일 Sonnet 5 대체 / 동일 가격 $2 / $10 - 평가: max 지능 지수 54점·전체 8위 / Opus 5.5보다 4점 낮고 토큰 단가는 절반 - 사람 평가: Text Arena 1477점으로 Opus 5.5의 1509점보다 낮은 수준 - 속도·용도: 약 138토큰/초 / 복잡한 다단계 작업, 문서·이메일·중간 난도 글쓰기 / 생동감 있고 자연스러운 문체 - 긴 문맥: 이전 Sonnet 5는 AA-LCR 77% / 5.5 독립 측정 부재로 EfC 미부여 - 모드별 격차: max 54점·응답 시작 약 8분 / xhigh 50점·약 30초·과제당 $4.09 / high 41점 / medium 30점 - 장황함: AA 평가 57개 모델 중 최하위 / 3억 4000만 토큰 대 중앙값 7000만 - 실질 비용: max 과제당 $10.02로 Opus 5.5의 $10.04와 사실상 동일 - 지식·환각: 출시 당시 AA-Omniscience 정답률 54% 대 Opus 66% / 모르는 답의 날조 비율 47% 대 59% - **GPT-6.1 Terra — NEW / $ / Sp 1·Th 3 / 긴 문맥 점수 없음 / 이미지 생성*** - 위치·출시: 균형형 GPT / 10월 26일 GPT-5.6 Terra 대체 - 가격: $1 / $5로 Sol의 절반 / 27만 2000토큰 초과 프롬프트 $2 / $7.50 - 평가: max 지능 지수 51점으로 Sol보다 4점 낮은 수준 - 비용: 과제당 $0.96 / Sonnet 5.5 max의 약 10분의 1 - 속도·문체: 약 97토큰/초 / 구조적 규율이 강한 출력 / 형식이 중요한 이메일·기사에 적합 - 긴 문맥: 이전 버전의 강점이나 6.1 독립 측정 부재 / EfC 미부여 - 접근 제한: OpenAI 릴리스 노트 기준 ChatGPT Work·Codex에서만 제공 / 일반 채팅 미제공 - 모드별 격차: max 응답 시작 약 4분 30초 / xhigh 45점·high 42점·medium 38점 - 토큰 사용: 9900만 대 중앙값 7000만 - **DeepSeek V4 Pro — $ / EfC 2·Sp 1·Th 0** - 위치·구조: 8월 13일 버전의 DeepSeek 주력 모델 / MIT 라이선스 공개 가중치 / 1조 6000억 매개변수·100만 문맥 / 텍스트 전용 - 성능: AA-LCR 75%로 주력 모델군 하단 / 약 94토큰/초 - 추론 한계: 지능 지수 23점 / 더 작고 3~4배 저렴한 V4.1 Flash의 32점보다 낮은 결과 - 선택 권고: 저예산 분석·연구 용도이나, V4.1 Flash부터 시험한 뒤 실제 업무에서 Pro 비교 - 가격: 8월 16일부터 시간대별 과금 / 평일 혼잡 시간 $1.32 / $3.96 / 나머지 시간 $0.66 / $1.98 - 사실성: AA-Omniscience 오답률 94%로 V4.1 Flash의 64%보다 높은 수준 / 모른다는 인정의 부족 - 검열: 일반적인 자체 호스팅으로 제거하기 어려운 내재적 제한 / 이전 R1의 중국 정부 민감 주제 거부율 약 85% - 연구상 예외: CTGT의 V4 Flash 응답 학습 모델에서 검열 미계승 사례 / 단일 사례에 한정 - 데이터·규제: 소비자 서비스 데이터의 중국 서버 저장 / 여러 국가의 앱 다운로드·공무원 사용 금지 조치 ### Fast and light - **Gemini 3.8 Flash — NEW / $$ / Sp 2·Th 1 / 긴 문맥 점수 없음 / 이미지 생성*** - 위치·출시: 9월 2일 출시 / 3.7 Flash 기반 / 3.6·3.7 Flash 대체 - 입력·문맥: 텍스트·이미지·오디오·비디오 / 100만 토큰 - 가격: 12월 31일까지 $0.75 / $3.75 → 2027년 1월 1일부터 $1.50 / $7.50 / 카드에는 인상 후 가격 반영 - 접근: API·AI Studio의 엄격한 한도부 무료 요금제 / Gemini 앱은 AI Pro·Ultra 구독 필요 - 평가: 지능 지수 31점 / Text Arena 잠정 10위·1496점 / 독립 긴 문맥 측정 부재 - 속도·용도: 약 120토큰/초 / 초안·간단한 질문 - 비용·대기: 평가 토큰 1억 3000만 / 과제당 $7.77로 Astra보다 높은 비용 / 응답 시작 약 25초 - 사실성: 모르는 답의 날조 비율 55% / Gemini 3 Flash의 91% 대비 개선 - **Claude Haiku 5.5 — NEW / $ / EfC 2·Sp 3·Th 1** - 위치·출시: 가장 빠르고 저렴한 Claude / 10월 7일 Haiku 4.5 대체 - 가격: 10만 토큰 이하 $0.10 / $0.50로 이전 $1 / $5의 10분의 1 / 초과 시 $0.50 / $2.50 - 입력·문맥: 텍스트·이미지 / 100만 토큰 - 평가: max 지능 지수 36점으로 해당 등급 상위 / 주력 모델과는 큰 격차 - 속도·용도: 약 236토큰/초로 평균의 약 2배 / 짧은 답변·요약·단순 대량 작업 - 긴 문맥: AA-LCR 78% / max가 아닌 xhigh 측정에 따른 잠정 EfC - 실질 한계: 평가 토큰 3억 대 중앙값 7000만 / max 응답 시작 약 6분 / 과제당 $0.41로 단가에서 예상한 비용보다 높은 수준 - **GPT-6 Luna — NEW / $ / EfC 2·Sp 2·Th 1 / 이미지 생성*** - 위치·출시: 신형 GPT 중 최저가 / 9월 22일 GPT-5.6 Luna 대체 - 가격: $0.10 / $0.50로 GPT-5.6 판촉 가격의 절반 / 27만 2000토큰 초과 $0.20 / $0.75 - 입력·문맥: 텍스트·이미지 / 100만 토큰 - 평가: max 지능 지수 28점 / 해당 등급 평균 이상이나 주력 모델과 큰 격차 - 속도·용도: 약 118토큰/초 / 텍스트 압축·분류·정보 찾기 - 긴 문맥: AA-LCR 79% / high 모드 측정에 따른 잠정 EfC - 비용·대기: 평가 토큰 1억 1000만 대 유사 가격 중앙값 8100만 / max 응답 시작 113초 / 과제당 $0.15 - ChatGPT 접근: Free·Go 대상 무료 제공 / 데스크톱 앱 9월 22일, 일반 채팅 10월 8일부터 단계적 배포 ### Smart savings - **DeepSeek V4.1 Flash — NEW / $ / EfC 2·Sp 3·Th 1** - 위치·출시: MIT 라이선스 공개 가중치 소형 모델 / 9월 10일 출시·10월 17일 동일 이름으로 갱신 - 입력·문맥: 텍스트·이미지 / 100만 토큰 - 가격: $0.15 / $0.60 / 평일 혼잡 시간 $0.30 / $1.20 - 평가: 지능 지수 32점으로 해당 등급 상위 / 대형 V4 Pro의 23점 상회 - 속도·용도: 약 170토큰/초 / 단순 작업·초안 - 긴 문맥: AA-LCR 84% / 9월 빌드 측정이며 10월 빌드 측정 부재 → 잠정 EfC - 한계: V4 Pro와 동일한 검열 제한 - 실질 비용: 평가 토큰 1억 7000만 대 유사 가격 중앙값 1억 / 과제당 $0.60로 Luna의 4배 - **Qwen 3.8 Max — $$ / EfC 2·Sp 0·Th 1** - 위치·출시: Alibaba 주력 모델 / 최초 8월 3일 출시·평가 대상 9월 2일 버전 - 입력·문맥: 텍스트·이미지·비디오 / 약 100만 토큰 - 가격·평가: $2 / $6 / 지능 지수 34점으로 해당 등급 중앙값 37점 미달 - 긴 문맥: AA-LCR 80% - 공개 상태: 텍스트 버전 가중치 8월 12일 공개 / 대형 서비스 제한 라이선스 / AA는 API 버전을 비공개 모델로 분류 - 강점: 아시아 언어 분석 - 비용·속도: 평가 토큰 1억 5000만 / 과제당 $10.02로 최상위 비용군 / 약 40토큰/초로 Kimi 다음으로 느린 속도 - **GLM 5.3 — NEW / $ / EfC 2·Sp 1·Th 1** - 위치·출시: 자체 인프라 배포 가능한 공개 모델 / 8월 14일 GLM 5.2 후속 출시 / 가중치 8월 29일 공개 - 라이선스: GLM-5.3 License / 연 매출 $100억 초과 시 Z.ai 안전성 검토 필요 - 가격·문맥: $1.40 / $4.40 / 100만 토큰 - 평가: 지능 지수 32점으로 해당 등급 중앙값 23점 상회 / 더 저렴한 V4.1 Flash와 동점 - 속도·긴 문맥: 약 76토큰/초 / AA-LCR 80% - 용도: 로컬 배포가 중요한 업무 - 한계: 텍스트 전용 / 영어·중국어 외 언어의 낮은 성능 - 실질 비용: 평가 토큰 1억 4000만 대 중앙값 9900만 / 과제당 $5.01로 해당 등급 최고 / 다수 공개 모델보다 높은 토큰 단가 - **MiMo V2.6 Pro — NEW / $ / EfC 2·Sp 0·Th 1** - 위치·출시: Xiaomi의 MIT 라이선스 공개 모델 / 9월 21일 V2.5 Pro 대체 - 구조·입력: 전체 1조·활성 420억 매개변수 / 100만 문맥 / 텍스트·이미지·오디오·비디오 - 평가: 지능 지수 30점으로 동급 공개 모델 중앙값 23점 상회 / 선두권과 큰 격차 - 긴 문맥: AA-LCR 86%로 주력 모델군 상단 - 가격·용도: $0.435 / $0.87 / 예산이 적은 단순 작업 - 속도: 약 49토큰/초 / 응답 시작 약 3초 - 실질 비용: 평가 토큰 1억 3000만 대 동급 중앙값 9900만 / 낮은 단가 덕분에 과제당 $0.26 - **Mistral Large 4 — NEW / $ / Sp 3·Th 1 / 긴 문맥 점수 없음** - 위치·출시: 유럽 모델 / 10월 6일 Large 3 후속 public preview / 10월 29일 가중치 공개 - 강점: 폭넓은 언어 지원, EU 서버와 엄격한 개인정보 보호 - 라이선스: Mistral Ecosystem Open-Weight License / 상업적 이용 제한 포함 - 구조·입력: 전체 1조 1000억·활성 520억 매개변수 / 100만 문맥 / 텍스트·이미지 - 가격·성능: $0.70 / $2.10 / high 모드 지능 지수 26점 / 약 161토큰/초 - 용도: 언어 범위·개인정보 보호 우선 업무 - 한계: 공식 문서상 여전히 public preview / 독립 긴 문맥 측정 부재 - 실질 비용: 평가 토큰 1억 1000만 대 중앙값 9900만 / 과제당 $2.06 - **Step 5 Preview — NEW / $ / EfC 3·Sp 2·Th 1** - 위치·출시: StepFun 공개 모델 / 9월 18일 출시 / Hugging Face에 가중치 공개 - 구조·입력: 전체 6000억·활성 270억 매개변수 / 100만 문맥 / 텍스트·이미지 - 라이선스: StepFun Model License 1.0 / Apache 2.0 유사 구조에 저작자 표시·상업 이용 추가 조건 / 실서비스 도입 전 원문 확인 필요 - 가격·추론: $1 / $2.70 / 지능 지수 29점 - 속도·긴 문맥: 약 146토큰/초 / AA-LCR 88.3%로 측정 모델 중 최상위권 - 용도: 중간 수준 가격의 공개 모델로 장문 문서 처리 - 비용: 평가 토큰 1억 3000만 대 중앙값 9900만 / 과제당 $2.35 - 한계: 공개 모델 중앙값 $0.47 / $1.89보다 높은 단가 / 예비 버전 상태 - **비교표 제외 모델** - Gemini 4 Carbon: 지능 지수 59점으로 선두이나 공개 API 제공 여부에 관한 AA 자료 간 모순 - Muse Wonder Full: 지능 지수 50점 / Muse Code 구독 전용·API 부재 - GLM 5 Turbo: AA에서 deprecated 표시 / Z.ai 가격표에서도 삭제 ## Behind the table - 지표별 독립 출처 - [Artificial Analysis](https://artificialanalysis.ai/): 지능 지수, AA-LCR, 생성 속도, 지연시간 - [Arena](https://lmarena.ai/): 모델명을 가린 실제 사용자 선호 비교 - [LiveBench](https://livebench.ai/): 데이터 유출 방지를 지향하는 객관식 성능 평가 - [OpenRouter](https://openrouter.ai/): 현재 API 가격 확인 - 제조사 자체 성능 수치: 미검증 자료로 간주 / 점수 산정에서 제외 ### What didn't fit in the cards but matters - 장문 처리의 의외성 - Kimi K3.1 Pro 86.3%·MiMo V2.6 Pro 86%: Claude 최상위 모델보다 낮은 가격의 우수한 결과 - Step 5 Preview 88.3%: 그보다 높은 결과이나 원문에서 확인한 출처는 하나 - DeepSeek V4 Pro 75%: 저렴한 장문 처리와 별개로 v5 추론 점수는 23점 - 더 작은 V4.1 Flash 32점 / Mistral Large 4 역시 낮은 v5 점수 - 주력 모델의 장문 성능 분포: 대체로 AA-LCR 75~86% / 모델 간 차이가 오차 범위와 비슷한 수준 - EfC 3점: 명확한 우위로 평가한 Step 5 Preview에만 부여 - Claude의 장문 처리 최강 평판: 독립 평가에서 확인되지 않은 우위 / Fable·Opus 모두 EfC 2점 - AA-LCR의 작업 구성 - 약 10만 토큰의 보고서·과학 논문·법률 문서·리뷰에서 질문별 답변 구성 - 여러 위치에 흩어진 근거의 검색·결합 → 전문 문서 업무 모사 - 긴 문맥 평가 공백 - 해당 세대 모델을 다룬 독립 평가는 사실상 AA-LCR뿐 - Fiction.LiveBench·RULER·LongBench의 해당 세대 평가 부재 - Sonnet 5.5·GPT-6.1 Terra·Gemini 3.8 Flash·Mistral Large 4: AA-LCR 미측정 - 모드 영향: 높은 추론 노력에서 장문 성능의 소폭 개선 가능성 / 다른 모드 측정치는 잠정 표시 - 예: Fable 5.1 low, Haiku 5.5 xhigh - 원문 내 측정 근거의 차이: Kimi도 개별 카드에서는 단일 출처에 따른 잠정 점수로 설명 ## Why humans and benchmarks pick different leaders - 벤치마크의 측정 대상: 수학·코드·과학·지시 이행 등 정답이 있는 구체적인 능력 - Arena의 측정 대상: 실제 사용자가 선호하는 답변 - 문체·구조·어조·가독성·‘똑똑하게 느껴지는 정도’의 큰 영향 - 10월 27일의 순위 불일치 - Text Arena 선두: Gemini 4 Carbon 잠정 1위·Argon 2위 - 지능 지수: Argon 50점 대 Opus 5.5 58점·Astra 57점 - Fable 5.1: 지능 지수 50점에도 사람 평가 5위 - Fable의 대화 강점: 아름다운 문장, 생각을 풀어내는 방식, 일관된 설명 / 대화 자체의 즐거움을 고려한 조정이라는 저자의 해석 - Arena의 장황함 편향(verbosity bias) - 더 정확한 짧은 답변보다 긴 답변을 선호하는 경향 - OpenAI 모델의 적극적인 편향 활용 가능성에 관한 원문의 관찰 - 독립 연구의 시사점: 벤치마크 순위와 인간 인식 사이의 낮은 상관관계 - 선택 기준의 차이: 객관 시험 점수가 낮아도 더 편하게 대화할 수 있는 모델 - 원문의 비유: 서킷 기록이 좋은 자동차 ↔ 실제 이동에서 편안하고 빠른 자동차 - 결론: 벤치마크와 Arena 어느 쪽의 오류라기보다 서로 다른 측정 대상 / 단일 종합점수로 표현하기 어려운 ‘최고 모델’ ## What this means ### Which model for which job - 분석·복잡한 의사결정: Claude Fable 5.1 / 예산 고려 시 Opus 5.5 - 저예산 대규모 문서: Kimi K3.1 Pro·MiMo V2.6 Pro - 반복적인 일상 업무: Sonnet 5.5·GPT-6.1 Terra - 초안·빠른 처리: Fast and light 범주의 모델 - 실제 선택 시 추가 고려: 최고 모드의 점수뿐 아니라 응답 대기시간·토큰 사용량·과제당 비용 ### Independent testing upends the conventional wisdom - Claude의 긴 문맥 독주: 독립 측정에서 미확인 - 저가 모델의 추론 경쟁력: v5에서 다수 하락 / 대표 사례 DeepSeek V4 Pro - Grok의 사실성 주의: 4.5 환각률 54% 대 Astra 51%·Argon 15% - Grok 4.7: 직접 비교 가능한 환각률 부재 / 구버전 수치의 그대로 적용 금지 ### Limitations worth keeping in mind - 독립 출처: 4곳으로 제한 - 긴 문맥: 사실상 단일 시험인 AA-LCR에 의존 - 신규·틈새 모델: 부족한 측정 자료와 잠정 평가 - 지수 개편: 10월 27일 v5 전환 / 이전 Th 점수와 직접 비교 불가 - 측정 조건: 빌드·추론 모드·가격 적용 시점 차이에 대한 주의 ### The table is a starting point - 비교표의 역할: 최종 정답이 아닌 후보 선정의 출발점 - 실제 도입 전 필수 확인: 자체 업무 데이터에서의 정확도·비용·대기시간·개인정보 조건·라이선스 - 지속적인 변화: 가격 조정, 모델 갱신, 모델별 특성 - 원문의 예시: 여름철 GPT·DeepSeek 가격 인하 - 최종 판단 기준: 사용자의 실제 작업 경험 ## Sources - 원문 참고문헌: 발행일 또는 개정일 기준 최종 확인 - Claude 관련 - [CodeRabbit — Claude Fable 5 Model Review](https://www.coderabbit.ai/blog/fable-5-model-review) - [ChatPRD — My Honest Review of Claude Fable 5](https://www.chatprd.ai/how-i-ai/claude-fable-5-review) - [Newstex — Why Claude Fable 5 Struggles With Expert Level Research](https://www.newstex.com/blog/why-claude-fable-5-struggles-with-expert-level-research) - [Simon Willison — Initial impressions of Claude Fable 5](https://simonwillison.net/2026/Jun/9/claude-fable-5/) - [Haiku 5.5 가격 인하·추론 노력 제어 보도](https://letsdatascience.com/news/anthropic-releases-claude-haiku-55-with-lower-prices-and-eff-f698c663) - Gemini 관련 - [TechRadar — Gemini 3.1 Pro 사용자 평가](https://www.techradar.com/ai-platforms-assistants/gemini/google-just-upgraded-gemini-again-and-3-1-pro-more-than-doubles-its-ai-reasoning-power-but-some-users-arent-impressed) - [Gemini 3 모델 카드·안전 프레임워크 보고서 해설](https://thezvi.substack.com/p/gemini-3-model-card-and-safety-framework?r=67wny) - Grok 관련 - [TechCrunch — 문제 응답 수정에 관한 xAI 발표](https://techcrunch.com/2025/07/15/xai-says-it-has-fixed-grok-4s-problematic-responses) - [Malay Mail — 딥페이크 이미지 논란](https://www.malaymail.com/news/world/2026/01/10/musk-under-fire-as-groks-ai-image-tool-sparks-deepfake-nudes-scandal-despite-paywall-update/204903) - DeepSeek 관련 - [Semafor — 중국 AI 모델 검열 관련 연구](https://www.semafor.com/article/07/29/2026/censorship-in-chinese-ai-models-can-be-undone-new-research-shows) - [정부·규제기관의 DeepSeek 조사·제한 조치](https://finance.yahoo.com/news/factbox-governments-regulators-increase-scrutiny-095326244.html) - [DeepSeek 모델·가격 문서](https://api-docs.deepseek.com/quick_start/pricing) - 기타 모델·배포 자료 - [Mistral Large 4 공식 문서](https://docs.mistral.ai/models/mistral-large-4) - [GPT-6 Luna 데스크톱 앱 무료 제공 보도](https://www.notebookcheck.net/ChatGPT-Free-gets-GPT-6-Luna-but-only-in-the-desktop-app.1407282.0.html) - [GPT-6 Luna Free·Go 배포 일정](https://www.neoteo.com/en/openai-scheduled-gpt-6-luna-for-free-and-go-starting-oct-8) - [Step 5 Preview 가중치·모델 문서](https://huggingface.co/stepfun-ai/Step-5-Preview) - [Qwen 3.8 Max 공개 가중치 보도](https://letsdatascience.com/news/alibaba-releases-qwen38-max-open-model-weights-b63514d0) - 원문 참고문헌 7·10·20번: 항목 내용 공란