Metadata
<think>
The task is to translate an article from Quanta Magazine into Korean, following detailed translation guidelines. Let me carefully go through the text.
Key points from the guidelines:
1. Output must start with `# 문서 제목` (document title)
2. Use YAML `title` if available — here there's "Title: He Wants AI Benchmarking To Be a Science, Not a Dark Art | Quanta Magazine" but it's not YAML format exactly, it's metadata. I should probably use the title from the content. The title would be something like "그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다" or similar.
3. Keep markdown formatting intact
4. Translate with consistent style — this is a magazine interview article, so it should use formal polite style (~입니다/~합니다) or written style (~이다/~한다). For a magazine article, the body text usually uses "~다" style in Korean journalism. Interviews Q&A — the questions and answers should be consistent. Let me use "~다" style (문어체) as it's an article. Actually, Quanta articles in Korean translation often use "~이다/~하다" style. Let me use "~다" style consistently.
Wait, the guideline says: "문서의 내용과 문체, 어조에 따라 "~입니다, ~합니다, ~하세요" 채와 "~이다, ~한다, ~하라" 체 중 하나를 선택해서 일관되게 적용한다."
This is a magazine interview article. Korean magazine translations typically use "~다" style. I'll use "~다" style.
5. Terms in emphasis should be annotated with original in parentheses: e.g., 상태(state)
6. Proper nouns in Korean transliteration: OpenAI → 오픈AI, Anthropic → 앤트로픽, Moritz Hardt → 모리츠 하르트, Max Planck Institute → 막스 플랑크 연구소, Quanta Magazine → 퀀타 매거진, Defense Advanced Research Projects Agency → 국방고등연구계획국(DARPA), ImageNet → 이미지넷
7. Code not translated — no code here.
8. Remove extraneous web elements — "URL Source", "Published Time", "Next article", "How Do Fungi Keep the Planet Healthy?" at the end, image captions maybe keep as they're part of content? Image captions are part of the article content. The "Next article" section is a web page element, should be removed. Also "Markdown Content:" metadata should be removed. The first line should be `# 문서 제목`.
Let me think about the title. The article title: "He Wants AI Benchmarking To Be a Science, Not a Dark Art | Quanta Magazine"
Translation: "그는 AI 벤치마킹이 어둠의 기술이 아닌 과학이 되기를 바란다" — "Dark art" could be "검은 마법" or "어둠의 기술". Maybe "그는 AI 벤치마킹이 비과학적인 검은 마법이 아니라 과학이 되기를 원한다". Let me make it natural: "AI 벤치마킹을 검은 마법이 아닌 과학으로 만들고 싶은 사람" or "그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
I'll use: `# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진`
Hmm, or maybe just the title without "| Quanta Magazine"? The original has it, but it's part of the title. I could keep it or drop. The instruction says title should be used. I'll keep the main title, maybe without the magazine suffix since we mention Quanta elsewhere. Actually to be faithful, keep it: "그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진". Hmm, "Dark Art" — "다크 아트" is also used in Korean tech circles. "검은 마법" is a common translation for "dark magic". "어둠의 예술" doesn't quite work. I'll go with "검은 마법".
Subtitle: "Moritz Hardt, author of a new book on benchmarks, believes these "standardized tests" for artificial intelligence are fundamentally broken — but not unfixable."
Translation: "벤치마크에 관한 새 책의 저자인 모리츠 하르트는 인공지능을 위한 이러한 '표준화 시험'이 근본적으로 망가졌다고 믿지만, 고칠 수 없는 것은 아니라고 본다."
The quotes: 「」 or double quotes — keep as quotes. Per guideline, emphasized terms should have original annotation. "standardized tests" — 표준화 시험(standardized tests). Hmm, the guideline says quotes are considered emphasis. So: "표준화 시험(standardized tests)".
Image captions: keep them, translated. E.g., "" — the alt text. Should I translate the alt text? The guideline says images: `` markup maintained. The desc can be translated. ""
Let me now translate the whole article.
Body:
"The computer scientist Moritz Hardt calls benchmarks "the mistake that made machine learning." He's studied where they went wrong, and why they've managed to drive progress anyway."
"컴퓨터 과학자 모리츠 하르트(Moritz Hardt)는 벤치마크를 '머신러닝을 만든 실수'라고 부른다. 그는 벤치마크가 어디서 잘못되었는지, 그리고 어째서 그럼에도 진보를 이끌어낼 수 있었는지를 연구해 왔다."
"Jerrit Peinelt for _Quanta Magazine_" — photo credit: "Jerrit Peinelt 제공, _퀀타 매거진_" — Actually photo credits usually stay as "제공" or just keep the name. Let me do: "Jerrit Peinelt, _퀀타 매거진_ 제공" or keep "사진출처: Jerrit Peinelt for 퀀타 매거진". Hmm. Common Korean convention: "Jerrit Peinelt/퀀타 매거진" or "제공: Jerrit Peinelt". I'll use "Jerrit Peinelt 제공(_Quanta Magazine_)" — hmm, simpler: "_퀀타 매거진_ 제공, Jerrit Peinelt 촬영". Let me just do "Jerrit Peinelt 제공, _퀀타 매거진_". Actually, in Korean media, photo credits are often "제공: Jerrit Peinelt". I'll write "사진: Jerrit Peinelt(_퀀타 매거진_)". Hmm, italic markup should be preserved: _Quanta Magazine_ → _퀀타 매거진_. Let me keep it simple: "Jerrit Peinelt 제공(_퀀타 매거진_)". Wait — the guideline about 병기 is for emphasized terms. "Quanta Magazine" italic is just a publication name. I'll translate to 퀀타 매거진 with italics kept.
## Introduction → ## 서론 or ## 소개. "Introduction" in Quanta articles — I'll use "## 소개" or keep as "## 인터뷰 소개"? Just "## 소개" is fine. Or "## 서두". Hmm, "Introduction" is the section header before the intro text. I'll use "## 소개".
Actually, maybe better to keep it natural: Quanta's structure has "## Introduction" before the lead paragraphs. In Korean, "## 서론" works. Let me use "## 소개"... Hmm. For a magazine article, "서론" sounds academic. I'll go with "## 소개". Either is fine.
"Benchmarks are the rulers of AI, in both senses of the word. As measuring sticks, they work according to an extremely simple logic: If you want to know what an AI model can do, devise a standardized test to gauge it. But AI benchmarks can also dominate the behavior of the entire field."
"Benchmark는 AI의 자(ruler)이다 — 이 단어의 두 가지 의미 모두에서." "Ruler" means both measuring stick and one who rules. In Korean, 자(尺) means ruler for measuring, but "지배자" means ruler in the ruling sense. Translation: "벤치마크는 AI의 자(尺)이자 지배자다. 측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그것을 가늠하는 표준화된 시험을 만들면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행동을 지배하기도 한다."
I need to convey the double meaning: "벤치마크는 두 가지 의미에서 AI의 '통치자(ruler)'다. 측정자(ruler)로서..." Hmm. Let me phrase: "벤치마크는 두 가지 의미에서나 AI의 자(ruler)다. 측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다..."
Maybe: "벤치마크는 이 단어의 양쪽 의미 모두에서 AI의 자(ruler)이다. 측정자(尺度)로서..." Hmm, that's getting complicated. Let me write: "벤치마크는 두 가지 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서는 지극히 단순한 논리로 작동한다: AI 모델이 무엇을 할 수 있는지 알고 싶다면 그 능력을 가늠할 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 움직임을 좌우하기도 한다."
The wordplay: "rulers of AI, in both senses" — measuring sticks AND dominators. Korean: "벤치마크는 두 의미에서나 AI의 '자(尺)'이다" — "자" doesn't mean dominator in Korean. So I need to explain: "벤치마크는 AI의 자(尺)이자 지배자다" — this captures both. Let me go with: "벤치마크는 두 가지 의미 모두에서 AI의 지배자다. 측정 도구인 자(尺)로서..." Hmm, awkward.
Option: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI의 ruler(자, 지배자)다." That's clunky.
Let me write naturally: "벤치마크는 두 가지 의미에서 AI의 자(ruler)다. 측정 막대로서 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그것을 가늠할 표준화된 시험을 만들면 된다. 그런데 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
I think that works — "두 가지 의미에서" hints at the ruler double meaning, and "측정 막대" vs "지배" clarifies.
"In 1987, the Defense Advanced Research Projects Agency's first benchmark on automatic speech-to-text translation showed that state-of-the-art AI could not outperform so-called "dumb" statistical approaches. The poor performance helped to usher in an AI winter. For 25 years, interest in AI research waned and funding dried up."
"1987년, 미국 국방고등연구계획국(DARPA)의 첫 번째 음성-텍스트 자동 번역 벤치마크는 당대 최고 수준의 AI가 이른바 '멍청한' 통계적 접근법을 능가하지 못한다는 사실을 보여주었다. 이 저조한 성과는 AI 겨울의 막을 여는 데 일조했다. 이후 25년 동안 AI 연구에 대한 관심은 식었고, 연구 자금도 말라붙었다."
The link: "[first benchmark (opens a new tab)](https://arxiv.org/html/2404.06647v1#S5)" — the "(opens a new tab)" is a UI artifact, should probably remove or keep? It's part of the link text. It's web page artifact. The guideline says remove web page side elements. "(opens a new tab)" is a UI hint, I'd remove it. But careful — links should be preserved. I'll translate link text without "(opens a new tab)": "[첫 번째 벤치마크](https://arxiv.org/html/2404.06647v1#S5)".
"Then, in 2012, another benchmark called ImageNet swung the pendulum back. An eight-layer neural network trounced other algorithms at classifying images and kicked off a "deep learning revolution.""
"그러다 2012년, 이미지넷(ImageNet)이라는 또 다른 벤치마크가 진자를 다시 반대편으로 움직였다. 8층 신경망이 이미지 분류 경쟁에서 다른 알고리즘들을 크게 따돌리며 '딥러닝 혁명'의 서막을 열었다."
"Nowadays, new AI benchmarks, geared at large language models such as OpenAI's GPT-6 Astra, get created and solved with clockwork regularity, purporting to measure everything from domain-specific expertise to "general intelligence.""
"요즘은 오픈AI(OpenAI)의 GPT-6 아스트라 같은 대규모 언어 모델을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고 풀려나가며, 특정 분야 전문성부터 '일반 지능'에 이르기까지 모든 것을 측정한다고 주장한다."
Note: GPT-6 Astra is fictional (article is dated 2026). Keep as "GPT-6 Astra" → "GPT-6 아스트라".
"domain-specific expertise" is linked: "[domain-specific expertise](https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance)" → "[특정 분야 전문성](...)". And "'일반 지능(general intelligence)'" with link "[general intelligence](https://arcprize.org/arc-agi)".
"But rather than hail this trend as proof of AI's skyrocketing potential, many in the field — skeptics and boosters alike — take it as evidence that benchmarking itself has become fatally flawed."
"하지만 이 분야의 많은 사람들 — 회의론자든 낙관론자든 — 은 이 추세를 AI의 치솟은 잠재력의 증거로 환영하기는커녕, 벤치마킹 자체가 치명적으로 결함을 갖게 되었다는 증거로 받아들인다."
"[Moritz Hardt](https://mrtz.org/), a computer scientist and a director at the Max Planck Institute for Intelligent Systems, agrees with this diagnosis."
"막스 플랑크 지능 시스템 연구소 소속 컴퓨터 과학자이자 소장(디렉터)인 모리츠 하르트(Moritz Hardt)도 이 진단에 동의한다."
Note: "director" at Max Planck Institute — Max Planck directors are like department heads. "소장" might be misleading (that's institute head); "디렉터" is used for Max Planck directors in Korean. I'll say "막스 플랑크 지능 시스템 연구소의 컴퓨터 과학자이자 디렉터인 모리츠 하르트(Moritz Hardt)".
The link on his name: "[모리츠 하르트(Moritz Hardt)](https://mrtz.org/)".
"Shortly after the ImageNet result, he began to think that machine learning systems could game leaderboards "without doing anything intelligent." "There's no two ways about it," he said. "The benchmarking ecosystem is broken.""
"이미지넷 결과가 나온 직후, 그는 머신러닝 시스템이 '지능적인 것을 전혀 하지 않고도' 리더보드를 속일 수 있다고 생각하기 시작했다. '그건 두말할 것도 없다'고 그는 말했다. '벤치마킹 생태계는 망가졌다.'"
"In his 2026 book The Emerging Science of Machine Learning Benchmarks, Hardt makes the provocative case that these measuring sticks have been broken for decades already: Benchmarks, he writes, are "the mistake that made machine learning.""
"2026년 책 『머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)』에서 하르트는 이 측정 도구들이 이미 수십 년 전부터 망가져 있었다고 도발적으로 주장한다. 그는 책에서 벤치마크를 '머신러닝을 만든 실수'라고 적었다."
Book title in italics → 『』 or keep italics. The original: [_The Emerging Science of Machine Learning Benchmarks_ (opens a new tab)](https://mlbenchmarks.org/). It's a link with italics. I'll do: "[*머신러닝 벤치마크의 떠오르는 과학*(The Emerging Science of Machine Learning Benchmarks)](https://mlbenchmarks.org/)". Hmm, mixing link and book title annotation. Simpler: "하르트는 2026년 저서 [『머신러닝 벤치마크의 신흥 과학(The Emerging Science of Machine Learning Benchmarks)』](https://mlbenchmarks.org/)에서..."
"Notably, he argues, instead of creating a replicability crisis, they drove legitimate progress anyway — "mostly by sheer luck," in his view."
"주목할 점은, 그의 주장에 따르면 벤치마크가 재현성 위기를 초래하는 대신 정당한 진보를 이끌었다는 것이다 — 물론 그의 견해로는 '대부분 순전한 행운 덕분'이지만."
"By understanding why, we can explain how benchmarks have since lost this accidental credibility in the age of LLMs, and how they might regain it."
"그 이유를 이해하면 벤치마크가 이후 LLM 시대에 이 우연한 신뢰를 어떻게 잃었는지, 그리고 어떻게 되찾을 수 있을지 설명할 수 있다."
"_Quanta_ spoke to Hardt about what went wrong, and right, with benchmarks, and where to take them next. The interview has been condensed and edited for clarity."
"_퀀타_는 벤치마크에서 무엇이 잘못되고 무엇이 잘 됐는지, 그리고 앞으로 벤치마크를 어디로 이끌어야 할지에 대해 하르트와 이야기를 나눴다. 인터뷰는 이해를 돕기 위해 압축하고 편집했다."
Image captions:
"" → ""
"Hardt is fascinated by how benchmarks paradoxically helped start both a 25-year AI winter in the late 1980s and a deep learning revolution in the 2010s."
"하르트는 벤치마크가 역설적으로도 1980년대 후반의 25년짜리 AI 겨울과 2010년대의 딥러닝 혁명 양쪽의 시작을 도운 점에 매료되어 있다."
"Jerrit Peinelt for _Quanta Magazine_" → "Jerrit Peinelt 제공(_퀀타 매거진_)". Hmm, let me standardize: I'll use "Jerrit Peinelt 촬영, _퀀타 매거진_ 제공"? Actually "X for Y" in photo credit means photo by X for Y. Korean: "Jerrit Peinelt, _퀀타 매거진_" — simplest to keep as "사진 제공: Jerrit Peinelt(_퀀타 매거진_)". Let me just do "Jerrit Peinelt 제공(_퀀타 매거진_)". Hmm, since it appears multiple times, keep consistent: "Jerrit Peinelt 제공(_퀀타 매거진_)". Hmm — actually since the article is published BY Quanta, and photos by Jerrit Peinelt FOR Quanta. In Korean: "Jerrit Peinelt 촬영(_퀀타 매거진_ 제공)". I'll go with "Jerrit Peinelt 촬영(_퀀타 매거진_ 제공)". Hmm, but simpler might be better: "Jerrit Peinelt(_퀀타 매거진_)".
Let me settle: "사진: Jerrit Peinelt(_퀀타 매거진_)". Hmm, but "for" — I'll just do "Jerrit Peinelt 제공(_퀀타 매거진_)". Fine.
### Questions and answers:
"### **Let's get the basics straight: What even is a benchmark?**"
"### **기본부터 짚고 가자. 벤치마크는 대체 무엇인가?**"
Q&A headers are bold within ###.
"The recipe is simple. To evaluate a machine learning model, you take your data and split it into a training set and a test set. You let the model builders do whatever they want on the training set: Anything goes, no rules. But you use the test set only to compare and rank models — to have a leaderboard say, "This is currently state-of-the-art, this is number one, this is number two.""
"방법은 간단하다. 머신러닝 모델을 평가하려면 데이터를 훈련 세트와 테스트 세트로 나눈다. 모델 제작자들에게는 훈련 세트 위에서 뭘 하든 자유를 준다. 뭐든 허용, 규칙은 없다. 하지만 테스트 세트는 모델을 비교하고 순위를 매기는 데만 쓴다. 리더보드가 '지금 최고 수준은 이것, 1위는 이것, 2위는 이것'이라고 말하게 하기 위해서다."
Note terms: training set → 훈련 세트(training set), test set → 테스트 세트(test set). First mention with 병기.
"### **So a benchmark for a large language model today, like GPT-6 Astra or Claude Fable, might test an ability to solve difficult math problems or find security bugs in software.**"
"### **그렇다면 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델을 위한 벤치마크는 어려운 수학 문제를 푸는 능력이나 소프트웨어의 보안 버그를 찾는 능력을 시험할 수도 있겠군요.**"
Hmm, the question is written as a statement-confirmation. Let me translate: "### **즉 오늘날 GPT-6 아스트라나 클로드 페이블 같은 대규모 언어 모델용 벤치마크는 어려운 수학 문제를 푸는 능력이나 소프트웨어의 보안 버그를 찾는 능력을 시험할 수 있는 셈이군요.**"
Wait — style consistency: if I'm using "~다" style for the article, the questions (interview questions) might use "~는가/~습니까" or polite. The interviewer's questions in Korean magazine interviews are often in "~인가" style or polite "~까?" style. Since body is "~다" style, questions could be "~가?" style. But this particular Q is a declarative confirmation. Let me handle: "즉, 오늘날 GPT-6 아스트라나 클로드 페이블 같은 대규모 언어 모델을 위한 벤치마크는 어려운 수학 문제를 푸는 능력이나 소프트웨어의 보안 버그를 찾는 능력을 시험할 수도 있다는 말인가."
That works with ~다/나 style. Let me be consistent: questions end with "~인가", "~는가", "~은가", "~겠는가", "~다고 볼 수 있는가" etc.
"Right. The first benchmark, in fact, was created in 1959. It was a set of digits and letters printed on punch cards, meant to test how well different scanners could recognize written characters. Somebody introduced the train-test split and started a leaderboard."
"그렇다. 사실 첫 번째 벤치마크는 1959년에 만들어졌다. 천공 카드에 인쇄된 숫자와 문자의 집합으로, 서로 다른 스캐너가 손글씨 문자를 얼마나 잘 인식하는지 시험하기 위한 것이었다. 누군가 훈련-테스트 분할을 도입하고 리더보드를 시작한 것이다."
Hmm, "written characters" — 손으로 쓴 문자? It says OCR context — printed digits and letters on punch cards, "recognize written characters". Probably printed characters. "문자를 얼마나 잘 인식하는지" is safe. Let me say "글자를 얼마나 잘 인식하는지".
"It wasn't like there was some master plan. But that's what we now call benchmarking, and it's been the engine of progress in AI for about 60 years or so."
"거창한 계획이 있었던 것은 아니다. 하지만 그것이 지금 우리가 벤치마킹이라고 부르는 것이고, 약 60년 동안 AI 진보의 엔진이 되어 왔다."
"### **What are benchmarks supposed to tell us?**"
"### **벤치마크는 원래 우리에게 무엇을 알려줘야 하는가?**"
"Traditionally, a benchmark is supposed to be like a thermometer. People train a model to do something, and then you come up with some kind of measurement procedure to see how good the model is."
"전통적으로 벤치마크는 온도계 같은 것이어야 한다. 사람들이 모델을 훈련해 무언가를 하게 만들면, 그 모델이 얼마나 좋은지 알아보기 위한 일종의 측정 절차를 고안하는 식이다."
"But in practice, benchmarking is more like a sports competition or a market. Benchmarks define the rules of the game, and people actively compete over them, and we let the best model win."
"하지만 실제로 벤치마킹은 운동 경기나 시장에 가깝다. 벤치마크가 게임의 규칙을 정하고, 사람들이 그 규칙을 두고 활발히 경쟁하며, 최고의 모델이 이기도록 내버려두는 것이다."
Image 3 caption: "Hardt cautions that the scores AI models receive on benchmarks don't mean much. But comparisons, or rankings, among models do."
"하르트는 AI 모델이 벤치마크에서 받는 점수가 큰 의미가 없다고 경계한다. 하지만 모델 간의 비교, 즉 순위는 의미가 있다."
"### **Can't they be both? What's the problem?**"
"### **둘 다 될 수는 없는가? 문제는 무엇인가?**"
"Any machine learning textbook will tell you about the "holdout method" — that you should lock away the test set, and only use it once to rank the models. If you ignore this, you're on thin ice. You might get very misleading results because you're evaluating models that in some sense have knowledge of the test set."
"어떤 머신러닝 교과서를 봐도 '홀드아웃 방법(holdout method)'이 나온다. 테스트 세트를 잠가 두고, 모델의 순위를 매기는 데 딱 한 번만 쓰라는 것이다. 이를 무시하면 위험천만하다. 어떤 의미로 테스트 세트를 알고 있는 모델을 평가하는 셈이라, 결과가 크게 왜곡될 수 있다."
"The fascinating thing is that machine learning as a discipline just ignored the warning. It took all these test sets and put them on the internet for everyone to use. It's easy to put these test sets in a model's development loop and to keep iterating on them."
"흥미로운 것은 머신러닝이라는 학문이 그 경고를 그냥 무시해 버렸다는 점이다. 이런 테스트 세트들을 전부 인터넷에 올려 누구나 쓸 수 있게 한 것이다. 테스트 세트를 모델 개발 과정에 넣고 계속 반복해서 시험해 보기란 쉬운 일이다."
"### **Is that what's "broken" about benchmarks?**"
"### **벤치마크가 '망가졌다'는 게 바로 그건가?**"
"If you look at a model's accuracy numbers on one benchmark, and then you change the test set only slightly, you get completely different accuracy numbers. That's the sense in which the benchmark is not working. If you have 90% accuracy on one dataset and 73% on another, which is it? I have no idea how good this model is."
"한 벤치마크에서 모델의 정확도 수치를 본 다음, 테스트 세트를 아주 조금만 바꿔도 완전히 다른 정확도 수치가 나온다. 그런 의미에서 벤치마크는 작동하지 않는 것이다. 어떤 데이터셋에서 정확도가 90%, 다른 데이터셋에서 73%라면 어느 쪽이 맞는가? 이 모델이 얼마나 좋은지 나는 전혀 모른다."
"### **OpenAI, Anthropic, and other technology companies still advertise benchmark numbers as a measurement of their models' reasoning capabilities. Is that just nonsense?**"
"### **오픈AI와 앤트로픽(Anthropic) 같은 기술 기업들은 여전히 벤치마크 수치를 자사 모델의 추론 능력 측정치로 선전한다. 그건 그냥 헛소리인가?**"
"These scores really get misused. If you say, "On this math benchmark, the model got a 90%, which means that the model is now equivalent to an expert mathematician," you're reading something into that number that gives you the wrong takeaway. We should avoid comparisons or conclusions that implicitly require the absolute number to make sense."
"이런 점수는 실제로 오용된다. '이 수학 벤치마크에서 모델이 90%를 받았다. 즉 이 모델은 이제 전문 수학자에 버금간다'고 말하면, 그 숫자에 잘못된 해석을 덧씌우는 셈이다. 절대 수치가 의미를 갖는다고 암묵적으로 전제하는 비교나 결론은 피해야 한다."
Image 4 caption: ""There's something sad to the triumph of benchmarking, because it seems like we're giving up what science is actually about: understanding the mechanisms," Hardt said. "But benchmarking can, in the long run, lead to new scientific knowledge.""
"'벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것 같으니까'라고 하르트는 말했다. '하지만 벤치마킹은 장기적으로 새로운 과학적 지식으로 이어질 수 있다.'"
"### **If the absolute numbers don't make sense, how do you not end up with a replication crisis?**"
"### **절대 수치가 의미가 없다면 어떻게 재현성 위기(replication crisis)로 치닫지 않을 수 있는가?**"
"This is where things get really interesting. If, instead of absolute numbers, you look at rankings — relative comparisons between models — those rankings tend to be very stable across different datasets. And this has been pretty consistent across the history of machine learning. If one model gets 90% on a particular test set, and another model gets 80%, then the 90% model is the model you'd want to use in the real world. It'll still do better on other datasets, even ones that are quite different than the test set."
"여기서부터가 정말 흥미로운 부분이다. 절대 수치 대신 순위, 즉 모델 간의 상대적 비교를 보면, 그 순위는 서로 다른 데이터셋에서도 매우 안정적이다. 이는 머신러닝 역사 전반에 걸쳐 꽤 일관되게 나타난 현상이다. 어떤 모델이 특정 테스트 세트에서 90%를 받고 다른 모델이 80%를 받았다면, 실제 세계에서 쓸 모델은 90% 모델이다. 그 모델은 테스트 세트와 상당히 다른 다른 데이터셋에서도 여전히 더 좋은 성능을 낸다."
"That, to me, is the main reason why machine learning escaped a scientific crisis."
"내게 이것이 머신러닝이 과학적 위기를 벗어난 주된 이유다."
"### **That's surprising. So the 90% score doesn't have much validity, but the fact that it "won" the competition does?**"
"### **놀랍군요. 그러니까 90%라는 점수 자체는 큰 타당성이 없지만, 그 모델이 경쟁에서 '이겼다'는 사실에는 타당성이 있다는 건가?**"
"### **Yeah. So benchmarks tell you when you beat the previous best. And these improvement indicators are pretty reliable.**"
"### **맞다. 벤치마크는 이전 최고 기록을 넘어섰는지 알려준다. 그리고 이런 향상 지표는 꽤 신뢰할 만하다.**"
Hmm wait, the A: "Yeah. So benchmarks tell you when you beat the previous best. And these improvement indicators are pretty reliable."
"맞다. 벤치마크는 이전 최고 성적을 뛰어넘는 순간을 알려준다. 그리고 이런 향상 지표들은 꽤 신뢰할 만하다."
"But it's lucky that it worked as well as it did — we had no reason to expect this to be the case. And we don't yet have a good comprehensive theory for why this happens. It's mostly an empirical phenomenon."
"하지만 그렇게까지 잘 작동한 건 행운이었다. 이럴 거라고 예상할 근거는 없었다. 그리고 왜 이런 일이 일어나는지에 대해 아직 좋은 포괄적 이론도 없다. 대체로 경험적 현상일 뿐이다."
"### **But you also argue that now, in the era of large language models, benchmarks are no longer able to deliver this "accidental" reliability. Why not?**"
"### **하지만 당신은 이제 대규모 언어 모델 시대에 벤치마크가 더는 이 '우연한' 신뢰성을 제공하지 못한다고도 주장한다. 왜 그런가?**"
"The stability of model rankings has one big caveat: Models need to train on the same training set. In the old days, this was always true. But we don't know what LLMs were trained on. In fact, model builders can strategically assemble data mixes that best promote benchmark performance. It's a little bit like studying to the test, which we all do in high school."
"모델 순위의 안정성에는 큰 단서가 하나 있다. 모델들이 같은 훈련 세트로 훈련되어야 한다는 것이다. 예전에는 항상 그랬다. 하지만 LLM이 무엇으로 훈련되었는지 우리는 알지 못한다. 사실 모델 제작자들은 벤치마크 성능을 최대한 끌어올리는 데이터 조합을 전략적으로 만들 수 있다. 고등학교 시절 누구나 하던 시험 문제 유형 외우기와 비슷한 셈이다."
"studying to the test" — 시험에 맞춰 공부하기. "It's a little bit like studying to the test, which we all do in high school." → "고등학교 때 우리 모두가 하던, 시험에 맞춰 공부하기와 비슷하다."
"That's why we're currently in this benchmarking crisis — because it's no longer true that the better model necessarily wins. A worse model might just put more effort into preparing for the specific benchmark."
"그래서 우리는 지금 벤치마킹 위기에 처해 있다. 더 나은 모델이 반드시 이긴다는 명제가 더 이상 참이 아니기 때문이다. 더 나쁜 모델이 특정 벤치마크를 준비하는 데 더 많은 노력을 쏟을 수도 있다."
"This isn't really a crime: It happens every time a new model is released. If you look at the notes on the latest version of Gemini or GPT, you'll see that its performance on benchmarks that were released before the new model is often fantastic, while its performance on benchmarks released shortly after is way lower. That's always an indication that the model was "post-trained" on the earlier benchmark — what some people call "benchmaxxed." And it's generally accepted."
"이게 죄는 아니다. 새 모델이 나올 때마다 벌어지는 일이니까. 제미나이(Gemini)나 GPT 최신 버전의 릴리스 노트를 보면, 새 모델이 나오기 전에 공개된 벤치마크에서는 성능이 종종 놀랍도록 좋은 반면, 그 직후에 공개된 벤치마크에서는 성능이 훨씬 낮다. 이는 모델이 이전 벤치마크로 '사후 훈련(post-trained)'되었다는, 일부 사람들이 '벤치맥스(benchmaxx)'라 부르는 현상의 신호다. 그리고 이는 일반적으로 용인되고 있다."
Hmm "benchmaxxed" — "벤치맥스드" or "'벤치맥스(benchmaxx)'했다". Let me phrase: "일부 사람들이 '벤치맥스(benchmaxx)'라고 부르는 것".
"post-trained" — 사후 훈련. "the model was 'post-trained' on the earlier benchmark" → "모델이 이전 벤치마크로 '사후 훈련'됐다는 표시다".
Image 5 caption: "Hardt says that AI models should receive "altitude training" for benchmarks."
"하르트는 AI 모델이 벤치마크를 위한 '고지 훈련(altitude training)'을 받아야 한다고 말한다."
"### **Is there a way out of this benchmarking crisis, as you call it?**"
"### **당신이 부르는 그 벤치마킹 위기에서 빠져나갈 길이 있는가?**"
"Let me tell you a story: At the 1968 Olympics in Mexico City, there was an American runner who was vastly favored to win the 1,500-meter race. He lost unexpectedly to a runner from the Kenyan highlands, by a wide margin. The Kenyan runner had trained at high elevation and was better prepared for competing at 7,500 feet above sea level. It caused some controversy: Should we outlaw altitude training? The consensus in the end was, just let everyone do it."
"한 이야기를 해보자. 1968년 멕시코시티 올림픽에서 1,500미터 경주 우승의 유력한 후보로 꼽히던 미국 육상 선수가 있었다. 그는 케냐 고원지대 출신 선수에게 뜻밖에도 큰 격차로 졌다. 케냐 선수는 고지대에서 훈련했고, 해발 7,500피트(약 2,300미터) 상공에서 경기하는 데 더 잘 준비되어 있었던 것이다. 논란이 좀 일었다. 고지 훈련을 금지해야 하는가? 최종적으로 합의된 결론은, 그냥 모두가 하도록 내버려두자는 것이었다."
Wait — 7,500 feet ≈ 2,286 meters. Mexico City altitude is ~2,240m. The article says "7,500 feet above sea level". Keep "해발 7,500피트" — maybe add conversion? Don't add too much. Just "해발 7,500피트". Fine.
"The problem is not so much that people optimize to the benchmarks — it's that they optimize to different degrees. If everyone optimizes, or "altitude trains," the absolute numbers will be inflated, but you can restore the validity of the rankings."
"문제는 사람들이 벤치마크에 맞춰 최적화한다는 것 자체가 아니라, 저마다 최적화하는 정도가 다르다는 데 있다. 모두가 최적화한다면, 즉 모두가 '고지 훈련'을 한다면 절대 수치는 부풀려지겠지만 순위의 타당성은 회복할 수 있다."
"### **What would altitude training for AI benchmarks look like?**"
"### **AI 벤치마크를 위한 고지 훈련은 어떤 모습일까?**"
"We don't know ahead of time what went into these models, but we can train them for a little bit on benchmark-relevant data, just to make sure that we're leveling the playing field somewhat."
"이 모델들에 무엇이 들어갔는지 미리 알 수는 없지만, 최소한 어느 정도 공평한 조건을 만들기 위해 벤치마크와 관련된 데이터로 모델을 조금 훈련시킬 수는 있다."
"In this new view of benchmarks, you would have no training set. You would have a test set, and you would also have some kind of protocol for preparing each of the models before you test them — that's the altitude training."
"이 새로운 벤치마크 관점에서는 훈련 세트가 없다. 테스트 세트가 있고, 모델들을 시험하기 전에 각 모델을 준비시키는 일종의 프로토콜이 있다. 그것이 바로 고지 훈련이다."
"### **But even if this works, we're just back to where we started: progress indicators, but no valid measurements. Without that, how can we learn anything about how the models work?**"
"### **하지만 이게 작동하더라도 결국 원점으로 돌아가는 셈 아닌가. 진보 지표는 있지만 타당한 측정은 없다. 그렇다면 모델이 어떻게 작동하는지에 대해 어떻게 무언가를 알아낼 수 있는가?**"
"This is a really interesting question. There's something sad to the triumph of benchmarking, because it seems like we're giving up what science is actually about: understanding the mechanisms. But if we had some kind of grand mathematical theory to build these models with, we wouldn't need the benchmarks."
"정말 흥미로운 질문이다. 벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것처럼 보이니까. 하지만 이런 모델들을 만들 수 있는 거창한 수학 이론이 있다면 벤치마크는 필요 없었을 것이다."
"We don't know how these models do it, and benchmarking won't tell us."
"우리는 이 모델들이 어떻게 그러는지 모르고, 벤치마킹도 그 답을 알려주지 않을 것이다."
"But benchmarking can, in the long run, lead to new scientific knowledge. The CASP protein-folding benchmark advanced science without first insisting on a scientific theory of protein folding. That's the paradoxical power of benchmarking in the sciences."
"하지만 벤치마킹은 장기적으로 새로운 과학적 지식으로 이어질 수 있다. CASP 단백질 접힘 벤치마크는 단백질 접힘에 대한 과학 이론을 먼저 요구하지 않고도 과학을 발전시켰다. 그것이 과학에서 벤치마킹이 지닌 역설적 힘이다."
"protein folding" → "단백질 접힘(protein folding)".
Image 6 and "Next article / How Do Fungi Keep the Planet Healthy?" — these are web page elements, should be removed per guidelines ("문서 내용과 상관 없는 광고 문구나 메타 정보, 웹페이지 부수 요소 등은 제거한다"). So remove Image 6 and the "Next article" section.
Also the metadata at top (Title:, URL Source:, Published Time:, Markdown Content:) should be removed, and the output should start with `# 문서 제목`.
Title: Let me finalize. "He Wants AI Benchmarking To Be a Science, Not a Dark Art | Quanta Magazine"
Korean: "그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
Or without "| Quanta Magazine": Since output format says first line must be `# 문서 제목`, and the title includes the magazine name. I think keeping the main part is cleaner: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다". Hmm, but "Dark Art" — "검은 마법" is standard for "dark magic". "Dark art" is more like "암흑 기술" or "어둠의 예술". In Korean tech journalism, "다크 아트" is sometimes used directly. "검은 마법" conveys the "not a science, esoteric craft" sense. I'll use "검은 마법".
Full title: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
Hmm, maybe drop "| 퀀타 매거진" — it's part of the scraped title though. I'll keep it for faithfulness. Actually, many translations drop the source suffix. But guidelines say title from YAML `title` or first `# `. Here the "Title:" line is metadata (not YAML). The text has no markdown `# ` heading. So I should generate a title from the content or use the metadata title. I'll use the metadata title translated. I'll keep "| 퀀타 매거진"? It looks a bit odd in a document title. I'll include it since it's part of the title... Actually, let me drop it — it's a site-branding artifact. Hmm. The instruction says "문서 제목은 ... 없으면 문서 내용을 요약해서 생성해." The Title metadata exists, so use it. I'll use the full translated title without the pipe suffix for cleanliness? I think keeping it is more faithful. Let me keep: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
Hmm, actually for a clean document, I'd drop "| 퀀타 매거진" because the article body itself references Quanta. But faithfulness to title... I'll keep it. Final: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
Now, the subtitle line: "Moritz Hardt, author of a new book on benchmarks, believes these "standardized tests" for artificial intelligence are fundamentally broken — but not unfixable."
"벤치마크에 관한 새 책의 저자인 모리츠 하르트(Moritz Hardt)는 인공지능을 위한 이런 '표준화 시험'이 근본적으로 망가졌다고 믿는다. 하지만 고칠 수 없는 것은 아니라고 본다."
Style check: The article uses "~다" style throughout. Interview questions — I'm using "~는가/~인가" endings which matches "~다"체. Answers in "~다"체. Good.
Now about the Q&A headers: they're formatted as "### **question**". I'll keep that format.
Also "### **So a benchmark ...**" — the question includes two links. Keep them:
"### **즉 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델용 벤치마크는 [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath)이나 [소프트웨어의 보안 버그를 찾는 능력](https://arxiv.org/abs/2605.14153)을 시험할 수도 있다는 말인가.**"
Wait the links in original: "**solve difficult math problems**" bold within header — the header is already bold (### **...**). The links: [**solve difficult math problems** (opens a new tab)](https://epoch.ai/frontiermath). I'll simplify: [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath). The bold markers inside — original: "might test an ability to**[**solve difficult math problems** (opens a new tab)]**..." it's messy. I'll just render links without inner bold, since the whole line is bold anyway.
Let me also double check: "GPT-6 Astra" — fictional name, keep "GPT-6 아스트라". "Claude Fable" — fictional, "클로드 페이블". Both get 병기? The guideline says emphasized major terms get 병기. Model names — transliterate with original in parens for clarity: "GPT-6 아스트라(GPT-6 Astra)" hmm redundant. Since these are fictional/uncommon, providing the original helps: "클로드 페이블(Claude Fable)". For GPT-6 Astra, "GPT-6 아스트라" is clear enough; maybe no need for 병기. But to be safe I could add. Hmm, I'll do "오픈AI의 GPT-6 아스트라(Astra)" first mention, and "클로드 페이블(Claude Fable)".
Actually in the subtitle/body first mention: "OpenAI's GPT-6 Astra" — "오픈AI(OpenAI)의 GPT-6 아스트라(Astra)". Hmm, "오픈AI(OpenAI)" per guideline example "OpenAI → 오픈AI". Should I 병기 OpenAI? The guideline example shows 오픈AI is the standard transliteration; 병기 is for emphasized terms. Company names don't need 병기 necessarily, but for less-known terms it helps. Anthropic → 앤트로픽. Max Planck Institute for Intelligent Systems → 막스 플랑크 지능 시스템 연구소. DARPA: "Defense Advanced Research Projects Agency" → "국방고등연구계획국(DARPA)".
Let me also handle "Quanta Magazine" → "퀀타 매거진", with italics preserved where original had italics (_Quanta_ → _퀀타_).
Now assemble everything with image captions translated, alt text translated, links preserved.
Image 1 alt: "Man sitting on a green couch." → "초록색 소파에 앉아 있는 남자."
URL: keep as is.
Caption after image 1 is actually the caption text: "The computer scientist Moritz Hardt calls benchmarks "the mistake that made machine learning." He's studied where they went wrong, and why they've managed to drive progress anyway." — This is the lede caption text.
"컴퓨터 과학자 모리츠 하르트(Moritz Hardt)는 벤치마크를 '머신러닝을 만든 실수'라고 부른다. 그는 벤치마크가 어디서 잘못됐는지, 그리고 그럼에도 어떻게 진보를 이끌어냈는지를 연구해 왔다."
Quotes: The original uses double quotes. Korean convention would use ' ' or " ". I'll use single quotes '...' for quotes within text (Korean style often uses ' ' for emphasis quotes). But guideline says preserve quote marks... it says 「」, <>, 따옴표 등으로 강조된 주요 용어는 소괄호로 원문을 병기 — i.e., quoted terms get (English) annotation. It doesn't mandate keeping the exact quote style. I'll use ' ' for quoted phrases, and add (English) for key terms like "머신러닝을 만든 실수(the mistake that made machine learning)". Hmm, should I annotate that? It's a notable coined phrase. Yes, first occurrence annotate.
Em-dashes: Korean text can use — or just restructure. I'll keep some em dashes where natural, or restructure.
Let me also reconsider: "Benchmarks are the rulers of AI, in both senses of the word."
Korean: "벤치마크는 이 말의 두 가지 의미 모두에서 AI의 지배자다." — "ruler" = 측정자(자) + 통치자. To convey: "벤치마크는 두 가지 의미 모두에서 AI의 자(ruler)다. 측정 도구로서는..." Hmm, "자(尺)" alone doesn't convey ruler-ruler. Let me write: "벤치마크는 두 가지 의미에서 AI의 ruler다. 측정 자(尺)로서 벤치마크는..." — mixing English is bad.
Alternative: "벤치마크는 이 단어가 가진 두 의미 모두에서 AI의 지배자다. 측정 도구로서 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그것을 가늠하는 표준화된 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
This loses the explicit "ruler" pun but conveys both meanings: measuring (측정 도구) and dominating (지배). Actually "지배자" in first sentence + "측정 도구" — the pun is "in both senses". My translation says "두 의미 모두에서 AI의 지배자다" — but measuring stick isn't a "지배자". Hmm. Let me do: "벤치마크는 두 가지 의미에서나 AI의 자(ruler)다. 측정하는 자로서..." — "자" is the Korean word for ruler ( measuring stick, 尺). "측정하는 자(尺)" vs "다스리는 자" — the word "자" also means "person" (者)! That's a nice pun in Korean actually: 자(尺) measuring stick, and ~하는 자 (one who does). Hmm: "벤치마크는 두 가지 의미에서 AI의 자(尺)다" doesn't read as pun to most.
Simplest: "벤치마크는 두 가지 의미에서 AI의 지배자(ruler)다. 첫째 의미의 측정 도구(자)로서..." — clunky.
Let me try: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI를 다스린다. 측정 자(尺)로서는 지극히 단순한 논리로 작동한다..." Hmm.
I'll go with: "벤치마크는 두 가지 의미 모두에서 AI의 자(ruler)다. 측정 막대로서의 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면 그 능력을 가늠할 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 움직임을 지배하기도 한다."
Hmm "AI의 자(ruler)다" — with 병기 (ruler) it hints the pun. Then "측정 막대로서" and "지배하기도 한다" flesh out both senses. I think that's acceptable and fairly elegant. Actually, maybe better: "벤치마크는 이 단어의 두 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서..." — "지배자(ruler)" then explain: as measuring sticks they... but AI benchmarks can also dominate. The "both senses" then refers to measuring stick & dominator. Let me restructure:
"벤치마크는 두 가지 의미에서나 AI의 ruler다 — 곧 측정 도구인 동시에 지배자다." Hmm, using English word... no.
Final choice: "벤치마크는 두 가지 의미 모두에서 AI의 자(ruler)다. 측정 막대로서 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그 능력을 가늠하는 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
Hmm, "AI의 자(ruler)" might confuse. Alternative that's cleaner: "벤치마크는 측정 도구인 동시에 AI 분야의 지배자다." — directly gives both senses, natural. Then: "측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다..." This loses "in both senses of the word" wordplay but communicates perfectly. Actually the wordplay is nice to keep. Let me do: "벤치마크는 이 단어의 양쪽 의미 모두에서 AI의 지배자다. 측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그것을 가늠하는 표준화 시험을 만들면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 좌우하기도 한다."
Hmm "측정 도구로서의 벤치마크는... 지배자" mismatch remains but the reader gets it: ruler = measuring stick + dominator. I could add "(ruler)" annotation to 지배자: "AI의 지배자(ruler)다" — annotation clarifies the pun since "ruler" means both.
Final: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그것을 가늠하는 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
OK good enough.
Now "The recipe is simple." — "레시피는 간단하다." Fine, or "방법은 간단하다." I'll use "방법은 간단하다."
"Anything goes, no rules." — "뭐든 허용, 규칙은 없다." Good, punchy.
"to have a leaderboard say, 'This is currently state-of-the-art, this is number one, this is number two.'" — "리더보드가 '현재 최고 수준(SOTA)은 이것, 1위는 이것, 2위는 저것'이라고 말하게 하기 위해서다." Keep simple: "리더보드에 '지금 최고 성적은 이 모델, 1위는 이것, 2위는 저것'이라고 말하게 하려는 것이다."
Holdout method: "홀드아웃 방식(holdout method)".
"you're on thin ice" — "얼음 위를 걷는 격이다" or "위험천만하다". Korean idiom: "얇은 얼음 위를 걷는 셈이다". I'll use that, it's vivid and natural.
"It took all these test sets and put them on the internet for everyone to use." — "머신러닝 분야는 이런 테스트 세트들을 모조리 인터넷에 올려 누구나 쓸 수 있게 해 버렸다."
"It's easy to put these test sets in a model's development loop and to keep iterating on them." — "테스트 세트를 모델 개발 순환 과정에 넣고 그 위에서 계속 반복 개선하기란 쉬운 일이다."
"If you have 90% accuracy on one dataset and 73% on another, which is it? I have no idea how good this model is." — "한 데이터셋에서는 90%, 다른 데이터셋에서는 73%의 정확도라면 어느 쪽을 믿어야 하는가? 이 모델이 얼마나 좋은지 나로서는 전혀 알 수 없다."
"These scores really get misused." — "이런 점수는 실제로 오용되곤 한다."
"We should avoid comparisons or conclusions that implicitly require the absolute number to make sense." — "절대 수치가 의미를 갖는다고 암묵적으로 전제해야만 성립하는 비교나 결론은 피해야 한다."
"If the absolute numbers don't make sense, how do you not end up with a replication crisis?" — "절대 수치가 의미가 없다면, 어떻게 재현성 위기(replication crisis)에 빠지지 않을 수 있겠는가?"
"how do you not end up with" — double negative: "어떻게 ...하지 않을 수 있나" i.e., "왜 재현성 위기가 생기지 않는가". Actually the question asks: given meaningless absolute numbers, why doesn't replication crisis happen? So: "절대 수치가 의미가 없다면 어떻게 재현성 위기를 피할 수 있는가?" That captures it.
Answer: "This is where things get really interesting." — "바로 여기서 이야기가 정말 흥미로워진다."
"That, to me, is the main reason why machine learning escaped a scientific crisis." — "머신러닝이 과학적 위기를 피할 수 있었던 주된 이유는 바로 이것이라고 나는 본다."
"That's surprising. So the 90% score doesn't have much validity, but the fact that it 'won' the competition does?" — "뜻밥이군요. 그러니까 90%라는 점수 자체에는 별 타당성이 없지만, 경쟁에서 '이겼다'는 사실에는 타당성이 있다는 말인가."
Hmm, style: interviewer questions — since body is ~다체, questions in ~군요/~습니까 might clash. Korean interview transcripts often mix: questions in "~ㄴ가" style matches written style. "뜻밥이군요" is polite spoken. For consistency with "~는가" style questions, maybe "뜻밖의 결과다. 그러니까..." Hmm. Let me use consistent written style: "놀랍다. 그렇다면 90%라는 점수 자체는 별 타당성이 없지만, 경쟁에서 '이겼다'는 사실은 타당성이 있다는 건가."
Actually, hmm, thinking about it more: many Korean translations of Quanta interviews use polite style for questions ("~인가요?" or "~습니까?"). But the guideline demands consistency. Mixed style within Q&A vs narration is allowed ("대화문이나 예시문은 문맥에 따라 기본 문체와 다른 문체 사용 가능"). Interview Q&A could be treated as dialogue → polite style for questions, answers could be ~다체 or polite. But mixing within Q&A would be odd.
Simplest consistent choice: everything in ~다체, questions with ~는가/~인가/~은가 endings. This reads like a written interview transcript in a serious magazine. I'll do that. For "That's surprising." → "놀랍군요." would be polite; instead "의외다." or "뜻밖이다." Let me write: "뜻밖이네요" no — "뜻밖이다."
"### **That's surprising. So the 90% score doesn't have much validity, but the fact that it "won" the competition does?**"
→ "### **뜻밖이다. 그러니까 90%라는 점수 자체는 별 타당성이 없지만, 경쟁에서 '이겼다'는 사실에는 타당성이 있다는 건가?**"
"Yeah. So benchmarks tell you when you beat the previous best. And these improvement indicators are pretty reliable."
→ "그렇다. 벤치마크는 이전 최고 기록을 넘어서는 순간을 알려준다. 그리고 이런 향상 지표는 꽤 신뢰할 만하다."
"But it's lucky that it worked as well as it did — we had no reason to expect this to be the case. And we don't yet have a good comprehensive theory for why this happens. It's mostly an empirical phenomenon."
→ "하지만 그렇게까지 잘 맞아떨어진 건 행운이었다. 그럴 것이라고 예상할 이유는 없었다. 게다가 왜 그런 일이 일어나는지에 대한 훌륭한 포괄 이론은 아직 없다. 대체로 경험적으로 관찰되는 현상일 뿐이다."
"But you also argue that now, in the era of large language models, benchmarks are no longer able to deliver this "accidental" reliability. Why not?"
→ "### **하지만 당신은 이제 대규모 언어 모델(LLM) 시대에 벤치마크가 더는 이런 '우연한' 신뢰성을 제공하지 못한다고도 주장한다. 왜 그런가?**"
Note: LLM appears earlier ("in the age of LLMs"). First LLM mention: in the intro paragraph "By understanding why, we can explain how benchmarks have since lost this accidental credibility in the age of LLMs". I'll annotate there: "LLM(대규모 언어 모델) 시대" or "LLM 시대". Actually "large language models" appears first in "geared at large language models such as OpenAI's GPT-6 Astra" — "대규모 언어 모델(large language model)". Then later "the age of LLMs" — "LLM 시대". Good.
"The stability of model rankings has one big caveat: Models need to train on the same training set."
→ "모델 순위의 안정성에는 크나큰 단서가 하나 있다. 모델들이 같은 훈련 세트로 훈련되어야 한다는 것이다."
"In the old days, this was always true. But we don't know what LLMs were trained on."
→ "예전에는 항상 그랬다. 하지만 LLM이 무엇으로 훈련됐는지는 우리도 모른다."
"In fact, model builders can strategically assemble data mixes that best promote benchmark performance. It's a little bit like studying to the test, which we all do in high school."
→ "사실 모델 제작자들은 벤치마크 성능을 최대한 끌어올려 주는 데이터 조합을 전략적으로 꾸릴 수 있다. 고등학교 시절 누구나 하던 '시험에 맞춘 공부'와 비슷한 셈이다."
"That's why we're currently in this benchmarking crisis — because it's no longer true that the better model necessarily wins. A worse model might just put more effort into preparing for the specific benchmark."
→ "그래서 우리는 지금 이 벤치마킹 위기 한복판에 있는 것이다. 더 나은 모델이 반드시 이긴다는 공식이 더 이상 성립하지 않기 때문이다. 더 나쁜 모델이 특정 벤치마크 대비에 더 많은 노력을 쏟붓기만 하면 그만이니까."
"This isn't really a crime: It happens every time a new model is released."
→ "이게 하려는 죄는 아니다. 새 모델이 출시될 때마다 벌어지는 일이니까."
"If you look at the notes on the latest version of Gemini or GPT, you'll see that its performance on benchmarks that were released before the new model is often fantastic, while its performance on benchmarks released shortly after is way lower."
→ "제미나이(Gemini)나 GPT 최신 버전의 릴리스 노트를 보면, 새 모델이 나오기 전에 공개된 벤치마크에서의 성능은 종종 놀랍도록 훌륭한 반면, 그 직후에 공개된 벤치마크에서의 성능은 훨씬 낮다."
"That's always an indication that the model was 'post-trained' on the earlier benchmark — what some people call 'benchmaxxed.' And it's generally accepted."
→ "그건 모델이 이전 벤치마크로 '사후 훈련(post-training)'됐다는 신호다. 어떤 사람들은 이를 '벤치맥스(benchmaxx)'라고 부른다. 그리고 이는 대체로 용인되고 있다."
"### **Is there a way out of this benchmarking crisis, as you call it?**"
→ "### **당신이 말하는 이 벤치마킹 위기에서 빠져나올 방법이 있는가?**"
"Let me tell you a story: At the 1968 Olympics in Mexico City, there was an American runner who was vastly favored to win the 1,500-meter race. He lost unexpectedly to a runner from the Kenyan highlands, by a wide margin. The Kenyan runner had trained at high elevation and was better prepared for competing at 7,500 feet above sea level. It caused some controversy: Should we outlaw altitude training? The consensus in the end was, just let everyone do it."
→ "한 가지 이야기를 해 보겠다. 1968년 멕시코시티 올림픽에서 1,500미터 종목 우승의 압도적 유력 후보로 꼽힌 미국 선수가 있었다. 그는 케냐 고원지대 출신 선수에게 뜻밖에도 큰 격차로 패했다. 케냐 선수는 고지대에서 훈련해 왔고, 해발 7,500피트의 고도에서 치르는 경기를 위해 더 잘 준비되어 있었던 것이다. 논란이 일었다. 고지 훈련을 불법으로 만들어야 하나? 최종적으로 내려진 결론은, 모두가 하도록 그냥 내버려두자는 것이었다."
"The problem is not so much that people optimize to the benchmarks — it's that they optimize to different degrees. If everyone optimizes, or 'altitude trains,' the absolute numbers will be inflated, but you can restore the validity of the rankings."
→ "문제는 사람들이 벤치마크에 맞춰 최적화한다는 사실 자체가 아니라, 저마다 최적화하는 정도가 다르다는 데 있다. 모두가 최적화한다면, 즉 모두가 '고지 훈련'을 한다면 절대 수치는 부풀어 오르겠지만 순위의 타당성은 되찾을 수 있다."
"### **What would altitude training for AI benchmarks look like?**"
→ "### **AI 벤치마크에서의 고지 훈련은 어떤 모습일까?**"
"We don't know ahead of time what went into these models, but we can train them for a little bit on benchmark-relevant data, just to make sure that we're leveling the playing field somewhat."
→ "이 모델에 무엇이 들어갔는지 사전에 알 방법은 없지만, 최소한 어느 정도 공평한 경쟁 조건을 만들기 위해 벤치마크 관련 데이터로 모델을 잠깐 훈련시킬 수는 있다."
"In this new view of benchmarks, you would have no training set. You would have a test set, and you would also have some kind of protocol for preparing each of the models before you test them — that's the altitude training."
→ "이 새로운 벤치마크 관점에서는 훈련 세트가 없다. 테스트 세트가 있고, 시험에 들어가기 전에 각 모델을 준비시키는 일종의 프로토콜이 있을 뿐이다. 그것이 곧 고지 훈련이다."
"### **But even if this works, we're just back to where we started: progress indicators, but no valid measurements. Without that, how can we learn anything about how the models work?**"
→ "### **하지만 이 방식이 잘 작동하더라도 결국 출발점으로 돌아오는 셈 아닌가. 진보 지표는 있지만 타당한 측정치는 없다. 그렇다면 모델이 어떻게 작동하는지 어떻게 알아낼 수 있겠는가?**"
"This is a really interesting question. There's something sad to the triumph of benchmarking, because it seems like we're giving up what science is actually about: understanding the mechanisms. But if we had some kind of grand mathematical theory to build these models with, we wouldn't need the benchmarks."
→ "정말 흥미로운 질문이다. 벤치마킹의 승리에는 어딘가 씁쓸한 구석이 있다. 마치 우리가 과학의 진짜 본질인 메커니즘 이해를 포기하는 것처럼 보이기 때문이다. 하지만 이런 모델들을 만들 거창한 수학 이론이 존재했다면, 애초에 벤치마크는 필요 없었을 것이다."
"We don't know how these models do it, and benchmarking won't tell us."
→ "우리는 이 모델들이 어떻게 그러는지 모른다. 그리고 벤치마킹도 그 비밀을 풀어주지 못할 것이다."
Hmm "benchmarking won't tell us" — "벤치마킹은 그 답을 알려주지 않는다." OK.
"But benchmarking can, in the long run, lead to new scientific knowledge. The CASP protein-folding benchmark advanced science without first insisting on a scientific theory of protein folding. That's the paradoxical power of benchmarking in the sciences."
→ "하지만 벤치마킹은 장기적으로 새로운 과학적 지식을 낳을 수 있다. CASP 단백질 접힘(protein folding) 벤치마크는 단백질 접힘에 대한 과학 이론을 선행 요구하지 않고도 과학을 앞으로 나아가게 했다. 그것이 과학에서 벤치마킹이 발휘하는 역설적인 힘이다."
CASP link: "[CASP protein-folding benchmark](https://www.quantamagazine.org/how-ai-revolutionized-protein-science-but-didnt-end-it-20240626/)" → "[CASP 단백질 접힘 벤치마크](link)".
Now the "Next article" section at the end — remove. Also image 6 — it's a promo image ("JOW-S5-E10...") for next article. Remove it along with "Next article" and "How Do Fungi Keep the Planet Healthy?" since they're webpage side elements.
Also should I remove "## Introduction"? It's a section header in the article. Quanta uses it. It's part of the article content arguably. I'll keep it as "## 소개". Hmm, actually it could be considered a web element... but it's a section heading within the article. Keep.
Photo credit lines: "Jerrit Peinelt for _Quanta Magazine_" — I'll render as "Jerrit Peinelt 촬영, _퀀타 매거진_ 제공" hmm. Let me think once more. "X for Y" = photo taken by X for Y. Korean photo credits: "사진 출처: Jerrit Peinelt/퀀타 매거진". I'll do: "Jerrit Peinelt 제공(_퀀타 매거진_)"? That reads as "provided by Jerrit Peinelt (Quanta)". Or "사진: Jerrit Peinelt(_퀀타 매거진_)". I'll go with "사진: Jerrit Peinelt(_퀀타 매거진_)" — clean and standard. Wait, but original doesn't say "photo:". Keep close: "Jerrit Peinelt 촬영(_퀀타 매거진_)". Hmm, "for" ≈ "~을 위해 촬영". "Jerrit Peinelt 촬영, _퀀타 매거진_" — I'll use "Jerrit Peinelt 촬영(_퀀타 매거진_)". OK final.
Actually let me simplify and keep closer to original: "Jerrit Peinelt 제공, _퀀타 매거진_" hmm. Decide: **"Jerrit Peinelt 촬영(_퀀타 매거진_)"**. Done.
Also caption under image 1 is actually the lede: "The computer scientist Moritz Hardt calls benchmarks..." That's the article's caption + lede combined. Keep as body text.
Now, the subtitle after title — in the original it's plain text: "Moritz Hardt, author of a new book on benchmarks, believes these "standardized tests" for artificial intelligence are fundamentally broken — but not unfixable."
I'll render it as an intro paragraph (maybe italic or plain). I'll keep as plain paragraph right after title.
"standardized tests" 병기: "표준화 시험(standardized test)".
Check: "these 'standardized tests' for artificial intelligence are fundamentally broken — but not unfixable" → "인공지능을 위한 이런 '표준화 시험(standardized tests)'이 근본적으로 망가졌다고 믿는다. 다만 고칠 수 없는 것은 아니라고 본다."
Now let me also double-check the question "### **Let's get the basics straight: What even is a benchmark?**" → "### **기본기부터 다지자. 벤치마크란 대체 무엇인가?**" or "### **기본을 확실히 하고 가자. 벤치마크란 도대체 무엇인가?**". I'll use: "### **기본부터 확실히 하자. 벤치마크란 대체 무엇인가?**"
Hmm "Let's get the basics straight" — "기본 개념부터 짚고 넘어가자." Good: "### **기본 개념부터 짚고 가자. 벤치마크란 대체 무엇인가?**"
"### **What are benchmarks supposed to tell us?**" → "### **벤치마크는 본래 우리에게 무엇을 알려줘야 하는가?**"
"### **Can't they be both? What's the problem?**" → "### **둘 다의 역할을 할 수는 없는가? 문제가 되는 부분은 무엇인가?**"
"### **Is that what's "broken" about benchmarks?**" → "### **벤치마크가 '망가졌다'는 것이 바로 이런 뜻인가?**"
"### **OpenAI, Anthropic, and other technology companies still advertise benchmark numbers as a measurement of their models' reasoning capabilities. Is that just nonsense?**"
→ "### **오픈AI와 앤트로픽 등 다른 기술 기업들도 여전히 벤치마크 수치를 자사 모델 추론 능력의 척도로 내세운다. 그건 그저 헛소리인가?**"
Hmm "Is that just nonsense?" — "그건 그냥 엉터리인가?" I'll use "그건 단순히 엉터리인가?" or "그건 그저 헛소리인가?" — slightly informal but conveys. Let me use "그건 그저 무의미한 말인가?" Hmm. The blunt tone matters. "헛소리" might be too crude for a magazine; "nonsense" is blunt in English too. I'll use "그건 그저 엉터리인가?"
"### **If the absolute numbers don't make sense, how do you not end up with a replication crisis?**"
→ "### **절대 수치가 의미가 없다면 어떻게 재현성 위기(replication crisis)로 치닫지 않을 수 있는가?**"
Wait, this asks: given the numbers are meaningless, why doesn't a replication crisis arise? "how do you not end up with X" = "어떻게 X에 빠지지 않을 수 있나". So: "절대 수치가 의미를 갖지 않는다면, 어떻게 재현성 위기(replication crisis)를 피할 수 있는가?" Good.
Answer begins "This is where things get really interesting." → "바로 여기가 정말 흥미로워지는 대목이다."
"If, instead of absolute numbers, you look at rankings — relative comparisons between models — those rankings tend to be very stable across different datasets."
→ "절대 수치 대신 순위, 즉 모델 간 상대 비교를 들여다보면, 그 순위는 서로 다른 데이터셋에서도 매우 안정적으로 유지되는 경향이 있다."
"And this has been pretty consistent across the history of machine learning." → "이는 머신러닝 역사 내내 꽤 일관되게 나타난 현상이다."
"If one model gets 90% on a particular test set, and another model gets 80%, then the 90% model is the model you'd want to use in the real world. It'll still do better on other datasets, even ones that are quite different than the test set."
→ "한 모델이 특정 테스트 세트에서 90%를 받고 다른 모델이 80%를 받았다면, 실제 세계에서 쓰고 싶은 모델은 90%짜리 모델이다. 그 모델은 다른 데이터셋에서도 여전히 더 나은 성적을 낸다. 테스트 세트와 상당히 다른 데이터셋에서조차 그렇다."
Now assemble the final output. Also decide about "(opens a new tab)" — remove everywhere. Also "Image N:" prefixes in alt text — keep the image markup with translated alt: "".
Let me also verify links list:
1. https://arxiv.org/html/2404.06647v1#S5 — 첫 번째 벤치마크
2. https://www.image-net.org/challenges/LSVRC/index.php — ImageNet benchmark link: original text "another benchmark called ImageNet" with link on "another benchmark". So: "[또 다른 벤치마크](url)인 이미지넷(ImageNet)". Hmm: "Then, in 2012, [another benchmark](url) called ImageNet swung the pendulum back." → "그러다 2012년, [이미지넷(ImageNet)이라는 또 다른 벤치마크](url)가 진자를 다시 반대쪽으로 밀었다." Wait, link text should be "another benchmark" → "또 다른 벤치마크". I can do: "[또 다른 벤치마크](url)인 이미지넷(ImageNet)이 진자를 반대편으로 다시 움직였다." Good.
3. https://spectrum.ieee.org/alexnet-source-code — "trounced" link: "[다른 알고리즘들을 크게 따돌리며](url)" hmm link text is "trounced": "An eight-layer neural network [trounced](url) other algorithms at classifying images" → "8층 신경망이 [이미지 분류 경쟁에서 다른 알고리즘들을 대폭 앞서며](url) '딥러닝 혁명'을 촉발했다." The link text in original is "trounced" only. To keep it simple: "8층 신경망이 이미지 분류에서 [다른 알고리즘들을 크게 이기고](url) '딥러닝 혁명'의 막을 열었다." Fine.
4. https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance — [특정 분야 전문성]
5. https://arcprize.org/arc-agi — ['일반 지능(general intelligence)']
6. https://x.com/GaryMarcus/... — [회의론자들]
7. https://x.com/karpathy/... — [낙관론자들] ("boosters")
8. https://www.nature.com/articles/d41586-025-02462-5 — [치명적으로 결함이 생겼다]
9. https://mrtz.org/ — [모리츠 하르트(Moritz Hardt)]
10. https://mlbenchmarks.org/ — book link: "[『머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)』](url)". Hmm the book title italic within link. Original: [_The Emerging Science of Machine Learning Benchmarks_ (opens a new tab)](https://mlbenchmarks.org/). I'll do: "[*머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)*](https://mlbenchmarks.org/)". Title translation: "The Emerging Science of Machine Learning Benchmarks" → "머신러닝 벤치마크의 떠오르는 과학" or "머신러닝 벤치마크의 신흥 과학". I'll use "떠오르는 과학" hmm, "Emerging Science" — "신흥 과학" sounds odd; "떠오르는 과학" is fine. Or "머신러닝 벤치마크의 새로운 과학". I'll go with "머신러닝 벤치마크의 떠오르는 과학".
11. https://epoch.ai/frontiermath — [어려운 수학 문제를 푸는 능력]
12. https://arxiv.org/abs/2605.14153 — [소프트웨어의 보안 버그를 찾는 능력]
13. https://www.ibm.com/think/topics/optical-character-recognition — [글자 인식]
14. https://www.runnersworld.com/uk/training/motivation/a34396756/kip-keino-1968/ — [케냐 고원지대 출신 선수에게 뜻밖에 큰 격차로 패했다] — link text "lost unexpectedly to a runner": "[케냐 고원 출신 선수에게 뜻밖에 큰 점수 차로 졌다](url)". Actually "by a wide margin" comes after link. Link text: "lost unexpectedly to a runner" → "[선수에게 뜻밖에 패배했다]" hmm. Let me: "그는 케냐 고원지대 출신 [선수에게 뜻밖에 패했다](url), 그것도 큰 격차로." Hmm em-dash style. Original: "He [lost unexpectedly to a runner (opens a new tab)](url) from the Kenyan highlands, by a wide margin." → "그는 케냐 고원지대 출신 [한 선수에게 뜻밖에 큰 격차로 패배했다](url)." I'll fold "by a wide margin" inside; slightly expands link text but reads naturally. Acceptable.
15. https://www.quantamagazine.org/how-ai-revolutionized-protein-science-but-didnt-end-it-20240626/ — [CASP 단백질 접힘 벤치마크]
OK. Now about "GPT-6 Astra" vs "GPT-6 아스트라": keep "GPT-6 아스트라". And "Claude Fable" → "클로드 페이블(Claude Fable)". For consistency, first mention of GPT-6 아스트라 in intro: "오픈AI(OpenAI)의 GPT-6 아스트라".
"Gemini" → "제미나이". "GPT" stays "GPT".
"Max Planck Institute for Intelligent Systems" → "막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems)" — with 병기 maybe. I'll add 병기 on first mention.
Now, "Deep learning revolution" — "딥러닝 혁명(deep learning revolution)" 병기? It's a named phenomenon in quotes. I'll 병기 first occurrence.
"AI winter" → "AI 겨울(AI winter)" 병기 first occurrence.
"leaderboard" → "리더보드(leaderboard)" 병기 first occurrence? It's common tech term; maybe 병기 once. I'll do first occurrence.
"state-of-the-art" → "최고 수준(state-of-the-art)" — probably skip 병기, or do once. The phrase "This is currently state-of-the-art" in the quote — keep English? "지금 이게 최고 수준(SOTA)..." I'll just translate: "지금 최고 수준은 이것". No 병기 needed... but guideline says quoted/emphasized terms get 병기. The dialogue "This is currently state-of-the-art" is a quote example. I'll translate without keeping English, or keep "state-of-the-art": "'현재 최고 수준(state-of-the-art)은 이것, 1위는 이것, 2위는 저것'". Fine.
"holdout method" → "'홀드아웃 방법(holdout method)'" 병기 yes.
"training set" / "test set" → "훈련 세트(training set)", "테스트 세트(test set)" 병기 first occurrence.
"train-test split" → "훈련-테스트 분할(train-test split)".
"benchmaxxed" → "'벤치맥스(benchmaxx)'" 병기.
"post-trained" → "'사후 훈련(post-trained)'" — hmm, as verb: "'사후 훈련(post-training)'됐다". I'll write: "모델이 이전 벤치마크를 대상으로 '사후 훈련(post-trained)'됐다는 신호다".
"altitude training" → "'고지 훈련(altitude training)'" 병기.
"replication crisis" vs "replicability crisis" — intro says "replicability crisis", later question says "replication crisis". Korean: "재현성 위기(replication crisis)". I'll use "재현성 위기" both, 병기 at first occurrence (intro) with (replicability crisis), then later maybe no annotation or (replication crisis). I'll annotate both? Annotating twice is redundant; annotate first.
Now write the final translation carefully, keeping markdown structure:
- Title: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
- blank line
- subtitle paragraph
- image 1
- caption paragraph
- photo credit line
- "## 소개"
- paragraphs...
- etc.
Wait — structure in original:
Title line (metadata) → subtitle → Image 1 → caption paragraph ("The computer scientist...") → photo credit ("Jerrit Peinelt for Quanta Magazine") → "## Introduction" → paragraphs → Image 2 → caption → credit → "### Q" → "A" → ...
Let me map:
1. # title
2. subtitle para
3. 
4. "The computer scientist Moritz Hardt calls benchmarks..." (caption/lede)
5. "Jerrit Peinelt for _Quanta Magazine_"
6. ## 소개
7. "Benchmarks are the rulers of AI..."
8. "In 1987, ..."
9. "Then, in 2012, ..."
10. "Nowadays, ..."
11. "But rather than hail..."
12. "[Moritz Hardt], a computer scientist..."
13. "Shortly after the ImageNet result, he began to think..." — wait this is part of same paragraph? Let me check: "In his 2026 book..." is separate paragraph. Original: paragraph 12 is "Moritz Hardt, a computer scientist and a director... agrees with this diagnosis. Shortly after the ImageNet result, he began to think that machine learning systems could game leaderboards "without doing anything intelligent." "There's no two ways about it," he said. "The benchmarking ecosystem is broken.""
Actually looking at the markdown:
```
[Moritz Hardt (opens a new tab)](https://mrtz.org/), a computer scientist and a director at the Max Planck Institute for Intelligent Systems, agrees with this diagnosis. Shortly after the ImageNet result, he began to think that machine learning systems could game leaderboards "without doing anything intelligent." "There's no two ways about it," he said. "The benchmarking ecosystem is broken."
```
Yes, one paragraph.
14. "In his 2026 book [...], Hardt makes the provocative case... Notably, he argues, instead of creating a replicability crisis, they drove legitimate progress anyway — "mostly by sheer luck," in his view. By understanding why, we can explain how benchmarks have since lost this accidental credibility in the age of LLMs, and how they might regain it."
One paragraph.
15. "_Quanta_ spoke to Hardt about what went wrong..." paragraph.
16. 
17. "Hardt is fascinated by how benchmarks paradoxically helped start both a 25-year AI winter in the late 1980s and a deep learning revolution in the 2010s."
18. credit
19. ### **Let's get the basics straight: What even is a benchmark?**
20. answer para
21. ### **So a benchmark for a large language model today...**
22. answer para ("Right. The first benchmark, in fact, was created in 1959...")
23. "It wasn't like there was some master plan..." — part of same answer? In original it's a separate paragraph? Looking:
```
Right. The first benchmark, in fact, was created in 1959. It was a set of digits and letters printed on punch cards, meant to test how well different scanners could [recognize written characters (opens a new tab)](https://www.ibm.com/think/topics/optical-character-recognition). Somebody introduced the train-test split and started a leaderboard.
It wasn't like there was some master plan. But that's what we now call benchmarking, and it's been the engine of progress in AI for about 60 years or so.
```
Two paragraphs. OK.
24. ### **What are benchmarks supposed to tell us?**
25. answer para ("Traditionally...")
26. "But in practice, benchmarking is more like a sports competition or a market..." — separate paragraph? In original: "Traditionally, a benchmark is supposed to be like a thermometer. People train a model to do something, and then you come up with some kind of measurement procedure to see how good the model is.
But in practice, benchmarking is more like a sports competition or a market. Benchmarks define the rules of the game, and people actively compete over them, and we let the best model win."
Yes two paragraphs.
27. 
28. "Hardt cautions that the scores AI models receive on benchmarks don't mean much. But comparisons, or rankings, among models do."
29. credit
30. ### **Can't they be both? What's the problem?**
31. answer paras (two: "Any machine learning textbook..." and "The fascinating thing is...")
32. ### **Is that what's "broken" about benchmarks?**
33. answer para
34. ### **OpenAI, Anthropic, and other technology companies...**
35. answer para
36. 
37. caption quote para
38. credit
39. ### **If the absolute numbers don't make sense...**
40. answer paras (two: "This is where things get really interesting..." and "That, to me, is the main reason...")
41. ### **That's surprising...**
42. answer paras ("Yeah..." and "But it's lucky...")
43. ### **But you also argue...**
44. answer paras: "The stability of model rankings has one big caveat..." / "That's why we're currently in this benchmarking crisis..." / "This isn't really a crime..." — check original paragraph breaks:
```
The stability of model rankings has one big caveat: Models need to train on the same training set. In the old days, this was always true. But we don't know what LLMs were trained on. In fact, model builders can strategically assemble data mixes that best promote benchmark performance. It's a little bit like studying to the test, which we all do in high school.
That's why we're currently in this benchmarking crisis — because it's no longer true that the better model necessarily wins. A worse model might just put more effort into preparing for the specific benchmark.
This isn't really a crime: It happens every time a new model is released. If you look at the notes on the latest version of Gemini or GPT, you'll see that its performance on benchmarks that were released before the new model is often fantastic, while its performance on benchmarks released shortly after is way lower. That's always an indication that the model was "post-trained" on the earlier benchmark — what some people call "benchmaxxed." And it's generally accepted.
```
Three paragraphs.
45. 
46. "Hardt says that AI models should receive "altitude training" for benchmarks."
47. credit
48. ### **Is there a way out...**
49. answer paras: "Let me tell you a story: ..." / "The problem is not so much..." — two paragraphs.
50. ### **What would altitude training for AI benchmarks look like?**
51. answer paras: "We don't know ahead of time..." / "In this new view of benchmarks..." — two paragraphs.
52. ### **But even if this works...**
53. answer paras: "This is a really interesting question..." / "We don't know how these models do it..." / "But benchmarking can, in the long run..." — three paragraphs.
54.  — remove (promo for next article)
55. "## Next article" — remove
56. "How Do Fungi Keep the Planet Healthy?" — remove
Yes, Image 6 is a promo banner for the next article (JOW-S5-E10 — "Joy of Why" podcast episode?). It's unrelated to this article content. Remove it and the Next article section.
Now the credit lines: "Jerrit Peinelt for _Quanta Magazine_" appears 5 times. Translate consistently: "Jerrit Peinelt 촬영(_퀀타 매거진_)". Hmm, or "사진: Jerrit Peinelt(_퀀타 매거진_)". I'll go with "Jerrit Peinelt 촬영(_퀀타 매거진_)". Hmm wait, "for Quanta Magazine" — the photos were taken for Quanta. "Jerrit Peinelt 촬영, _퀀타 매거진_ 제공"? Simplest: "Jerrit Peinelt 촬영(_퀀타 매거진_)". OK final.
Now polishing each translated segment for naturalness.
Subtitle: "벤치마크를 다룬 새 책의 저자 모리츠 하르트(Moritz Hardt)는 인공지능을 위한 이런 '표준화 시험(standardized tests)'이 근본적으로 망가졌다고 믿는다. 다만 고칠 수 없는 것은 아니라고 본다."
Caption 1: "컴퓨터 과학자 모리츠 하르트(Moritz Hardt)는 벤치마크를 '머신러닝을 만든 실수(the mistake that made machine learning)'라고 부른다. 그는 벤치마크가 어디서 잘못됐는지, 그리고 그럼에도 어떻게 진보를 이끌어낼 수 있었는지를 연구해 왔다."
Intro paragraphs:
P1: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그 능력을 가늠할 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
P2: "1987년, 미국 국방고등연구계획국(DARPA)의 [첫 번째 음성-텍스트 자동 번역 벤치마크](https://arxiv.org/html/2404.06647v1#S5)는 당대 최첨단 AI가 이른바 '멍청한' 통계 기법을 능가하지 못한다는 사실을 드러냈다. 이 저조한 성적은 AI 겨울(AI winter)의 서막을 여는 데 한몫했다. 이후 25년 동안 AI 연구에 대한 관심은 식어갔고 연구 자금도 말라붙었다."
Hmm original: "the Defense Advanced Research Projects Agency's [first benchmark] on automatic speech-to-text translation" — link text "first benchmark". So: "국방고등연구계획국(DARPA)의 [첫 번째 벤치마크](url)는 음성을 텍스트로 자동 번역하는 과제에서..." Let me: "1987년, 국방고등연구계획국(DARPA)의 [첫 번째 벤치마크](url)는 음성-텍스트 자동 번역 과제에서 당대 최첨단 AI가 이른바 '멍청한' 통계 기법조차 이기지 못한다는 사실을 보여주었다."
Wait "could not outperform so-called 'dumb' statistical approaches" — "이른바 '멍청한' 통계적 접근법을 앞서지 못했다". OK.
P3: "그러다 2012년, [또 다른 벤치마크](https://www.image-net.org/challenges/LSVRC/index.php)인 이미지넷(ImageNet)이 진자를 반대편으로 다시 밀어냈다. 8층짜리 신경망이 [이미지 분류 경쟁에서 다른 알고리즘들을 대차게 이기고](https://spectrum.ieee.org/alexnet-source-code) '딥러닝 혁명(deep learning revolution)'의 막을 열었다."
Hmm "trounced" — "대차게 이겼다" hmm, "크게 앞섰다". Let me: "8층 신경망이 [다른 알고리즘들을 큰 점수 차로 제치고](url) 이미지 분류에서 '딥러닝 혁명'의 서막을 열었다." Simpler: "8층 신경망이 [이미지 분류 경쟁에서 다른 알고리즘들을 크게 따돌리고](url) '딥러닝 혁명'의 서막을 열었다."
P4: "요즘에는 오픈AI의 GPT-6 아스트라(Astra) 같은 대규모 언어 모델(large language model)을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고, 만들어지자 곧 풀려나간다. 그 과정에서 특정 분야의 [전문성](https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance)부터 ['일반 지능(general intelligence)'](https://arcprize.org/arc-agi)에 이르기까지 모든 것을 측정한다고 주장한다."
Hmm "get created and solved with clockwork regularity, purporting to measure everything from..." — "새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고 해결되며, 특정 분야 전문성부터 '일반 지능'에 이르기까지 모든 것을 측정한다고 내세운다."
Link on "domain-specific expertise": "[도메인 특화 전문성](url)" — "domain-specific" → "도메인 특화" is common Korean ML jargon. I'll use "[도메인 특화 전문성](url)".
P5: "하지만 이 분야의 많은 이들은 — [회의론자](https://x.com/GaryMarcus/status/2028488127875342724)나 [낙관론자](https://x.com/karpathy/status/1896266683301659068?lang=en)나 마찬가지로 — 이 추세를 AI가 치솟은 잠재력을 보여주는 증거로 여기기는커녕, 벤치마킹 자체가 [치명적으로 결함을 드러냈다](https://www.nature.com/articles/d41586-025-02462-5)는 증거로 받아들인다."
P6: "[모리츠 하르트(Moritz Hardt)](https://mrtz.org/)도 이 진단에 동의한다. 그는 막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems)의 컴퓨터 과학자이자 디렉터다. 이미지넷 결과가 나온 직후, 그는 머신러닝 시스템이 '지능적인 행동을 전혀 하지 않고도' 리더보드(leaderboard)를 속일 수 있다고 생각하기 시작했다. '두말할 것도 없다'고 그는 말했다. '벤치마킹 생태계는 망가졌다.'"
Hmm, original: "a computer scientist and a director at the Max Planck Institute for Intelligent Systems, agrees with this diagnosis." — "막스 플랑크 지능 시스템 연구소에서 일하는 컴퓨터 과학자이자 디렉터인 모리츠 하르트(Moritz Hardt) 역시 이 진단에 동의한다."
Keep one sentence: "[모리츠 하르트(Moritz Hardt)](https://mrtz.org/)는 막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems) 소속 컴퓨터 과학자이자 디렉터로, 이 진단에 동의한다."
P7: "하르트는 2026년 책 [『머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)』](https://mlbenchmarks.org/)에서 이 측정 도구들이 이미 수십 년 전부터 망가져 있었다고 도발적인 주장을 펼친다. 벤치마크는 '머신러닝을 만든 실수'라고 그는 책에서 적는다. 주목할 만한 것은, 벤치마크가 재현성 위기(replicability crisis)를 낳는 대신 정당한 진보를 이루어냈다는 그의 주장이다 — 물론 그의 견해로는 '대부분 순전한 행운 덕분'이지만. 그 이유를 이해하면, 벤치마크가 그 뒤로 LLM 시대에 이 우연한 신뢰성을 어떻게 잃었는지, 그리고 어떻게 되찾을 수 있을지 설명할 수 있다."
P8: "_퀀타_는 벤치마크에서 무엇이 잘못됐고 무엇이 잘 됐는지, 그리고 앞으로 벤치마크를 어디로 이끌어야 하는지에 관해 하르트와 이야기를 나눴다. 인터뷰는 이해를 돕기 위해 요약·편집했다."
Caption 2: "하르트는 벤치마크가 역설적으로도 1980년대 후반 25년간의 AI 겨울과 2010년대의 딥러닝 혁명, 양쪽의 시작을 모두 도운 점에 매료되어 있다."
Q1: "### **기본 개념부터 짚고 가자. 벤치마크란 대체 무엇인가?**"
A1: "방법은 간단하다. 머신러닝 모델을 평가하려면 데이터를 훈련 세트(training set)와 테스트 세트(test set)로 나눈다. 모델 제작자들에게는 훈련 세트 안에서 뭘 하든 자유를 준다. 뭐든 허용, 규칙은 없다. 하지만 테스트 세트는 모델을 비교하고 순위를 매기는 데만 쓴다. 리더보드에 '지금 최고 수준(state-of-the-art)은 이것, 1위는 이것, 2위는 저것'이라고 말하게 하려는 것이다."
Q2: "### **그렇다면 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델용 벤치마크는 [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath)이나 [소프트웨어의 보안 버그를 찾는 능력](https://arxiv.org/abs/2605.14153)을 시험할 수도 있다는 말인가.**"
Hmm, this is phrased as a statement with implicit "right?". "might test an ability to..." — "~을 시험할 수도 있겠네요" — in written style: "~을 시험할 수도 있다는 말인가." OK.
A2: "맞다. 사실 최초의 벤치마크는 1959년에 만들어졌다. 천공 카드에 인쇄된 숫자와 문자들로 이뤄진 집합으로, 여러 스캐너가 [글자를 얼마나 잘 인식하는지](https://www.ibm.com/think/topics/optical-character-recognition) 시험하기 위한 것이었다. 누군가 훈련-테스트 분할(train-test split)을 도입했고, 리더보드가 시작된 것이다.
거창한 설계가 있었던 건 아니다. 하지만 그것이 지금 우리가 벤치마킹이라고 부르는 바로 그것이고, 약 60년 가까이 AI 진보의 엔진 역할을 해 왔다."
Q3: "### **벤치마크는 본래 우리에게 무엇을 알려줘야 하는가?**"
A3: "전통적으로 벤치마크는 온도계 같은 존재여야 한다. 누군가 모델을 훈련시켜 무언가를 수행하게 만들면, 그 모델이 얼마나 뛰어난지 알아보기 위한 일종의 측정 절차를 마련하는 방식이다.
그런데 실제로 벤치마킹은 운동 경기나 시장에 더 가깝다. 벤치마크가 게임의 규칙을 정하고, 사람들이 그 규칙을 놓고 활발히 경쟁하며, 최고의 모델이 이기게 내버려두는 것이다."
Caption 3: "하르트는 AI 모델이 벤치마크에서 받는 점수는 별 의미가 없다고 경계한다. 하지만 모델 간의 비교, 곧 순위는 의미가 있다고 본다."
Q4: "### **두 역할을 동시에 할 수는 없는가? 문제는 무엇인가?**"
A4: "어떤 머신러닝 교과서를 펼쳐도 '홀드아웃 방법(holdout method)'이 나온다. 테스트 세트를 잠가 보관했다가, 모델들의 순위를 매길 때 딱 한 번만 쓰라는 뜻이다. 이를 무시하면 얇은 얼음 위를 걷는 셈이다. 어떤 의미로 테스트 세트를 이미 알고 있는 모델을 평가하게 되므로, 결과가 크게 왜곡될 수 있다.
흥미로운 점은 머신러닝이라는 학문이 이 경고를 그냥 무시해 버렸다는 것이다. 이런 테스트 세트들을 싹 인터넷에 올려 누구나 쓸 수 있게 했다. 테스트 세트를 모델 개발 과정에 넣고 그 위에서 계속 반복 개선하기란 쉬운 일이다."
Q5: "### **벤치마크가 '망가졌다'는 게 바로 이런 의미인가?**"
A5: "어떤 벤치마크에서 본 모델의 정확도 수치를 놓고 보다가, 테스트 세트를 아주 조금만 바꿔 보면 완전히 다른 정확도가 나온다. 바로 그런 의미에서 벤치마크는 제대로 작동하지 않는 것이다. 어떤 데이터셋에서는 90%, 다른 데이터셋에서는 73%라면 어느 쪽이 진짜인가? 이 모델이 얼마나 좋은지 나로서는 도무지 알 수 없다."
Q6: "### **오픈AI, 앤트로픽(Anthropic) 등 다른 기술 기업들도 여전히 벤치마크 수치를 자사 모델 추론 능력의 척도로 내세운다. 그건 그저 엉터리인가?**"
A6: "이런 점수는 실제로 심하게 오용된다. '이 수학 벤치마크에서 모델이 90%를 받았다. 그러니까 이 모델은 이제 전문 수학자에 버금간다'고 말하면, 그 숫자에 엉뚱한 의미를 읽어내는 셈이고 결론도 잘못 나온다. 절대 수치가 의미를 갖는다고 암묵적으로 전제해야만 성립하는 비교나 결론은 피해야 한다."
Hmm "you're reading something into that number that gives you the wrong takeaway" — "그 숫자에 잘못된 결론을 이끌어내는 해석을 덧입히는 것이다." OK.
Caption 4 (quote): "'벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 진짜 목적인 메커니즘 이해를 포기하는 것 같으니까'라고 하르트는 말했다. '하지만 벤치마킹은 장기적으로 새로운 과학적 지식으로 이어질 수 있다.'"
Q7: "### **절대 수치가 의미가 없다면, 어떻게 재현성 위기를 피할 수 있는가?**"
A7: "바로 여기서 이야기가 정말 흥미로워진다. 절대 수치 대신 순위, 즉 모델 간의 상대 비교를 보면, 그 순위는 서로 다른 데이터셋에서도 매우 안정적으로 유지되는 경향이 있다. 이는 머신러닝 역사 전반에서 꽤 일관되게 확인되는 현상이기도 하다. 한 모델이 특정 테스트 세트에서 90%를 받고 다른 모델이 80%를 받았다면, 실제 세계에서 쓰고 싶은 모델은 90%짜리다. 그 모델은 다른 데이터셋, 테스트 세트와 상당히 다른 데이터셋에서조차 여전히 더 나은 성적을 낸다.
내게 이것이 머신러닝이 과학적 위기를 벗어난 가장 큰 이유다."
Q8: "### **뜻밖이다. 그러니까 90%라는 점수 자체는 별 타당성이 없지만, 경쟁에서 '이겼다'는 사실에는 타당성이 있다는 건가?**"
A8: "그렇다. 벤치마크는 이전 최고 기록을 넘어섰음을 알려준다. 그리고 이런 향상 지표는 꽤 신뢰할 만하다.
하지만 그렇게까지 잘 작동한 건 행운이었다. 그럴 것이라 예상할 근거는 없었다. 게다가 왜 그런 일이 일어나는지에 관한 훌륭한 포괄 이론도 아직 없다. 대체로 경험적으로 관찰되는 현상일 뿐이다."
Q9: "### **하지만 당신은 이제 대규모 언어 모델 시대에 벤치마크가 더는 이런 '우연한' 신뢰성을 제공하지 못한다고도 주장한다. 왜 그런가?**"
A9: "모델 순위의 안정성에는 큰 단서가 하나 있다. 모델들이 같은 훈련 세트로 훈련되어야 한다는 것이다. 예전에는 늘 그랬다. 하지만 LLM이 무엇으로 훈련됐는지 우리는 알지 못한다. 사실 모델 제작자들은 벤치마크 성능을 최대한 끌어올리는 데이터 조합을 전략적으로 꾸릴 수 있다. 고등학교 시절 누구나 하던, 시험에 맞춘 공부와 비슷한 셈이다.
그래서 우리는 지금 벤치마킹 위기 한복판에 있다. 더 나은 모델이 반드시 이긴다는 명제가 더 이상 참이 아니기 때문이다. 더 나쁜 모델이 특정 벤치마크 대비에만 더 많은 노력을 쏟을 수도 있으니까.
이게 하려는 죄는 아니다. 새 모델이 나올 때마다 벌어지는 일이기 때문이다. 제미나이(Gemini)나 GPT 최신 버전의 릴리스 노트를 보면, 새 모델이 나오기 전에 공개된 벤치마크에서의 성능은 종종 놀랍도록 훌륭한 반면, 그 직후에 공개된 벤치마크에서의 성능은 훨씬 낮다. 이는 모델이 이전 벤치마크로 '사후 훈련(post-trained)'됐다는 신호로, 어떤 사람들은 이를 '벤치맥스(benchmaxx)'라고 부른다. 그리고 이는 대체로 용인되고 있다."
Caption 5: "하르트는 AI 모델이 벤치마크를 위한 '고지 훈련(altitude training)'을 받아야 한다고 말한다."
Q10: "### **당신이 부르는 이 벤치마킹 위기에서 빠져나갈 길은 있는가?**"
A10: "한 이야기를 해 보겠다. 1968년 멕시코시티 올림픽에서 1,500미터 경주 우승의 압도적 유력 후보로 꼽힌 미국 육상 선수가 있었다. 그는 [케냐 고원지대 출신 선수에게 뜻밖에도 큰 격차로 패했다](https://www.runnersworld.com/uk/training/motivation/a34396756/kip-keino-1968/). 케냐 선수는 고지대에서 훈련해 왔기에 해발 7,500피트 고도에서의 경기에 더 잘 준비되어 있었던 것이다. 논란이 좀 일었다. 고지 훈련을 불법화해야 하는가? 최종적인 결론은, 그냥 모두가 하도록 내버려두자는 것이었다.
문제는 사람들이 벤치마크에 맞춰 최적화한다는 사실 자체가 아니라, 저마다 최적화하는 정도가 다르다는 데 있다. 모두가 최적화한다면, 즉 모두가 '고지 훈련'을 한다면 절대 수치는 부풀려지겠지만 순위의 타당성은 되찾을 수 있다."
Q11: "### **AI 벤치마크에서 고지 훈련은 어떤 모습일까?**"
A11: "이 모델에 무엇이 들어갔는지 미리 알 수는 없지만, 최소한 어느 정도는 공평한 조건을 만들기 위해 벤치마크 관련 데이터로 모델을 잠깐 훈련시킬 수는 있다.
이 새로운 벤치마크 관점에서는 훈련 세트가 없다. 있는 것은 테스트 세트와, 시험 전에 각 모델을 준비시키는 일종의 프로토콜이다. 그것이 바로 고지 훈련이다."
Q12: "### **하지만 이 방식이 잘 작동하더라도 결국 출발점으로 돌아가는 셈 아닌가. 진보 지표는 있지만 타당한 측정은 없다. 그렇다면 모델이 어떻게 작동하는지에 대해 어떻게 무언가를 알아낼 수 있겠는가?**"
A12: "정말 흥미로운 질문이다. 벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 진짜 본질인 메커니즘 이해를 포기하는 것처럼 보이니까. 하지만 이런 모델들을 만들 수 있는 거대한 수학 이론이 존재했다면 애초에 벤치마크는 필요 없었을 것이다.
우리는 이 모델들이 어떻게 그러는지 모른다. 벤치마킹도 그 답을 알려주지 않는다.
하지만 벤치마킹은 장기적으로 새로운 과학적 지식으로 이어질 수 있다. [CASP 단백질 접힘(protein folding) 벤치마크](https://www.quantamagazine.org/how-ai-revolutionized-protein-science-but-didnt-end-it-20240626/)는 단백질 접힘에 대한 과학 이론을 먼저 요구하지 않고도 과학을 발전시켰다. 그것이 과학에서 벤치마킹이 발휘하는 역설적인 힘이다."
Now double-check guideline: "긴 문장은 짧은 여러 문장으로 분할한다. 단, 문단은 분할하지 않는다." — I've kept paragraphs.
Check 병기 for emphasized terms:
- "standardized tests" → 표준화 시험(standardized tests) ✓
- "the mistake that made machine learning" → '머신러닝을 만든 실수(the mistake that made machine learning)' — first occurrence in caption ✓ (also in P7 — annotate only first)
- "deep learning revolution" ✓
- "general intelligence" ✓
- "AI winter" ✓
- "leaderboard" ✓
- "training set"/"test set" ✓
- "holdout method" ✓
- "train-test split" ✓
- "replicability crisis" ✓ (then "replication crisis" in Q7 — annotate? maybe (replication crisis) — since different English term, annotate: "재현성 위기(replication crisis)". Hmm I already annotated "재현성 위기(replicability crisis)" in P7. In Q7 I can leave without annotation or annotate again. I'll leave plain to avoid clutter. Actually different source terms... it's fine without.
- "post-trained" ✓
- "benchmaxx" ✓
- "altitude training" ✓
- "state-of-the-art" ✓
- "ruler" ✓
- "ImageNet" → 이미지넷(ImageNet) ✓
- "Moritz Hardt" → 모리츠 하르트(Moritz Hardt) ✓
- "Max Planck Institute for Intelligent Systems" 병기 ✓
- "CASP protein-folding benchmark" → "CASP 단백질 접힘(protein folding) 벤치마크" — annotation placement: "단백질 접힘(protein folding)" ✓
- "large language model" 병기 ✓ (P4: 대규모 언어 모델(large language model)) — then LLM first use in P7: "LLM 시대" — maybe "LLM(대규모 언어 모델)" — since already introduced, fine as "LLM 시대".
- "Gemini" → 제미나이(Gemini) ✓
Also "Claude Fable" → 클로드 페이블(Claude Fable) ✓
- "GPT-6 Astra" → GPT-6 아스트라 — hmm annotate? "GPT-6 아스트라(Astra)"? It's a fictional model name; annotation could be nice but "GPT-6" part is same. I'll skip annotation for GPT-6 아스트라 since it's obvious, but add for Claude Fable? Inconsistent. Let me annotate both lightly: "GPT-6 아스트라(GPT-6 Astra)" is redundant. I'll skip both annotations — they're proper nouns of products, and 페이블(Claude Fable) annotation helps readers find the product. Hmm. I'll keep 클로드 페이블(Claude Fable) and GPT-6 아스트라 without. Slight inconsistency but fine. Actually, to be safe, annotate both: "GPT-6 아스트라(GPT-6 Astra)" — too clunky. Skip both. Decide: no annotation for either. Hmm, but earlier I wrote 클로드 페이블(Claude Fable). I'll keep that one annotation and drop GPT-6 Astra annotation. It's fine — the guideline is about "주요 용어" emphasized in markdown; these are just names, no strict requirement. I'll keep the single annotation for Claude Fable since 페이블 is unusual.
- "defense advanced research projects agency" → 국방고등연구계획국(DARPA) ✓
Now, question style check: all questions end with "~인가/~는가/~은가/~까?" — I have "~다는 말인가." "~무엇인가?" "~어떤 모습일까?" — mixed "까" and "가". Keep mostly "~는가". Q11: "AI 벤치마크에서 고지 훈련은 어떤 모습일까?" → "AI 벤치마크를 위한 고지 훈련은 어떤 모습일 것인가?" OK.
Also, I should double check "GPT-6 Astra" appears twice: P4 and Q2. Fine.
"OpenAI's GPT-6 Astra" — "오픈AI(OpenAI)의 GPT-6 아스트라". Should 오픈AI be annotated? The guideline example explicitly says "OpenAI → 오픈AI" as standard transliteration, no annotation required. OK.
"Anthropic" → "앤트로픽" — per guideline example. In Q6: "오픈AI와 앤트로픽(Anthropic) 등" — annotate or not? Guideline example lists 앤트로픽 as standard. I'll write "앤트로픽" without annotation to follow the example. Hmm, in P... actually Anthropic only appears in Q6. I'll do "오픈AI와 앤트로픽(Anthropic) 등 다른 기술 기업들" — the annotation is harmless. But guideline says use 통용 표기; annotation optional. I'll keep annotation once for clarity. Fine.
Now, "director" at Max Planck: "디렉터" — Korean readers may not know Max Planck director = department head. Keep "디렉터".
Also, the intro "## 소개" — hmm, since this is an interview article, "Introduction" introduces the piece. "소개" is fine. Or "들어가며". I'll use "## 소개". Hmm, "들어가며" might be more natural for Korean articles. The guideline: keep markdown structure. Either translation works. I'll go with "## 소개" — hmm. Actually "Introduction" as a section header in interviews — "소개" reads a bit odd. "들어가며" is common. I'll use "## 들어가며". Hmm, but faithful to "Introduction"... "서론"? For a magazine interview, "들어가며" feels natural. Let me pick "## 들어가며".
Hmm, wait. Let me reconsider: The Quanta "Introduction" section contains the article lead-in before the Q&A. In Korean translated articles (e.g., 퀀타 매거진 한국어판?), they might render as "## 소개" or "## 서두". I'll go with "## 들어가며" — natural Korean.
Caption quotes: In caption 4, the quote uses nested quotes with the attribution in middle. Fine as I wrote.
Also the Q2 header: it's bolded text in ###. The original: "### **So a benchmark for a large language model today, like GPT-6 Astra or Claude Fable, might test an ability to**[**solve difficult math problems** (opens a new tab)](https://epoch.ai/frontiermath)**or**[**find security bugs in software** (opens a new tab)](https://arxiv.org/abs/2605.14153)**.**"
I'll render: "### **그렇다면 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델을 위한 벤치마크는 [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath)이나 [소프트웨어에서 보안 버그를 찾는 능력](https://arxiv.org/abs/2605.14153)을 시험할 수도 있다는 말인가.**"
Note: link text inside bold header — since whole header is bold, the links inherit. Fine.
Also check: "find security bugs in software" — "소프트웨어의 보안 버그를 찾는 능력". OK.
Now the A2: "Right." — "맞다." or "그렇다." I used "그렇다" for A8's "Yeah". For A2's "Right" use "맞다." Vary.
Also A9 last part: "And it's generally accepted." — "그리고 이는 대체로 용인되고 있다." Hmm, "generally accepted" = 널리 받아들여지고 있다. "그리고 이런 관행은 대체로 인정받고 있다." I'll use "그리고 이는 널리 받아들여지고 있는 관행이기도 하다."
Wait: "That's always an indication that the model was 'post-trained' on the earlier benchmark — what some people call 'benchmaxxed.' And it's generally accepted." — "이는 모델이 이전 벤치마크로 '사후 훈련(post-training)'됐다는 확실한 신호다. 어떤 사람들은 이를 '벤치맥스(benchmaxx)'라고 부른다. 그리고 이런 관행은 대체로 용인되고 있다."
OK.
Let me reconsider "post-trained" 병기: "'사후 훈련(post-trained)'" — grammatically awkward; use "사후 훈련(post-training)". Original "post-trained" — I'll annotate as (post-trained). "모델이 이전 벤치마크를 놓고 '사후 훈련(post-trained)'됐음을 짐작하게 하는 신호다". Fine.
Also caption 5: "하르트는 AI 모델이 벤치마크를 위한 '고지 훈련(altitude training)'을 받아야 한다고 말한다." — but "altitude training" first appears... In Q10 answer, "고지 훈련" appears; the caption comes before Q10. So annotate in caption (first occurrence). ✓. Then in A10 and A11 use "고지 훈련" without annotation.
Wait, order check: Image 5 + caption ("Hardt says that AI models should receive 'altitude training'...") comes BEFORE Q10 ("Is there a way out..."). Yes. So first occurrence of altitude training is the caption. ✓
Also A10 mentions "'고지 훈련'을 한다면" — fine.
Now "Mexico City" → "멕시코시티". "7,500 feet" → "해발 7,500피트". Fine.
Kip Keino not named in text — fine.
Now, "An eight-layer neural network" — AlexNet. "8층 신경망". ✓
Let me also reconsider P4 translation: "Nowadays, new AI benchmarks, geared at large language models such as OpenAI's GPT-6 Astra, get created and solved with clockwork regularity, purporting to measure everything from [domain-specific expertise] to ['general intelligence.']"
"요즘은 오픈AI의 GPT-6 아스트라 같은 대규모 언어 모델(large language model)을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어졌다가 풀려나기를 반복하며, [도메인 특화 전문성](url)부터 ['일반 지능(general intelligence)'](url)에 이르기까지 온갖 것을 측정한다고 내세운다."
Good.
P5: "many in the field — skeptics and boosters alike — take it as evidence that benchmarking itself has become fatally flawed." — "하지만 이 분야의 많은 사람들은, [회의론자](url)든 [낙관론자](url)든, 이런 흐름을 AI의 치솟은 잠재력을 증명하는 좋은 신호로 받아들이기는커녕 벤치마킹 자체가 [치명적인 결함에 빠졌다](url)는 증거로 삼는다."
Hmm "skeptics and boosters" — boosters = 지지자/낙관론자. "회의론자와 지지자 alike" — I'll use "회의론자든 [낙관론자/지지자]든". Keep "낙관론자".
P7 revision: "In his 2026 book [_The Emerging Science of Machine Learning Benchmarks_], Hardt makes the provocative case that these measuring sticks have been broken for decades already: Benchmarks, he writes, are 'the mistake that made machine learning.'"
"하르트는 2026년 책 [『머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)』](https://mlbenchmarks.org/)에서 이 측정 도구들이 이미 수십 년째 망가져 있었다고 도발적인 주장을 폈다. 벤치마크는 '머신러닝을 만든 실수'라고 그는 책에서 적는다."
"Notably, he argues, instead of creating a replicability crisis, they drove legitimate progress anyway — 'mostly by sheer luck,' in his view."
"주목할 점은, 그의 주장대로라면 벤치마크는 재현성 위기(replicability crisis)를 불러오는 대신 그럼에도 정당한 진보를 이끌었다는 것이다. 물론 그의 견해로는 '대부분 순전한 행운 덕분'이지만."
"By understanding why, we can explain how benchmarks have since lost this accidental credibility in the age of LLMs, and how they might regain it."
"그 이유를 이해하면 벤치마크가 그 뒤로 LLM 시대에 이 우연한 신뢰성을 어떻게 잃었는지, 그리고 어떻게 되찾을 수 있을지 설명할 수 있다."
P8: "_퀀타_는 벤치마크에서 무엇이 잘못됐고 무엇이 잘 됐는지, 그리고 벤치마크를 앞으로 어디로 이끌어야 할지에 대해 하르트와 이야기를 나눴다. 인터뷰는 이해를 돕기 위해 압축·편집했다."
Caption 2: "하르트는 벤치마크가 역설적으로 1980년대 후반 25년짜리 AI 겨울과 2010년대의 딥러닝 혁명, 양쪽 모두를 일으키는 데 일조했다는 점에 매료되어 있다."
Hmm "25-year AI winter in the late 1980s" — "1980년대 후반에 시작된 25년짜리 AI 겨울". OK.
Now assembling final. Also make sure no "(opens a new tab)" remains, no "Image N:" prefixes (translate alt text without "Image 1:"), keep the image markdown.
Alt texts:
- Image 1: "Man sitting on a green couch." → "초록색 소파에 앉아 있는 남자."
- Image 2: "Man in profile, sitting at his computer." → "옆모습으로 컴퓨터 앞에 앉아 있는 남자."
- Image 3: "Man in a purple jacket sitting outdoors." → "보라색 재킷을 입고 야외에 앉아 있는 남자."
- Image 4: "Man sitting at his desk in front of a whiteboard." → "화이트보드 앞 책상에 앉아 있는 남자."
- Image 5: "Man standing outside, leaning against a railing." → "야외에서 난간에 기대어 서 있는 남자."
Captions:
- Caption 3: "하르트는 AI 모델이 벤치마크에서 받는 점수는 큰 의미가 없다고 경계한다. 하지만 모델 간의 비교, 곧 순위는 의미가 있다고 본다."
Hmm wait, caption 3 text: "Hardt cautions that the scores AI models receive on benchmarks don't mean much. But comparisons, or rankings, among models do." ✓
Caption 5: "하르트는 AI 모델이 벤치마크를 위한 '고지 훈련(altitude training)'을 받아야 한다고 말한다."
Now the em dash usage in A9: "because it's no longer true that the better model necessarily wins. A worse model might just put more effort into preparing for the specific benchmark." — "그래서 우리는 지금 벤치마킹 위기에 처해 있다. 더 나은 모델이 반드시 이긴다는 명제가 더 이상 참이 아니기 때문이다. 더 나쁜 모델이라도 특정 벤치마크 대비에 더 많은 노력을 쏟기만 하면 그만이니까."
A12 middle: "We don't know how these models do it, and benchmarking won't tell us." — "우리는 이 모델들이 어떻게 그런 일을 해내는지 모른다. 그리고 벤치마킹도 그 답을 말해주지 않을 것이다."
Final answer A10: "Should we outlaw altitude training? The consensus in the end was, just let everyone do it." — "고지 훈련을 불법으로 만들어야 하는가? 최종적으로 나온 결론은, 그냥 모두가 하게 내버려두자는 것이었다."
Also check: "It caused some controversy" — "이로 인해 약간의 논란이 일었다."
A11: "We don't know ahead of time what went into these models, but we can train them for a little bit on benchmark-relevant data, just to make sure that we're leveling the playing field somewhat."
"이 모델에 무엇이 들어갔는지 사전에 알 방법은 없다. 하지만 최소한 어느 정도 공평한 경쟁 조건을 만들어 두기 위해, 벤치마크와 관련된 데이터로 모델을 조금 훈련시킬 수는 있다."
"In this new view of benchmarks, you would have no training set. You would have a test set, and you would also have some kind of protocol for preparing each of the models before you test them — that's the altitude training."
"이 새로운 벤치마크 관점에서는 훈련 세트가 존재하지 않는다. 테스트 세트가 있고, 시험 전에 각 모델을 준비시키는 일종의 프로토콜도 있다. 그것이 곧 고지 훈련이다."
A12: "But if we had some kind of grand mathematical theory to build these models with, we wouldn't need the benchmarks." — "하지만 이런 모델들을 만들 수 있는 거창한 수학 이론이 존재했다면, 우리에게 벤치마크는 필요 없었을 것이다."
"But benchmarking can, in the long run, lead to new scientific knowledge." — "하지만 벤치마킹은 장기적으로 새로운 과학적 지식을 낳을 수 있다."
"The CASP protein-folding benchmark advanced science without first insisting on a scientific theory of protein folding." — "[CASP 단백질 접힘(protein folding) 벤치마크](url)는 단백질 접힘에 관한 과학 이론을 선행 조건으로 요구하지 않고도 과학을 발전시켰다."
"That's the paradoxical power of benchmarking in the sciences." — "그것이 과학 분야에서 벤치마킹이 지닌 역설적인 힘이다."
Now let me also handle the sentence in A1: "The recipe is simple." — "레시피는 간단하다." Actually "recipe" metaphor — "공식은 간단하다" or "방법은 간단하다". I'll use "방법은 간단하다."
One more check on Q4: "Can't they be both? What's the problem?" — refers to thermometer AND sports competition. "둘 다 될 수는 없는가? 문제는 뭔가?" → "### **두 역할을 겸할 수는 없는가? 문제는 무엇인가?**"
A4 first sentence: "Any machine learning textbook will tell you about the 'holdout method' — that you should lock away the test set, and only use it once to rank the models."
"어떤 머신러닝 교과서를 펼쳐도 '홀드아웃 방법(holdout method)'이 등장한다. 테스트 세트는 잠가 보관해 두고, 모델의 순위를 매기는 데 딱 한 번만 사용하라는 원칙이다."
"If you ignore this, you're on thin ice." — "이 원칙을 무시하면 얇은 얼음 위를 걷는 격이다."
"You might get very misleading results because you're evaluating models that in some sense have knowledge of the test set." — "어떤 의미로 테스트 세트를 알고 있는 모델을 평가하는 셈이 되니, 결과가 크게 왜곡될 수 있다."
A4 second para: "The fascinating thing is that machine learning as a discipline just ignored the warning."
"흥미로운 것은 머신러닝이라는 학문이 이 경고를 그냥 무시해 버렸다는 점이다."
"It took all these test sets and put them on the internet for everyone to use."
"이런 테스트 세트들을 싹 긁어모아 인터넷에 올려 누구나 쓸 수 있게 해 버렸다."
"It's easy to put these test sets in a model's development loop and to keep iterating on them."
"테스트 세트를 모델 개선 과정에 넣고 그 위에서 계속 반복적으로 다듬기란 쉬운 일이다."
OK. A5: "If you look at a model's accuracy numbers on one benchmark, and then you change the test set only slightly, you get completely different accuracy numbers."
"한 벤치마크에서 모델의 정확도 수치를 확인한 뒤, 테스트 세트를 아주 조금만 바꿔 보면 완전히 다른 정확도 수치가 나온다."
"That's the sense in which the benchmark is not working." — "바로 그런 의미에서 벤치마크는 제 기능을 하지 못하는 것이다."
"If you have 90% accuracy on one dataset and 73% on another, which is it? I have no idea how good this model is." — "어떤 데이터셋에서 90%, 다른 데이터셋에서 73%의 정확도라면 어느 쪽을 믿어야 하는가? 이 모델이 얼마나 좋은지 나로서는 전혀 알 수 없다."
A6: "These scores really get misused." — "이런 점수는 실제로 심하게 오용되고 있다."
Hmm "really get misused" — "실제로 오용되곤 한다."
"If you say, 'On this math benchmark, the model got a 90%, which means that the model is now equivalent to an expert mathematician,' you're reading something into that number that gives you the wrong takeaway."
"'이 수학 벤치마크에서 모델이 90%를 받았다. 그러니까 이 모델은 이제 전문 수학자에 버금간다'고 말한다면, 그 숫자에서 잘못된 결론을 끌어내게 되는 것이다."
"We should avoid comparisons or conclusions that implicitly require the absolute number to make sense." — "절대 수치가 의미를 갖는다고 암묵적으로 전제해야만 성립하는 비교나 결론은 피해야 한다."
A7: "This is where things get really interesting." — "바로 여기서 이야기가 정말 흥미로워진다."
"If, instead of absolute numbers, you look at rankings — relative comparisons between models — those rankings tend to be very stable across different datasets."
"절대 수치 대신 순위, 즉 모델 간의 상대 비교를 보면, 그 순위는 서로 다른 데이터셋에서도 매우 안정적으로 유지되는 경향이 있다."
"And this has been pretty consistent across the history of machine learning." — "이는 머신러닝 역사 전반에 걸쳐 꽤 일관되게 나타난 현상이다."
"If one model gets 90% on a particular test set, and another model gets 80%, then the 90% model is the model you'd want to use in the real world."
"한 모델이 특정 테스트 세트에서 90%를 받고 다른 모델이 80%를 받았다면, 실제 세계에서 쓰고 싶은 모델은 90%짜리 모델이다."
"It'll still do better on other datasets, even ones that are quite different than the test set." — "그 모델은 다른 데이터셋에서도, 테스트 세트와 상당히 다른 데이터셋에서조차 여전히 더 나은 성적을 낸다."
"That, to me, is the main reason why machine learning escaped a scientific crisis." — "머신러닝이 과학적 위기를 벗어날 수 있었던 가장 큰 이유는 바로 이것이라고 나는 생각한다."
A8: "Yeah. So benchmarks tell you when you beat the previous best. And these improvement indicators are pretty reliable."
"그렇다. 벤치마크는 이전 최고 기록을 넘어섰음을 알려준다. 그리고 이런 향상 지표는 꽤 신뢰할 만하다."
"But it's lucky that it worked as well as it did — we had no reason to expect this to be the case. And we don't yet have a good comprehensive theory for why this happens. It's mostly an empirical phenomenon."
"하지만 그렇게까지 잘 작동한 것은 행운이었다. 그럴 것이라고 예상할 근거는 없었다. 게다가 왜 그런 일이 벌어지는지에 관한 훌륭한 포괄 이론도 아직 없다. 대체로 경험적으로 관찰되는 현상일 뿐이다."
A9 P1: "The stability of model rankings has one big caveat: Models need to train on the same training set."
"모델 순위의 안정성에는 하나의 큰 단서가 붙는다. 모델들이 같은 훈련 세트로 훈련되어야 한다는 것이다."
"In the old days, this was always true. But we don't know what LLMs were trained on." — "예전에는 늘 그랬다. 하지만 LLM이 무엇으로 훈련됐는지는 우리도 알 수 없다."
"In fact, model builders can strategically assemble data mixes that best promote benchmark performance."
"사실 모델 제작자들은 벤치마크 성능을 최대한 끌어올려 줄 데이터 조합을 전략적으로 꾸릴 수 있다."
"It's a little bit like studying to the test, which we all do in high school." — "고등학교 시절 누구나 하던, 시험에 맞춘 공부와 비슷한 셈이다."
A9 P2: "That's why we're currently in this benchmarking crisis — because it's no longer true that the better model necessarily wins. A worse model might just put more effort into preparing for the specific benchmark."
"그래서 우리는 지금 벤치마킹 위기에 빠져 있다. 더 나은 모델이 반드시 이긴다는 공식이 더 이상 성립하지 않기 때문이다. 더 나쁜 모델이라도 특정 벤치마크 대비에 더 많은 노력을 쏟기만 하면 그만이니까."
A9 P3: "This isn't really a crime: It happens every time a new model is released."
"이것이 하려는 죄는 아니다. 새 모델이 출시될 때마다 벌어지는 일이니까."
"If you look at the notes on the latest version of Gemini or GPT, you'll see that its performance on benchmarks that were released before the new model is often fantastic, while its performance on benchmarks released shortly after is way lower."
"제미나이(Gemini)나 GPT 최신 버전의 릴리스 노트를 보면, 새 모델이 나오기 전에 공개된 벤치마크에서의 성능은 종종 놀랍도록 훌륭한 반면, 그 직후에 공개된 벤치마크에서의 성능은 훨씬 낮다."
"That's always an indication that the model was 'post-trained' on the earlier benchmark — what some people call 'benchmaxxed.' And it's generally accepted."
"이는 모델이 이전 벤치마크를 놓고 '사후 훈련(post-trained)'됐음을 시사하는 신호다. 어떤 사람들은 이를 '벤치맥스(benchmaxx)'라고 부른다. 그리고 이런 관행은 대체로 용인되고 있다."
A10 P1: "Let me tell you a story: At the 1968 Olympics in Mexico City, there was an American runner who was vastly favored to win the 1,500-meter race."
"한 이야기를 해 보겠다. 1968년 멕시코시티 올림픽에서 1,500미터 종목 우승의 압도적 유력 후보로 꼽힌 미국 육상 선수가 있었다."
"He [lost unexpectedly to a runner from the Kenyan highlands, by a wide margin.]"
"그는 [케냐 고원지대 출신 선수에게 뜻밖에도 큰 격차로 패했다](url)."
"The Kenyan runner had trained at high elevation and was better prepared for competing at 7,500 feet above sea level."
"케냐 선수는 고지대에서 훈련해 왔기에, 해발 7,500피트 고도에서 치르는 경기를 위해 더 잘 준비되어 있었던 것이다."
"It caused some controversy: Should we outlaw altitude training? The consensus in the end was, just let everyone do it."
"이에 약간의 논란이 일었다. 고지 훈련을 불법화해야 하는가? 최종적으로 모은 결론은, 그냥 모두가 하도록 내버려두자는 것이었다."
A10 P2: "The problem is not so much that people optimize to the benchmarks — it's that they optimize to different degrees. If everyone optimizes, or 'altitude trains,' the absolute numbers will be inflated, but you can restore the validity of the rankings."
"문제는 사람들이 벤치마크에 맞춰 최적화한다는 사실 자체가 아니라, 저마다 최적화하는 정도가 다르다는 데 있다. 모두가 최적화한다면, 즉 모두가 '고지 훈련'을 한다면 절대 수치는 부풀어 오르겠지만 순위의 타당성은 되찾을 수 있다."
OK. Let me now also decide the title once more. "He Wants AI Benchmarking To Be a Science, Not a Dark Art" —
Option: "# AI 벤치마킹을 검은 마법이 아닌 과학으로 만들고 싶은 사람" — descriptive.
Option: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
I'll go with the latter but drop "| 퀀타 매거진"? The scraped title includes it. Hmm. I think including it is more faithful to "Title:" metadata. But as a document title it's redundant. Many similar translation tasks would keep the full title. I'll keep it: "# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진"
Hmm, "Dark Art" — let me reconsider: "다크 아트" might actually be the most recognizable. "검은 마법이 아닌 과학" — reads well. Keep.
Now, one consideration: The guideline says the first line must be `# 문서 제목` and then blank line, then content. OK.
Also should I keep the subtitle as plain paragraph? Yes.
Let me also double check "Benchmarks are the rulers of AI, in both senses of the word." — my translation: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI의 지배자(ruler)다." Then next sentence about measuring sticks. Hmm — to make the double meaning clearer: "벤치마크는 두 가지 의미 모두에서 AI의 자(ruler)다. 측정하는 자로서도, 다스리는 자로서도 말이다." Hmm that's nice: "자" as measuring stick (尺) and "자" as person (者)! Actually in Korean "자" (尺) is the measuring ruler, and "~하는 자(者)" is the one who... "측정하는 자" (the measuring one) vs "다스리는 자" (the ruling one) — the pun works with 자(者) but not with 자(尺). The original pun is ruler(측정 자) vs ruler(통치자).
Maybe: "벤치마크는 이 단어의 두 가지 의미 모두에서 AI의 ruler다." — no English.
Let me try: "벤치마크는 AI의 측정 자(尺)이자 통치 자(者)다." Too clever/awkward.
I'll go with: "벤치마크는 두 가지 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그 능력을 가늠할 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다."
Hmm, "지배자(ruler)" + "측정 도구로서" — the "both senses" is explained by the paragraph itself. Good enough, readers will get the pun via (ruler) annotation.
Actually, maybe better first sentence: "벤치마크는 이 단어가 지닌 두 가지 의미 모두에서 AI의 지배자(ruler)다." ✓
Also, "devise a standardized test to gauge it" — "그 능력을 가늠하는 표준화 시험을 고안하면 된다." ✓
Now writing everything out. Also ensure "제미나이" vs "Gemini" — Korean transliteration "제미나이" is standard (구글 제미나이). ✓
Also "ImageNet" first mention: "이미지넷(ImageNet)". Later "the ImageNet result" → "이미지넷 결과". ✓
Also careful with the phrase in P6: "game leaderboards 'without doing anything intelligent.'" — "'지능적인 행동을 하나도 하지 않고도' 리더보드를 속일 수 있다" — hmm "without doing anything intelligent" — "전혀 지능적인 짓을 하지 않고도". I'll write: "머신러닝 시스템이 '지능적인 것은 하나도 하지 않고도' 리더보드(leaderboard)를 속일 수 있다고 생각하기 시작했다."
Leaderboard first occurrence — annotate here. But wait, "leaderboard" also appears in A1 ("to have a leaderboard say...") — A1 comes later than P6? P6 is in intro, A1 is in Q&A. Yes P6 first. ✓ And A2 "리더보드가 시작된 것이다" — plain. ✓
Hmm wait, actually check order: The intro P6 mentions "game leaderboards". Then A1 mentions "leaderboard say...". So annotate in P6. ✓
Also "리더보드" is commonly used in Korean ML community (리더보드). ✓
Also check "SOTA"/"state-of-the-art" in A1 quote: '지금 최고 수준(state-of-the-art)은 이것' — good.
Now — "in some sense have knowledge of the test set" — "어떤 의미에서 테스트 세트에 대한 지식을 갖고 있는". I phrased "테스트 세트를 이미 알고 있는". Fine.
Double-check the question Q12's phrasing: "But even if this works, we're just back to where we started: progress indicators, but no valid measurements. Without that, how can we learn anything about how the models work?"
"### **하지만 이 방식이 잘 작동하더라도 결국 원점으로 돌아가는 셈 아닌가. 진보 지표는 있지만 타당한 측정은 없다. 그런데도 모델이 어떻게 작동하는지에 대해 어떻게 알아낼 수 있겠는가?**"
Hmm "Without that, how can we learn anything about how the models work?" — "Without valid measurements" — "그것 없이는 모델의 작동 방식에 대해 어떻게 알 수 있겠는가?" I'll phrase: "### **하지만 이 방식이 통하더라도 결국 출발점으로 돌아가는 셈 아닌가. 진보를 알려주는 지표는 있지만 타당한 측정은 없다. 그것 없이 모델이 어떻게 작동하는지 어떻게 알아낼 수 있겠는가?**"
OK.
Now output assembly. Also, remove "## Next article" & the fungi line & Image 6.
One more thought: Should the photo credit lines be italic for Quanta? Original: "Jerrit Peinelt for _Quanta Magazine_" — Quanta italic. My rendering: "Jerrit Peinelt 촬영(_퀀타 매거진_)" — I'll keep italics inside: "(_퀀타 매거진_)". OK.
And P8: "_퀀타_는..." — keep italics. ✓
Also caption 4 contains direct quotes — quotes within caption. Fine.
Final check on quotes style: I'm using '...' (single) for quoted phrases within text. In caption 4, the quote is a full sentence quote with "Hardt said" — I'll use '...' for the quoted speech: "'벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다... 이해하는 것'이라고 하르트는 말했다. '하지만 벤치마킹은 장기적으로 새로운 과학적 지식으로 이어질 수 있다.'"
Original caption 4: "There's something sad to the triumph of benchmarking, because it seems like we're giving up what science is actually about: understanding the mechanisms," Hardt said. "But benchmarking can, in the long run, lead to new scientific knowledge."
Korean: "'벤치마킹이 승리한 데는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것처럼 보이니까'라고 하르트는 말했다. '하지만 벤치마킹은 장기적으로 새로운 과학적 지식을 낳을 수 있다.'"
Good.
Wait, in A12 the same quote appears: "There's something sad to the triumph of benchmarking, because it seems like we're giving up what science is actually about: understanding the mechanisms." I should keep translation consistent with caption 4: "벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 진짜 모습, 즉 메커니즘을 이해하는 일을 포기하는 것처럼 보이기 때문이다."
Keep consistent: "벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것처럼 보이니까." Use same wording in both places. ✓
Now finalize. Also I realize: the phrase in A1 "The recipe is simple. To evaluate a machine learning model, you take your data and split it into a training set and a test set." — "방법은 간단하다. 머신러닝 모델을 평가하려면, 데이터를 가져다 훈련 세트(training set)와 테스트 세트(test set)로 나눈다."
"You let the model builders do whatever they want on the training set: Anything goes, no rules." — "모델 제작자들에게는 훈련 세트 위에서 무엇이든 하게 내버려둔다. 뭐든 허용, 규칙은 없다."
"But you use the test set only to compare and rank models — to have a leaderboard say, 'This is currently state-of-the-art, this is number one, this is number two.'" — "하지만 테스트 세트는 모델을 비교하고 순위를 매기는 데만 쓴다. 리더보드가 '지금 최고 수준(state-of-the-art)은 이것, 1위는 이것, 2위는 저것'이라 말하게 하기 위해서다."
OK.
One more consideration — the guideline about "명령문": "Let's get the basics straight" — I rendered "기본 개념부터 짚고 가자." — that's "~하자" form, fine.
"Let me tell you a story" — "한 이야기를 해 보겠다." fine.
Now, is there any need for the "Published Time"? No — metadata removed.
Final output. Let me write it fully.
Also — the Q&A headers in original are `### **...**` with bold. I'll preserve `### **...**`.
Let me write out the final markdown:
Wait, Q7 title: original "If the absolute numbers don't make sense, how do you not end up with a replication crisis?" — earlier in intro it's "replicability crisis" annotated. In Q7 I have "재현성 위기" plain. That's fine since annotated already. Good.
Check that I removed "(opens a new tab)" everywhere ✓.
Check question Q8: original "That's surprising. So the 90% score doesn't have much validity, but the fact that it 'won' the competition does?" — my rendering OK.
One thing: In Q8 I start "뜻밖이다." — the interviewer's reaction. Fine in written style.
Also, for A12 second paragraph: "We don't know how these models do it, and benchmarking won't tell us." — "우리는 이 모델들이 어떻게 그런 일을 해내는지 모른다. 벤치마킹도 그 답을 말해주지 않는다." ✓
Also double check A12 first paragraph: "But if we had some kind of grand mathematical theory to build these models with, we wouldn't need the benchmarks." — "하지만 이런 모델들을 만들 거창한 수학 이론이 존재했다면, 애초에 벤치마크는 필요 없었을 것이다." — "이런 모델들을 만들(는) 거창한 수학 이론" — grammatically "이런 모델들을 만들 수 있는 거창한 수학 이론" is better. Fix: "하지만 이런 모델들을 만들 수 있는 거창한 수학 이론이 존재했다면, 애초에 벤치마크는 필요 없었을 것이다."
Also caption after image 4: same as A12 first part wording. Consistent ✓.
Also the phrase in P7: "makes the provocative case that these measuring sticks have been broken for decades already" — "이 측정 도구들이 이미 수십 년 전부터 망가져 있었다고 도발적인 주장을 펼친다" ✓.
Also, "Notably, he argues, instead of creating a replicability crisis, they drove legitimate progress anyway — 'mostly by sheer luck,' in his view." — I have: "주목할 점은, 벤치마크가 재현성 위기(replicability crisis)를 낳는 대신 그럼에도 정당한 진보를 이끌었다는 그의 주장이다. 물론 그의 견해로는 '대부분 순전한 행운 덕분'이지만." Hmm — "Notably, he argues" — "그가 특별히 강조하는 것은". Fine.
Also P6 quote: '"There's no two ways about it," he said. "The benchmarking ecosystem is broken."' — "'그건 두말할 것도 없다'고 그는 말했다. '벤치마킹 생태계는 망가졌다.'" ✓
Also "He's studied where they went wrong, and why they've managed to drive progress anyway." — caption 1 ✓.
Now, minor: "GPT-6 아스트라" — first mention in P4: "오픈AI(OpenAI)의 GPT-6 아스트라". Hmm should I annotate "아스트라(Astra)"? "GPT-6 아스트라(Astra)" — mildly helpful. I'll include: "GPT-6 아스트라(Astra)". And Q2: "GPT-6 아스트라" plain (second mention). OK.
Also "클로드 페이블(Claude Fable)" in Q2 — first and only mention ✓.
Double-check dates: "In his 2026 book" — "하르트는 2026년 저서" ✓.
Also, "the Defense Advanced Research Projects Agency" — annotation: "국방고등연구계획국(DARPA)" — DARPA is the acronym, good. Original doesn't spell "DARPA" but it's the common name; adding helps. Acceptable.
Hmm — "미국 국방고등연구계획국(DARPA)" — add "미국"? The original says "Defense Advanced Research Projects Agency" (implicitly US). Adding 미국 is fine and helpful.
Also, in P2, "state-of-the-art AI" — "당대 최첨단 AI". Then A1 uses "state-of-the-art" annotation in quote. Fine.
Now the Q2 header — original: "So a benchmark for a large language model today, like GPT-6 Astra or Claude Fable, might test an ability to solve difficult math problems or find security bugs in software."
"### **그렇다면 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델을 위한 벤치마크는 [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath)이나 [소프트웨어의 보안 버그를 찾는 능력](https://arxiv.org/abs/2605.14153)을 시험할 수도 있다는 말인가.**"
OK.
One thing to verify: the guideline says questions ending — Q4 "Can't they be both? What's the problem?" → "### **두 역할을 동시에 할 수는 없는가? 문제는 무엇인가?**" ✓
Q5: "Is that what's 'broken' about benchmarks?" → "### **벤치마크가 '망가졌다'는 것이 바로 이런 뜻인가?**" — I wrote "바로 이런 의미인가?" fine.
Now the final title check once more. Hmm, "He Wants AI Benchmarking To Be a Science, Not a Dark Art" — "그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다". Good. Keep "| 퀀타 매거진"? I'll keep it. Actually... on reflection, for a clean document title, dropping the site suffix is nicer, but the instruction is to use the title. The metadata title includes it. Keep it. Final.
Also one more look at "with clockwork regularity, purporting to measure everything from domain-specific expertise to 'general intelligence.'" — my P4: "요즘은 ... 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고 풀려나가며, [도메인 특화 전문성](...)부터 ['일반 지능(general intelligence)'](...)에 이르기까지 온갖 것을 측정한다고 내세운다."
Hmm "created and solved with clockwork regularity" — "만들어지고 풀리기도 한다(solved)" — "만들어졌다가 금세 풀어지기를 반복하며". Let me phrase: "시계태엽처럼 규칙적으로 만들어졌다가 풀려나가고는". Hmm, "solved" means benchmarks get saturated/solved quickly. "새로운 AI 벤치마크가 시계태엽 같은 규칙성으로 만들어지고 풀어지며" — I'll write: "요즘은 오픈AI(OpenAI)의 GPT-6 아스트라(Astra) 같은 대규모 언어 모델(large language model)을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어졌다가 풀려나가곤 하며, [도메인 특화 전문성](...)부터 ['일반 지능(general intelligence)'](...)에 이르기까지 온갖 것을 측정한다고 내세운다."
Hmm, "만들어졌다가 풀려나가곤 하며" — awkward. "만들어지고 곧 해결되기를 반복하며" better: "시계태엽처럼 규칙적으로 만들어지고 곧 해결되기를 반복하는데, [도메인 특화 전문성]부터 ['일반 지능']에 이르기까지 온갖 것을 측정한다고 주장한다."
OK final P4: "요즘은 오픈AI(OpenAI)의 GPT-6 아스트라(Astra) 같은 대규모 언어 모델(large language model)을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고 곧 해결되기를 반복하며, [도메인 특화 전문성](https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance)부터 ['일반 지능(general intelligence)'](https://arcprize.org/arc-agi)에 이르기까지 온갖 것을 측정한다고 내세운다."
Also P5 em dashes: "— [회의론자]나 [낙관론자]나 마찬가지로 —" — in Korean, using — ... — parenthetical is okay but might read oddly. Alternative: "이 분야의 [회의론자](url)와 [낙관론자](url)를 막론하고 많은 사람들이 이 추세를 ... 받아들인다." Cleaner:
"하지만 이 분야의 [회의론자](https://x.com/GaryMarcus/status/2028488127875342724)와 [낙관론자](https://x.com/karpathy/status/1896266683301659068?lang=en)를 막론하고, 많은 사람들이 이 추세를 AI의 치솟은 잠재력을 보여주는 증거로 여기기는커녕, 벤치마킹 자체가 [치명적인 결함에 빠졌다](https://www.nature.com/articles/d41586-025-02462-5)는 증거로 받아들인다."
Good, cleaner.
Also "hail this trend as proof of AI's skyrocketing potential" — "AI의 치솟은 잠재력을 증명하는 증거로 환영하기는커녕" — I have "여기기는커녕". Fine.
Now "A7" — "If one model gets 90% on a particular test set, and another model gets 80%, then the 90% model is the model you'd want to use in the real world." — done.
Also for consistency, "데이터셋(dataset)" annotate once? First occurrence in A5: "어떤 데이터셋" — annotate "데이터셋(dataset)"? It's a common term. I'll annotate first occurrence in A5: "어떤 데이터셋(dataset)에서는 90%". Hmm, A5 is where "dataset" first appears in my translation. OK annotate there.
Wait — actually "dataset" appears in A7 too. First is A5. Annotate in A5.
Also "정확도(accuracy)" annotate? First occurrence A5: "모델의 정확도(accuracy) 수치". Sure, annotate once.
Also "프로토콜(protocol)" — skip, common enough. Or annotate: "일종의 프로토콜(protocol)" — fine to annotate. Eh, keep it simple, skip.
"릴리스 노트(release notes)" — annotate? Skip, common.
OK. Also check "CASP" — keep as CASP.
Final structure check: The output begins with "# ..." then blank line, then content. No meta commentary.
One more: the guideline says don't split paragraphs. I preserved original paragraph breaks. ✓
Also the two-sentence subtitle — original is one sentence with em dash: "believes these 'standardized tests' for artificial intelligence are fundamentally broken — but not unfixable." I split into two sentences. Allowed (긴 문장 분할). ✓
I think we're ready. Let me also reconsider "## 들어가며" vs keeping "## 소개". Hmm. Quanta's "Introduction" heading is basically a structural element marking the intro before Q&A. "들어가며" is natural Korean for such intro sections. Go with "## 들어가며".
Also the last Q header is quite long — fine.
Also double check A10: "vastly favored to win" — "우승의 압도적 유력 후보로 꼽힌" ✓. "lost unexpectedly to a runner from the Kenyan highlands, by a wide margin" — link text covers "lost unexpectedly to a runner"; I merged "by a wide margin" into link text. Slight deviation but reads well. Alternatively keep link on "뜻밖에 패했다" only: "그는 케냐 고원지대 출신 [한 선수에게 뜻밖에 큰 격차로 패했다](url)." — merge is fine.
Also, "It caused some controversy: Should we outlaw altitude training?" — "이로 인해 논란이 일었다. 고지 훈련을 불법으로 만들어야 하는가?" ✓
"The consensus in the end was, just let everyone do it." — "최종적인 결론은, 그냥 모두가 하도록 내버려두자는 것이었다." ✓
Also A11: "just to make sure that we're leveling the playing field somewhat" — "최소한 어느 정도 공평한 경쟁 조건을 만들어 두기 위해" ✓
Alright, compose final answer.
</think>
# 그는 AI 벤치마킹이 검은 마법이 아닌 과학이 되기를 바란다 | 퀀타 매거진
벤치마크를 다룬 새 책의 저자 모리츠 하르트(Moritz Hardt)는 인공지능을 위한 이런 '표준화 시험(standardized tests)'이 근본적으로 망가졌다고 믿는다. 다만 고칠 수 없는 것은 아니라고 본다.

컴퓨터 과학자 모리츠 하르트(Moritz Hardt)는 벤치마크를 '머신러닝을 만든 실수(the mistake that made machine learning)'라고 부른다. 그는 벤치마크가 어디서 잘못됐는지, 그리고 그럼에도 어떻게 진보를 이끌어낼 수 있었는지를 연구해 왔다.
Jerrit Peinelt 촬영(_퀀타 매거진_)
## 들어가며
벤치마크는 이 단어가 지닌 두 가지 의미 모두에서 AI의 지배자(ruler)다. 측정 도구로서의 벤치마크는 지극히 단순한 논리로 작동한다. AI 모델이 무엇을 할 수 있는지 알고 싶다면, 그 능력을 가늠할 표준화 시험을 고안하면 된다. 하지만 AI 벤치마크는 연구 분야 전체의 행보를 지배하기도 한다.
1987년, 미국 국방고등연구계획국(DARPA)의 [첫 번째 벤치마크](https://arxiv.org/html/2404.06647v1#S5)는 음성을 텍스트로 자동 번역하는 과제에서 당대 최첨단 AI가 이른바 '멍청한' 통계 기법을 앞서지 못한다는 사실을 보여주었다. 이 저조한 성적은 AI 겨울(AI winter)의 막을 여는 데 일조했다. 이후 25년 동안 AI 연구에 대한 관심은 식었고 연구 자금도 말라붙었다.
그러다 2012년, [또 다른 벤치마크](https://www.image-net.org/challenges/LSVRC/index.php)인 이미지넷(ImageNet)이 진자를 반대편으로 다시 밀어냈다. 8층 신경망이 [이미지 분류 경쟁에서 다른 알고리즘들을 크게 따돌리며](https://spectrum.ieee.org/alexnet-source-code) '딥러닝 혁명(deep learning revolution)'의 서막을 열었다.
요즘은 오픈AI(OpenAI)의 GPT-6 아스트라(Astra) 같은 대규모 언어 모델(large language model)을 겨냥한 새로운 AI 벤치마크가 시계태엽처럼 규칙적으로 만들어지고 곧 해결되기를 반복하며, [도메인 특화 전문성](https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance)부터 ['일반 지능(general intelligence)'](https://arcprize.org/arc-agi)에 이르기까지 온갖 것을 측정한다고 내세운다.
하지만 이 분야의 [회의론자](https://x.com/GaryMarcus/status/2028488127875342724)와 [낙관론자](https://x.com/karpathy/status/1896266683301659068?lang=en)를 막론하고, 많은 사람들이 이 추세를 AI의 치솟은 잠재력을 증명하는 증거로 환영하기는커녕 벤치마킹 자체가 [치명적인 결함에 빠졌다](https://www.nature.com/articles/d41586-025-02462-5)는 증거로 받아들인다.
[모리츠 하르트(Moritz Hardt)](https://mrtz.org/)는 막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems) 소속 컴퓨터 과학자이자 디렉터로, 이 진단에 동의한다. 이미지넷 결과가 나온 직후, 그는 머신러닝 시스템이 '지능적인 것은 하나도 하지 않고도' 리더보드(leaderboard)를 속일 수 있다고 생각하기 시작했다. '두말할 것도 없다'고 그는 말했다. '벤치마킹 생태계는 망가졌다.'
하르트는 2026년 저서 [『머신러닝 벤치마크의 떠오르는 과학(The Emerging Science of Machine Learning Benchmarks)』](https://mlbenchmarks.org/)에서 이 측정 도구들이 이미 수십 년 전부터 망가져 있었다고 도발적인 주장을 펼친다. 벤치마크는 '머신러닝을 만든 실수'라고 그는 책에서 적는다. 주목할 점은, 벤치마크가 재현성 위기(replicability crisis)를 낳는 대신 그럼에도 정당한 진보를 이끌었다는 그의 주장이다. 물론 그의 견해로는 '대부분 순전한 행운 덕분'이지만. 그 이유를 이해하면, 벤치마크가 그 뒤로 LLM 시대에 이 우연한 신뢰성을 어떻게 잃었는지, 그리고 어떻게 되찾을 수 있을지 설명할 수 있다.
_퀀타_는 벤치마크에서 무엇이 잘못됐고 무엇이 잘 됐는지, 그리고 앞으로 벤치마크를 어디로 이끌어야 할지에 대해 하르트와 이야기를 나눴다. 인터뷰는 이해를 돕기 위해 압축·편집했다.

하르트는 벤치마크가 역설적으로도 1980년대 후반에 시작된 25년짜리 AI 겨울과 2010년대의 딥러닝 혁명, 양쪽 모두의 시작을 도운 점에 매료되어 있다.
Jerrit Peinelt 촬영(_퀀타 매거진_)
### **기본 개념부터 짚고 가자. 벤치마크란 대체 무엇인가?**
방법은 간단하다. 머신러닝 모델을 평가하려면 데이터를 훈련 세트(training set)와 테스트 세트(test set)로 나눈다. 모델 제작자들에게는 훈련 세트 위에서 무엇이든 하게 내버려둔다. 뭐든 허용, 규칙은 없다. 하지만 테스트 세트는 모델을 비교하고 순위를 매기는 데만 쓴다. 리더보드가 '지금 최고 수준(state-of-the-art)은 이것, 1위는 이것, 2위는 저것'이라고 말하게 하기 위해서다.
### **그렇다면 오늘날 GPT-6 아스트라나 클로드 페이블(Claude Fable) 같은 대규모 언어 모델을 위한 벤치마크는 [어려운 수학 문제를 푸는 능력](https://epoch.ai/frontiermath)이나 [소프트웨어의 보안 버그를 찾는 능력](https://arxiv.org/abs/2605.14153)을 시험할 수도 있다는 말인가.**
맞다. 사실 최초의 벤치마크는 1959년에 만들어졌다. 천공 카드에 인쇄된 숫자와 문자들로 이뤄진 집합으로, 서로 다른 스캐너가 [글자를 얼마나 잘 인식하는지](https://www.ibm.com/think/topics/optical-character-recognition) 시험하기 위한 것이었다. 누군가 훈련-테스트 분할(train-test split)을 도입했고, 리더보드가 시작된 것이다.
거창한 설계가 있었던 것은 아니다. 하지만 그것이 지금 우리가 벤치마킹이라고 부르는 바로 그것이고, 약 60년 가까이 AI 진보의 엔진 역할을 해 왔다.
### **벤치마크는 본래 우리에게 무엇을 알려줘야 하는가?**
전통적으로 벤치마크는 온도계 같은 존재여야 한다. 누군가 모델을 훈련시켜 무언가를 하게 만들면, 그 모델이 얼마나 뛰어난지 알아보기 위한 일종의 측정 절차를 마련하는 방식이다.
그런데 실제로 벤치마킹은 운동 경기나 시장에 더 가깝다. 벤치마크가 게임의 규칙을 정하고, 사람들이 그 규칙을 놓고 활발히 경쟁하며, 최고의 모델이 이기도록 내버려두는 것이다.

하르트는 AI 모델이 벤치마크에서 받는 점수는 큰 의미가 없다고 경계한다. 하지만 모델 간의 비교, 곧 순위는 의미가 있다고 본다.
Jerrit Peinelt 촬영(_퀀타 매거진_)
### **두 역할을 동시에 할 수는 없는가? 문제는 무엇인가?**
어떤 머신러닝 교과서를 펼쳐도 '홀드아웃 방법(holdout method)'이 등장한다. 테스트 세트는 잠가 보관해 두었다가, 모델들의 순위를 매길 때 딱 한 번만 쓰라는 원칙이다. 이를 무시하면 얇은 얼음 위를 걷는 격이다. 어떤 의미로 테스트 세트를 이미 알고 있는 모델을 평가하는 셈이 되므로, 결과가 크게 왜곡될 수 있다.
흥미로운 것은 머신러닝이라는 학문이 이 경고를 그냥 무시해 버렸다는 점이다. 이런 테스트 세트들을 싹 인터넷에 올려 누구나 쓸 수 있게 해 버렸다. 테스트 세트를 모델 개발 과정에 넣고 그 위에서 계속 반복 개선하기란 쉬운 일이다.
### **벤치마크가 '망가졌다'는 게 바로 이런 의미인가?**
한 벤치마크에서 확인한 모델의 정확도(accuracy) 수치를 놓고, 테스트 세트를 아주 조금만 바꿔 보면 완전히 다른 정확도 수치가 나온다. 바로 그런 의미에서 벤치마크는 제 기능을 하지 못하는 것이다. 어떤 데이터셋(dataset)에서는 90%, 다른 데이터셋에서는 73%의 정확도라면 어느 쪽이 진짜인가? 이 모델이 얼마나 좋은지 나로서는 도무지 알 수 없다.
### **오픈AI와 앤트로픽(Anthropic) 등 다른 기술 기업들도 여전히 벤치마크 수치를 자사 모델 추론 능력의 척도로 내세운다. 그건 그저 엉터리인가?**
이런 점수는 실제로 오용되곤 한다. '이 수학 벤치마크에서 모델이 90%를 받았다. 그러니까 이 모델은 이제 전문 수학자에 버금간다'고 말한다면, 그 숫자에 엉뚱한 의미를 덧입혀 잘못된 결론을 내리는 셈이다. 절대 수치가 의미를 갖는다고 암묵적으로 전제해야만 성립하는 비교나 결론은 피해야 한다.

'벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것처럼 보이니까'라고 하르트는 말했다. '하지만 벤치마킹은 장기적으로 새로운 과학적 지식을 낳을 수 있다.'
Jerrit Peinelt 촬영(_퀀타 매거진_)
### **절대 수치가 의미가 없다면, 어떻게 재현성 위기를 피할 수 있는가?**
바로 여기서 이야기가 정말 흥미로워진다. 절대 수치 대신 순위, 즉 모델 간의 상대 비교를 보면, 그 순위는 서로 다른 데이터셋에서도 매우 안정적으로 유지되는 경향이 있다. 이는 머신러닝 역사 전반에 걸쳐 꽤 일관되게 나타난 현상이기도 하다. 한 모델이 특정 테스트 세트에서 90%를 받고 다른 모델이 80%를 받았다면, 실제 세계에서 쓰고 싶은 모델은 90%짜리 모델이다. 그 모델은 다른 데이터셋, 테스트 세트와 상당히 다른 데이터셋에서조차 여전히 더 나은 성적을 낸다.
머신러닝이 과학적 위기를 벗어날 수 있었던 가장 큰 이유는 바로 이것이라고 나는 생각한다.
### **뜻밖이다. 그러니까 90%라는 점수 자체는 별 타당성이 없지만, 경쟁에서 '이겼다'는 사실에는 타당성이 있다는 건가?**
그렇다. 벤치마크는 이전 최고 기록을 넘어섰음을 알려준다. 그리고 이런 향상 지표는 꽤 신뢰할 만하다.
하지만 그렇게까지 잘 작동한 것은 행운이었다. 그럴 것이라고 예상할 근거는 없었다. 게다가 왜 그런 일이 벌어지는지에 관한 훌륭한 포괄 이론도 아직 없다. 대체로 경험적으로 관찰되는 현상일 뿐이다.
### **하지만 당신은 이제 대규모 언어 모델 시대에 벤치마크가 더는 이런 '우연한' 신뢰성을 제공하지 못한다고도 주장한다. 왜 그런가?**
모델 순위의 안정성에는 하나의 큰 단서가 붙는다. 모델들이 같은 훈련 세트로 훈련되어야 한다는 것이다. 예전에는 늘 그랬다. 하지만 LLM이 무엇으로 훈련됐는지는 우리도 알 수 없다. 사실 모델 제작자들은 벤치마크 성능을 최대한 끌어올려 줄 데이터 조합을 전략적으로 꾸릴 수 있다. 고등학교 시절 누구나 하던, 시험에 맞춘 공부와 비슷한 셈이다.
그래서 우리는 지금 벤치마킹 위기에 빠져 있다. 더 나은 모델이 반드시 이긴다는 공식이 더 이상 성립하지 않기 때문이다. 더 나쁜 모델이라도 특정 벤치마크 대비에 더 많은 노력을 쏟기만 하면 그만이니까.
이것이 저지르는 죄는 아니다. 새 모델이 출시될 때마다 벌어지는 일이니까. 제미나이(Gemini)나 GPT 최신 버전의 릴리스 노트를 보면, 새 모델이 나오기 전에 공개된 벤치마크에서의 성능은 종종 놀랍도록 훌륭한 반면, 그 직후에 공개된 벤치마크에서의 성능은 훨씬 낮다. 이는 모델이 이전 벤치마크를 놓고 '사후 훈련(post-trained)'됐음을 시사하는 신호다. 어떤 사람들은 이를 '벤치맥스(benchmaxx)'라고 부른다. 그리고 이런 관행은 대체로 용인되고 있다.

하르트는 AI 모델이 벤치마크를 위한 '고지 훈련(altitude training)'을 받아야 한다고 말한다.
Jerrit Peinelt 촬영(_퀀타 매거진_)
### **당신이 부르는 이 벤치마킹 위기에서 빠져나갈 길은 있는가?**
한 이야기를 해 보겠다. 1968년 멕시코시티 올림픽에서 1,500미터 종목 우승의 압도적 유력 후보로 꼽힌 미국 육상 선수가 있었다. 그는 [케냐 고원지대 출신 선수에게 뜻밖에도 큰 격차로 패했다](https://www.runnersworld.com/uk/training/motivation/a34396756/kip-keino-1968/). 케냐 선수는 고지대에서 훈련해 왔기에, 해발 7,500피트 고도에서 치르는 경기를 위해 더 잘 준비되어 있었던 것이다. 이에 논란이 좀 일었다. 고지 훈련을 불법화해야 하는가? 최종적으로 나온 결론은, 그냥 모두가 하도록 내버려두자는 것이었다.
문제는 사람들이 벤치마크에 맞춰 최적화한다는 사실 자체가 아니라, 저마다 최적화하는 정도가 다르다는 데 있다. 모두가 최적화한다면, 즉 모두가 '고지 훈련'을 한다면 절대 수치는 부풀어 오르겠지만 순위의 타당성은 되찾을 수 있다.
### **AI 벤치마크를 위한 고지 훈련은 어떤 모습일까?**
이 모델에 무엇이 들어갔는지 사전에 알 방법은 없다. 하지만 최소한 어느 정도 공평한 경쟁 조건을 만들어 두기 위해, 벤치마크와 관련된 데이터로 모델을 잠깐 훈련시킬 수는 있다.
이 새로운 벤치마크 관점에서는 훈련 세트가 존재하지 않는다. 테스트 세트가 있고, 시험 전에 각 모델을 준비시키는 일종의 프로토콜도 있다. 그것이 곧 고지 훈련이다.
### **하지만 이 방식이 통하더라도 결국 출발점으로 돌아가는 셈 아닌가. 진보를 알려주는 지표는 있지만 타당한 측정은 없다. 그것 없이 모델이 어떻게 작동하는지 어떻게 알아낼 수 있겠는가?**
정말 흥미로운 질문이다. 벤치마킹의 승리에는 어딘가 씁쓸한 면이 있다. 마치 우리가 과학의 본질인 메커니즘 이해를 포기하는 것처럼 보이니까. 하지만 이런 모델들을 만들 수 있는 거창한 수학 이론이 존재했다면, 애초에 벤치마크는 필요 없었을 것이다.
우리는 이 모델들이 어떻게 그런 일을 해내는지 모른다. 벤치마킹도 그 답을 말해주지 않는다.
하지만 벤치마킹은 장기적으로 새로운 과학적 지식을 낳을 수 있다. [CASP 단백질 접힘(protein folding) 벤치마크](https://www.quantamagazine.org/how-ai-revolutionized-protein-science-but-didnt-end-it-20240626/)는 단백질 접힘에 관한 과학 이론을 선행 조건으로 요구하지 않고도 과학을 발전시켰다. 그것이 과학에서 벤치마킹이 발휘하는 역설적인 힘이다.