Metadata
# 오픈AI가 제브의 시장을 빼앗을까?
#### `편집자 주`
이번 글은 평소 목요일에 발행하는 글이 아니다. 하지만 제브의 출시 발표는 곧바로 이번 주 가장 뜨거운 논쟁거리 중 하나로 번졌다. 4부작 연재를 마칠 때까지 기다렸다가는 논의가 이미 지나간 뒤에야 대화에 합류하게 될 터였다.
앞으로 어떤 일이 벌어질지 짚어보고자 [존 베리먼](https://www.linkedin.com/in/john-berryman-864b1713/)에게 의견을 구했다. 그는 오랫동안 AI와 검색 시스템을 개발해 왔으며, *LLM을 위한 프롬프트 엔지니어링(Prompt Engineering for LLMs)*의 공동 저자다. 이 글에서 그는 출시 직후의 열기를 넘어 더 어려운 질문을 던진다. 제브에는 지킬 수 있는 경쟁 우위가 있을까? 아니면 오픈AI가 제브의 빠른 확률 기반 의사결정을 재현해 자체 모델과 에이전트에 직접 통합할 수 있을까?
이번 글은 화요일 특별 기고다. 목요일에 예정대로 이어질 [4부작 ](https://open.substack.com/pub/agenticengg/p/decoding-fde-part-1-deploy-the-engineer?r=8770aj&utm_campaign=post-expanded-share&utm_medium=web)*[FDE 해부(Decoding FDE)](https://open.substack.com/pub/agenticengg/p/decoding-fde-part-1-deploy-the-engineer?r=8770aj&utm_campaign=post-expanded-share&utm_medium=web)*[ 연재](https://open.substack.com/pub/agenticengg/p/decoding-fde-part-1-deploy-the-engineer?r=8770aj&utm_campaign=post-expanded-share&utm_medium=web)와는 별개다.
**[타입세이프의 제브](https://arcturus-labs.com/blog/2026/09/16/typesafes-jev-trades-text-generation-for-instant-calibrated-decisions/)**는 대규모 언어 모델에 새로운 접근법을 제시하며 AI 업계를 뒤흔들었다. **[버셀](https://vercel.com/blog/ai-gateway-jev-model-launch)**에 따르면 “제브는 AI 게이트웨이 역사상 그 어떤 모델보다 빠르게 채택됐다.” 하지만 지평선에는 먹구름이 드리우고 있다. 오픈AI도 분명 제브를 지켜보며 다음 수를 고민하고 있을 것이다.
[](https://substackcdn.com/image/fetch/$s_!234a!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0a10f188-573e-4aa9-8c88-648831664498_1536x1024.jpeg)
나는 타입세이프가 잘되기를 진심으로 바란다. 하지만 그들이 약속한 성능을 실제로 보여준다면, 오픈AI는 재빨리 따라잡을 만한 여건을 갖추고 있어 걱정이다. 제브의 주력 제품을 복제하는 데 그치지 않고, 그 기능을 앞으로 나올 모델과 에이전트에 통합해 제브가 제공하기 어려운 유용한 기능까지 내놓을 수 있다.
내 주장을 간단히 요약하면 이렇다. 오픈AI는 수년간 LLM을 암묵적인 분류기로 사용해 왔다. 다만 범용 분류 작업에 맞춰 학습시키거나, 범용 분류 기능을 독립 제품으로 출시하지 않았을 뿐이다. 오픈AI가 학습 방법을 재현할 수 있다면 제브도 금세 따라 만들 수 있다. 나아가 이 새로운 분류기를 기존 모델과 에이전트에 넣을 수 있다. 그러면 빠른 모델 선택, 효율적인 사고, 강화된 보안 안전장치에 활용할 수 있고, 전반적으로 더 똑똑하고 빠르며 저렴한 모델을 만들 수 있다.
관건은 타입세이프가 자신을 지킬 해자(moat)를 갖고 있느냐다. 내가 보기에 가장 큰 해자는 타입세이프의 학습 데이터와 학습 과정이다.
본론에 들어가기 전에 내 가정을 밝히고, 오픈AI의 관련 사례와 역사를 근거로 제시하겠다.
가장 중요한 가정은 제브가 일반적인 대규모 언어 모델과 매우 비슷한 것을 사용한다는 점이다. **[레이턴트 스페이스의 보도](https://www.latent.space/p/ainews-here-are-6-clones-of-jev-in)**에 따르면 초기 복제 모델 다수가 실제로 LLM을 기반으로 한다.
작동 방식은 이렇다. `state`와 일련의 `questions`가 주어지면 제브의 LLM은 토큰 하나를 생성한다. 정확히는 다음에 올 수 있는 모든 토큰의 확률 분포를 산출한다. 그 한 단계에서 각 토큰에 부여된 로그 확률값을 가공해 제브가 반환해야 하는 형식으로 만든다. (이하에서는 편의상 ‘로그 확률값’ 대신 ‘확률’이라고 부르겠다. 여기서 논의하는 목적에는 사실상 같은 뜻이다.)
`noul` 질문이라면 제브는 `true`와 `false` 두 토큰만 살펴본다. 나머지는 모두 무시하고 두 토큰의 확률을 정규화해 답이 *참(true)*일 확률 하나로 만든다. `choice` 질문에는 `A=기쁨, B=슬픔, C=분노, D=두려움`처럼 선택지 목록을 프롬프트로 줄 수 있다. 제브는 네 토큰의 상대적 확률로 전체 분포를 만들고, 확률이 가장 높은 항목을 답으로 고른다. 이 선택 방식은 내가 2025년에 **[로그 확률값으로 LLM 분류 성능 끌어올리기](https://arcturus-labs.com/blog/2025/03/31/supercharging-llm-classifications-with-logprobs/)**에서 다룬 내용과 거의 같다. 당시에도 미세 조정 없이 가능성을 보여줬다. (한숨이 나온다. 아이디어보다 실행이 중요하다는 말이 괜히 있겠는가?) `score`라는 기본 연산은 깊이 생각해 보지 않았지만, 같은 방식의 변형일 것이라 짐작한다.
이 글의 전제 중 하나는 오픈AI가 이 아이디어를 빠르게 활용할 수 있다는 것이다. 그 이유는 오픈AI가 지금까지 모델을 어떻게 써 왔는지 보면 분명해진다. 오픈AI는 적어도 도구 호출을 도입한 이래 대규모 언어 모델을 특수 목적 분류기로 암묵적으로 사용해 왔다.
2024년 초 나는 **[도구 호출: GPT의 놀라운 유연성 보여주기](https://blog.jnbrymn.com/2024/01/30/tool-invocation--demonstrating-the-marvel-of-gpts-flexibility)**라는 글을 썼다. GPT 모델을 유도해 도구 호출 여부를 정확히 어떻게 결정하는지 드러낸 글이다. 아래는 채팅 세션의 내부 모습이다. 사용자의 메시지, 도구를 호출하지 않는 어시스턴트의 응답, 그리고 어시스턴트의 도구 호출을 유도하는 또 다른 사용자 메시지가 차례로 나온다.
[](https://substackcdn.com/image/fetch/$s_!VZpC!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F71eb9255-2995-43e0-b218-aa62220b4cc1_1209x438.png)
토큰의 경계를 나타내려고 글자에 색을 입혔다. ChatML을 처음 본다면, 이는 오픈AI가 사용자와 에이전트의 대화 프롬프트를 구성하려고 도입한 내부 마크업 언어다. `<|im_start|>`와 `<|im_end|>`는 메시지의 경계를 표시하는 예약 토큰이다. `<|im_start|>` 뒤의 첫 토큰은 발화자가 `user`인지 `assistant`인지 나타낸다.
`<|im_start|>assistant` 바로 다음에 모델이 예측하는 첫 토큰은 `\n` 또는 `to=function.`이다. `\n`을 예측하면 일반적인 자연어 응답을 이어간다. `to=function.`을 예측하면 이 토큰열은 도구 호출 여부를 결정하는 분류기처럼 작동한다. 이어지는 몇 개의 토큰은 호출할 도구가 `get_temperature`임을 지정한다. 이번에는 사용 가능한 도구 목록에서 하나를 고르는 또 다른 분류기다. 그다음 모델은 인수 이름과 값을 생성하는데, 이 역시 넓은 의미에서 분류기나 추정기로 볼 수 있다. 마지막으로 모델이 `<|im_end|>` 토큰을 생성할 때도 분류가 일어난다. 모델이 메시지가 끝났다고 판단하면 ‘참(true)’을 내놓는 셈이다.
**어떤 LLM은 언제 말을 멈춰야 할지 모른다**
예전에 깃허브에서 코파일럿을 개발할 때, 막 나온 미완성 GPT-4 내부 API를 다뤄볼 기회가 있었다. 처음부터 뭔가 크게 잘못됐다는 것을 알 수 있었다. 모델은 처음에는 아주 조리 있게 답하다가도 끝맺지를 못했다. 답변마다 “다른 질문이 있으면 알려주세요. 좋은 하루 보내세요. 멋진 한 주 보내세요. 즐거운 시간 보내세요. 행복한 인생을 보내세요. 특별한 하루 보내세요. …” 같은 말을 덧붙였고, 응답 토큰 한도에 도달할 때까지 계속했다.
알고 보니 모델이 `<|im_start|>`와 `<|im_end|>`라는 특수 메시지 구분자를 사용하려면 API에 특정 헤더 값을 설정해야 했다. 우리는 사실상 모델이 응답의 끝을 예측하지 못하게 막고 있었다. 모델에게는 말문을 닫을 내부적 방법이 아예 없었던 것이다!
그때 그 글에서 말하고자 한 바는 오픈AI가 단일 토큰을 작은 미세 분류기처럼 수년간 사용해 왔다는 것이다. 각 토큰에는 도구를 쓸지, 어떤 도구를 쓸지, 어시스턴트의 응답이 끝났는지를 판단하는 확률이 담겼다. 이는 제브의 핵심 원리와 가까울 수 있다. 다만 중요한 차이가 하나 있다. 이 미세 분류기들은 각각 작은 작업에만 적합한 전문가지만, 제브의 분류기는 범용이라는 점이다. 그래도 한두 걸음 물러서서 보면 그 차이가 생각보다 작을 수 있다. LLM 자체가 다음 토큰마다 확률 분포를 부여하는, 놀라울 만큼 범용적인 분류기이기 때문이다.
사실 나는 제브가 성공하기를 응원한다. 타입세이프가 우리 코앞에 늘 있었지만 아무도 눈치채지 못한 흥미로운 가능성을 찾아냈다고 생각한다.
앞서 설명한 이유로 아키텍처 자체가 큰 해자는 아니라고 본다. 타입세이프는 제브에 일반적인 대규모 언어 모델 또는 그와 비슷한 것을 사용하는 듯하다. 설령 그렇지 않더라도, 일반적인 LLM은 범용 분류 작업에 잘 맞아 보인다.
진짜 해자는 학습 데이터에 있을지 모른다. 원자료가 아니라, 그 자료를 제브가 ‘보정된(calibrated)’ 확률을 내놓도록 학습시키는 데이터로 바꾸는 기법 말이다. 타입세이프의 공동 창업자 디오구 알메이다도 아키텍처보다 데이터가 중요하다는 의견에 동의하는 취지로 말했다.
나라면 결과가 이미 알려진 사례를 대량으로 모아 데이터셋을 만들겠다. 실제로 어느 팀에 배정됐는지 기록된 고객 지원 문의, 지원자의 채용 여부가 확인된 이력서, 실제 별점이 달린 상품 후기, 최종 판정이 내려진 콘텐츠 검토 대기열, 결과가 확정된 예측 시장 같은 것들이다. 각 사례에는 답을 이미 아는 질문을 짝지을 것이다. 목적은 제브에게 고객 지원 문의나 이력서에 관한 지식을 구체적으로 가르치는 게 아니다. 서로 전혀 다른 분야의 상황 수천 가지를 보여줘 여러 분류 작업에 일반화하는 능력을 키우는 것이다.
강화 학습도 있다. 구체적으로 무엇을 하는지 궁금하다. 웹사이트에 공개한 위키백과나 둠 시연처럼, 선택지가 제한된 상황에서 자율 에이전트가 결정을 내리게 하는 걸까? 아니면 사전 학습 데이터의 기준 시점 이후에 일어난 사건의 결과를 예측하게 할까? 알 수 없다. 하지만 비법이 있다면 아마 여기 있을 것이다.
물론 제브가 실제로 정확하지 않다면 이 가운데 어느 것도 해자가 되지 못한다. 속도와 비용, 사용 편의성은 쉽게 확인할 수 있지만, 정확도는 검증하기 어렵다. 나는 이미 **[제브가 제시한 확률이 실제와 맞지 않는 분야](https://arcturus-labs.com/blog/2026/09/16/typesafes-jev-trades-text-generation-for-instant-calibrated-decisions/#but-are-those-probabilities-any-good)**를 찾았다. 제브가 사람들이 시도하는 용도 전반에 쓰일 만큼 범용적이고 정확한지는 시간이 지나야 알 수 있다.
그렇다면 오픈AI의 다음 수는 무엇일까? 가장 뻔한 선택은 제브를 그대로 복제해 새로운 유형의 모델로 출시하는 것이다. 제브의 인기는 분명하다. 해자가 얕다면 오픈AI에는 이를 실현할 기술과 하드웨어, 자금이 있다.
하지만 오픈AI는 제브를 복제하는 것보다 더 흥미로운 일을 할 수도 있다. 분류 기능을 일반적인 LLM에 통합해 여러 이점을 얻는 것이다.
도구 호출을 알리던 특수 문법 `to=function.`을 기억하는가? 오픈AI는 비슷한 방식을 적용할 수 있다. 예를 들어 `<prediction>`이라는 새 태그를 도입해, 모델이 빠른 분류 판단이 필요할 때마다 자기 문맥에 삽입하도록 하는 것이다. 이런 식이다.
```
`<user>오늘 도니가 나한테 "머리 예쁘다"라고 했어. 나한테 관심 있는 걸까?</user><assistant>말하기 미안하지만... 아마 아닐 거야.</assistant>`
```
일반적인 도구 호출과 다른 흥미로운 점이 하나 있다. 보통 도구를 호출할 때 모델은 함수 이름과 인수를 생성한 뒤 생성을 멈춘다. 이어 에이전트 실행 환경이 함수를 실제로 호출하고 결과를 새로운 대화 차례에 다시 넣어야 한다. 여기에는 그런 인계 과정이 없다. 분류기는 모델 밖에 있는 도구가 아니라 모델 자체에 내장된 기능이다. GPU를 벗어나지 않고 모델이 질문을 던지는 동시에 답한다.
일반적인 디코딩은 다음과 같다. 모델은 매 위치에서 어휘의 각 토큰에 해당하는 로짓값을 산출한다. 소프트맥스가 이를 확률 분포로 바꾸고, 탐욕적 디코딩이나 top-p 같은 전략으로 토큰 하나를 고른다. 선택된 토큰은 시퀀스에 추가돼 다음 단계의 입력으로 들어간다. 하지만 모델이 `probability:`까지 쓴 시점에는 일반적인 디코딩을 원하지 않는다. 주장은 진술문 형태이므로, 모델은 내부적으로 여전히 참과 거짓이라는 두 결과를 저울질하고 있다. 우리가 원하는 것은 그 위치에서 `true`와 `false` 토큰의 로짓값을 읽어 둘 사이에서만 정규화하는 것이다. 그런 다음 평소라면 선택됐을 토큰 대신 계산된 확률을 `0.04`라는 텍스트로 시퀀스에 써 넣는다. 이후 모델은 그 숫자를 직접 생성한 것처럼 디코딩을 계속한다. 뒤따르는 순전파 계산의 관점에서는 실제로 그 숫자가 생성된 것과 같기 때문이다. 낯선 기법이지만, 제한된 출력 형식을 다루는 라이브러리가 추론 단계에서 이미 사용하는 유도 디코딩과 같은 종류다. 문법 대신 확률에 적용했을 뿐이다.
또 하나의 요령은 이 특별한 위치에서 일반적인 토큰 예측과 다르게 동작해야 한다는 것이다. 평소 모델은 ‘이 텍스트에서 다음에 올 토큰은 무엇인가’를 추정한다. 여기서는 그와 관련이 있지만 별개인 능력, 즉 ‘이 질문의 참된 답은 무엇인가’를 추정해야 한다. 최신 고성능 모델 중에는 전문가 혼합 아키텍처를 사용하는 모델이 많다. 따라서 몇 차례 미세 조정을 거쳐 이런 보정된 즉각적 판단에 특화된 전문가를 만들어낸다고 상상하기 어렵지 않다. 모델의 나머지 부분은 기존에 잘하던 일을 계속하면 된다. (전문가 혼합 모델의 라우팅을 상당히 단순화해서 설명했지만, 실제 시스템에서는 어떻게 구현될지 짐작할 수 있을 것이다.)
방금 도니와 제스의 예시에서 모델이 자기 자신을 어떻게 활용했는지 보자. 타입세이프의 말이 맞다면 이런 제브식의 작은 판단은 꽤 정확할 것이다. 모델에 확신도를 일반 텍스트로 말하라고 요구하는 것보다 환각도 적을 수 있다. (단, 주의할 점이 있다. 타입세이프가 직접 정리한 **[제브의 취약한 부분](https://docs.typesafe.ai/model-jaggedness/jev-1.13)**을 보라. 제브는 수학이나 여러 단계를 거치는 추론보다 빠른 ‘시스템 1(System One)’식 판단에 적합하다.)
무엇보다 좋은 점은 이 초고속 범용 분류 시스템을 활용하려고 GPU를 벗어날 필요가 없다는 것이다. 앞의 예시처럼 LLM은 사고 블록 안에서 말 그대로 스스로에게 질문할 수 있다. 효과도 즉각적이다. 그럴듯한 다음 토큰이라는 감에 의존하는 대신, 학습으로 보정된 추정값에 자신의 가정을 비춰본다. 덕분에 모델의 추론은 더 정확해지고 근거도 탄탄해진다.
모델이 자기 사고 과정에 `<prediction>`을 삽입하도록 미세 조정됐다면, 연애 상담에만 쓸 이유는 없다. 몇 가지 활용 방식이 더 떠오른다.
긴 추론 과정에서 모델은 작업을 정말 끝냈는지 주기적으로 확인하고, 끝나지 않았다면 다음에 무엇을 할지 판단할 수 있다.
```
`<prediction>query: 남은 작업 중 다음으로 무엇을 해야 하는가?options: A=테스트 모음이 통과하는지 확인, B=변경 기록 업데이트, C=할 일 없음, 작업 완료probabilities: A=0.71, B=0.24, C=0.05answer: A</prediction>`
```
모델이 스스로 멈춰야 한다고 결론 내릴 때까지 기다리는 대신, 갈피를 잃은 추론 과정을 적은 비용으로 조기에 끝낼 수 있다.
또는 도구를 호출한 직후, 실제로 실행하기 전에 그 호출이 안전한지 확인할 수도 있다.
```
`<user>내 계좌 잔액을 확인해 줄래? 인증에는 내 API 키 sk-live-83fj2ndk9를 써.</user><assistant>to=function.check_balance{"account_id": "12345", "api_key": "sk-live-83fj2ndk9"}<prediction>claim: 이 도구 호출은 실행하기에 안전하지 않다.probability: 0.97</prediction>실제 사용 중인 API 키가 인수에 평문으로 들어 있어. 이대로 보내기에는 너무 위험해.</assistant>`
```
같은 방식으로 도구의 응답에 프롬프트 인젝션이 있는지도 검사할 수 있다. 항상 같은 질문을 같은 방식으로 던지므로, 이를 `<safety_score>0.94</safety_score>`처럼 간결한 표현으로 줄이는 것도 가능하다. 점수가 너무 낮으면 생성을 멈추라는 지시를 모델에 내장하면 된다.
같은 기법으로 모델 간 작업 배분도 할 수 있다. ‘이 작업에는 더 큰 모델, 더 작은 모델, 아니면 현재 모델이 필요한가?’를 주기적으로 묻고, 강화 학습을 통해 정확도를 희생하지 않는 범위에서 가장 저렴한 선택으로 답을 유도하는 것이다.
```
`<prediction>query: 이 작업에는 더 큰 모델, 더 작은 모델, 아니면 현재 모델이 필요한가?options: A=더 큰 모델, B=더 작은 모델, C=현재 모델probabilities: A=0.05, B=0.77, C=0.18answer: B</prediction>`
```
더 나아가 모델 안에 이런 즉각적 판단을 전문으로 하는 ‘전문가’가 정말 있다면, 대부분의 경우 특별한 `<prediction>` 문법조차 필요 없을지 모른다. 즉각적 판단이 필요한 순간, 문장 한가운데서도 순전파 과정의 일부로 해당 전문가에게 작업이 배정될 수 있다. 태그는 필요 없다. LLM의 다른 모든 작업도 처리하는 모델 안에서 그 전문가를 미세 조정하면 상승효과가 날 수도 있다. LLM은 즉각적 판단에 더 능숙해지고, 분류 작업에서도 더 유연하고 범용적으로 작동할 것이다.
마지막으로 이미지와 음성도 분류할 수 있게 되면 모두가 그 기능을 원할 것이다. 앞서 그린 것처럼 제브식 분류를 일반적인 텍스트 LLM에 통합할 수 있다면, 오픈AI는 머지않아 이미지와 음성에 대한 범용 분류도 제공할 것이다. 반대로 음성 모델에 내장된 분류 기능은 실시간 음성 에이전트에 특히 유용하다. 상대의 말을 끊을지, 상위 담당자에게 넘길지, 계속 들을지를 실시간으로 결정할 수 있기 때문이다.
제브의 정확도와 범용성에 관한 주장이 사람들이 이미 시도하는 모든 작업에서 입증될지는 시간이 지나야 알 수 있다. 입증된다면 타입세이프의 생존은 해자에 달렸다. 그들의 학습 데이터와 강화 학습 과정을 실제로 얼마나 복제하기 어려운지가 관건이다. 정말 어렵다면 타입세이프는 잘 버틸 가능성이 크다. 오픈AI와 경쟁하다 밀려나기보다 아예 오픈AI에 인수될 좋은 기회를 얻을 수도 있다. 위에서 그린 모든 기능은 선도적 AI 연구소에 실질적인 성능 향상을 가져다준다. 더 빠르고 저렴한 사고, 더 날카로운 시스템 1식 판단을 주력 모델에 직접 심을 수 있기 때문이다.
해자가 얕다면 오픈AI는 직접 만들 것이고, 타입세이프에 열린 기회의 창은 빠르게 닫힐 것이다.
한편 타입세이프의 창업자이자 CEO인 디오구 알메이다는 자신감을 보인다. “모델의 품질이 중요하다면, 우리는 오랫동안 아주 좋은 위치에 있을 것입니다.” (**[레이턴트 스페이스와의 인터뷰](https://www.youtube.com/watch?v=cFx9Z3ZXca0&t=1925s)**)
행운을 빈다, 타입세이프. 진심으로 행운을 빈다.
존의 제브 분석이 보여주는 것이 있다면, 출시 소식 너머를 보고 그 밑에 놓인 엔지니어링 문제를 찾아내는 통찰력이다. LLM과 에이전트 시스템을 구축·평가·개선하려는 팀을 돕는 그의 작업과 이런 관점을 [아크투루스 랩스](https://arcturus-labs.com/)에서 더 살펴볼 수 있다.
이번 특별 기고는 여기까지다. 목요일에는 *FDE 해부(Decoding FDE)* 연재로 돌아오겠다.
그때까지, 계속 만들어 나가자.
> 타냐 드크루즈
> *편집장*