Docs | Src |  A-  |  A*  |  A+  | -/-

Metadata
# 오픈AI가 제브의 밥그릇을 빼앗을까? [타입세이프의 제브](https://arcturus-labs.com/blog/2026/09/16/typesafes-jev-trades-text-generation-for-instant-calibrated-decisions/)는 대규모 언어 모델에 새로운 접근법을 제시하며 AI 업계를 뒤흔들었다. [버셀](https://vercel.com/blog/ai-gateway-jev-model-launch)에 따르면 “AI 게이트웨이 역사상 제브보다 빠르게 도입된 모델은 없었다.” 하지만 앞날에 먹구름이 드리우고 있다. 오픈AI가 이를 주시하며 다음 수를 고민하고 있다는 데는 의심의 여지가 없다. ![이미지 1: 덩치 큰 오픈AI 로봇이 입맛을 다시며, 마른 타입세이프 로봇이 맛있게 먹고 있는 커다란 샌드위치에 손을 뻗는다.](https://arcturus-labs.com/blog/assets/will-openai-eat-jevs-lunch/hero.jpg) 타입세이프가 잘되기를 바란다. 하지만 제브가 약속한 성능을 정말로 구현했다면 걱정도 든다. 오픈AI가 재빨리 따라잡을 수 있는 유리한 위치에 있기 때문이다. 제브의 주력 제품을 재현하는 데 그치지 않고, 그 기능을 앞으로 나올 모델과 에이전트에 통합할 수도 있다. 그러면 제브가 구현하기 어려운, 실로 유용한 새 기능을 내놓을 수 있다. 내 주장을 간단히 정리하면 이렇다. 오픈AI는 수년간 자사의 LLM을 암묵적인 분류기로 사용해 왔다. 다만 일반적인 분류 작업을 수행하도록 훈련하거나, 범용 분류 기능을 독립 제품으로 출시하지 않았을 뿐이다. 훈련 방식을 재현할 수 있다면 제브도 금세 재현할 것이다. 나아가 이 새로운 분류기를 기존 모델과 에이전트 안에 넣을 수도 있다. 그러면 빠른 모델 선택, 더 효율적인 사고, 강화된 보안 보호 장치가 가능해지고, 전반적으로 더 똑똑하고 빠르면서 저렴한 모델을 만들 수 있다. 이 모든 가능성을 가르는 핵심은 타입세이프에 자신을 지킬 경쟁 우위가 있느냐는 것이다. 내가 보기에 가장 큰 경쟁 우위는 훈련 데이터와 훈련 과정에 있다. ## 오래된 것이 다시 새로워지다 본론에 앞서 내 가정을 밝히고, 이를 뒷받침하는 오픈AI의 관련 사례와 역사를 살펴보겠다. 내 주된 가정은 제브가 기존의 대규모 언어 모델과 상당히 비슷한 것을 사용한다는 것이다. 이를 뒷받침하듯 [레이턴트 스페이스의 보도](https://www.latent.space/p/ainews-here-are-6-clones-of-jev-in)에 따르면 초기에 등장한 제브 복제 모델 다수가 실제로 LLM 기반이다. 원리는 이렇다. `state`와 `questions` 묶음이 주어지면 제브의 LLM은 토큰 하나를 생성한다. 더 정확히는 다음에 올 수 있는 모든 토큰의 확률 분포를 계산한다. 그런 다음 이 한 단계에서 각 토큰에 부여된 로그 확률을 가공해 제브가 반환할 형식으로 만든다. (이하에서는 “로그 확률(logprobs)” 대신 “확률(probabilities)”이라고 하겠다. 여기서는 사실상 같은 뜻이다.) `noul` 질문에서는 `true`와 `false` 두 토큰만 살펴보고 나머지는 무시한다. 두 토큰의 확률을 정규화해 답이 _참(true)_일 확률 하나로 나타낸다. `choice` 질문에서는 `A=happy, B=sad, C=angry, D=afraid`처럼 선택지 목록을 프롬프트에 넣을 수 있다. 제브는 네 토큰의 상대적 확률로 전체 분포를 만들고 가장 확률이 높은 것을 답으로 고른다. 이 선택지 방식은 내가 2025년에 쓴 [로그 확률로 LLM 분류 성능 끌어올리기](https://arcturus-labs.com/blog/2025/03/31/supercharging-llm-classifications-with-logprobs/)에서 다룬 것과 거의 같다. 당시에도 미세 조정 없이 가능성을 보였다. (휴… 아이디어보다 실행이 중요하다는 말이 괜히 있겠는가?) `score`라는 기본 기능은 깊이 생각해 보지 않았지만, 같은 방식의 변형일 것 같다. 이 글은 오픈AI가 이 아이디어를 빠르게 활용할 수 있다는 전제에서 출발한다. 오픈AI가 지금까지 해 온 일을 보면 이유가 더 분명해진다. 적어도 도구 호출을 도입한 때부터 오픈AI는 대규모 언어 모델을 특수 목적 분류기로 암묵적으로 사용해 왔다. 2024년 초, 나는 [도구 호출 — GPT의 놀라운 유연성 보여주기](https://blog.jnbrymn.com/2024/01/30/tool-invocation--demonstrating-the-marvel-of-gpts-flexibility)라는 글을 썼다. GPT 모델이 도구 호출 여부를 정확히 어떻게 결정하는지 드러내도록 유도한 글이다. 다음 그림은 채팅 세션의 내부 모습을 보여준다. 사용자 메시지 뒤에 도구 호출이 없는 어시스턴트 응답이 나오고, 이어 도구 호출이 담긴 사용자 메시지가 나온다. ![이미지 2: 토큰 경계를 보여주기 위해 토큰마다 다른 색을 입힌 ChatML 대화 기록. 마지막에는 베를린의 기온을 알아보는 get_temperature 도구 호출이 나온다.](https://arcturus-labs.com/blog/assets/will-openai-eat-jevs-lunch/token_render.png) 토큰 경계를 나타내려고 텍스트에 색을 입혔다. ChatML을 처음 본다면, 사용자와 에이전트 간 대화 프롬프트를 구성하려고 오픈AI가 도입한 내부 마크업 언어라고 생각하면 된다. `<|im_start|>`와 `<|im_end|>`는 메시지의 경계를 표시하는 예약 토큰이다. `<|im_start|>` 다음 첫 토큰은 발화자가 `user`인지 `assistant`인지를 나타낸다. `<|im_start|>assistant` 바로 다음에 모델이 처음 예측하는 토큰은 `\n` 또는 `to=function.`이다. `\n`을 예측하면 일반적인 자연어 응답을 이어 간다. `to=function.`을 예측하면 그 토큰 시퀀스가 도구 호출 여부를 판단하는 분류기 역할을 한다. 그다음 몇 개의 토큰은 호출할 도구가 `get_temperature`임을 지정한다. 사용 가능한 도구 목록에서 하나를 고르는 또 다른 분류기인 셈이다. 이어 모델은 인수 이름과 인수 값을 생성한다. 이 역시 넓은 의미에서는 분류나 추정으로 볼 수 있다. 마지막으로 모델이 `<|im_end|>` 토큰을 생성하는 것도 메시지가 끝났다는 판단을 내리는 분류기다. 어떤 LLM은 말을 멈출 때를 모른다. 우스운 이야기를 하나 덧붙이겠다. 예전에 깃허브에서 코파일럿을 개발할 때, 나는 갓 나온 초기 단계의 GPT-4 내부 API를 다룰 기회가 있었다. 처음부터 뭔가 크게 잘못됐다는 걸 알 수 있었다. 모델은 처음에는 아주 조리 있게 답했지만, 끝맺지를 못했다. 답변마다 “다른 질문이 있으면 알려주세요. 좋은 하루 보내세요. 즐거운 한 주 보내세요. 좋은 시간 보내세요. 멋진 인생 보내세요. 특별한 하루 보내세요…” 같은 말을 붙였고, 응답 토큰 한도에 닿을 때까지 계속 이어 갔다. 알고 보니 그 API에서는 `<|im_start|>`와 `<|im_end|>`라는 특수 메시지 구분자를 모델이 사용할 수 있도록 헤더 값을 설정해야 했다. 우리는 사실상 모델이 자기 응답의 끝을 예측하지 못하게 막고 있었다. 모델에는 말 그대로 스스로 입을 다물 방법이 없었던 것이다! 그 옛 글에서 말하려던 요점은 오픈AI가 수년간 토큰 하나하나를 작은 분류기로 사용해 왔다는 것이다. 각 토큰에는 확률이 붙었다. 도구를 쓸 것인가? 쓴다면 어떤 도구를 쓸 것인가? 어시스턴트가 답변을 마쳤는가? 사실 제브의 비결도 여기에 있다. 단, 중요한 차이가 하나 있다. 이 작은 분류기들은 특정 작업에만 적합한 전문가인 반면, 제브의 분류기는 범용이다. 하지만 한두 걸음 물러서 보면 그 차이가 생각보다 작을 수도 있다. LLM은 다음에 올 모든 토큰에 끊임없이 확률 분포를 부여하는, 놀라울 정도로 범용적인 분류기이기 때문이다. ## 타입세이프에는 경쟁 우위가 있을까? 사실 나는 제브를 응원한다. 타입세이프는 줄곧 우리 코앞에 숨어 있던 아주 흥미로운 가능성을 찾아냈다고 생각한다. 아키텍처 자체가 강력한 경쟁 우위는 아닐 것 같다. 앞에서 설명한 바로 그 이유 때문이다. 타입세이프는 제브에 기존의 대규모 언어 모델이나 그와 비슷한 것을 사용하는 듯하다. 설령 그렇지 않더라도 기존 LLM은 범용 분류 작업에 잘 맞아 보인다. 진짜 경쟁 우위는 훈련 데이터에 있을지 모른다. 원자료 자체가 아니라, 이를 제브가 “잘 보정된(calibrated)” 판단을 하도록 훈련할 데이터로 바꾸는 기법 말이다. 타입세이프의 공동 창업자 디오구 알메이다도 아키텍처보다 데이터가 중요하다는 의견에 다음과 같이 답했다. > 아키텍처보다 데이터를 이야기하는 첫 번째 사람일지도 모르겠네요! 🥲 우리는 스스로를 데이터 연구소라고 생각합니다! 연구의 거의 전부를 진정으로 범용적인 데이터, 말하자면 인지적 핵심을 만들기 위해 쏟았습니다. 데이터는 100% 합성 데이터이고요. (물론 LLM이 그냥 뱉어낸 조악한 데이터는 아닙니다.) > > — 디오구 알메이다(@CompleteSkeptic), [2026년 9월 17일](https://twitter.com/CompleteSkeptic/status/2100617775823966680) 내가 그 데이터셋을 만든다면 결과가 이미 알려진 사례를 방대하게 모을 것이다. 고객 지원 요청과 실제 담당 부서, 이력서와 지원자의 실제 채용 여부, 상품 후기와 실제 별점, 콘텐츠 검토 대기 목록과 실제 판정, 예측 시장과 실제 결과 같은 것들이다. 각각에 이미 정답을 아는 질문을 짝지을 것이다. 목적은 제브에 고객 지원 요청이나 이력서 자체를 가르치는 게 아니다. 서로 크게 다른 분야의 수많은 상황을 보여주며, 폭넓은 영역에 걸쳐 분류 결과를 일반화하는 능력을 키우는 것이다. 강화 학습도 있다. 구체적으로 무엇을 하는지 궁금하다. 웹사이트의 위키백과나 둠 데모처럼, 선택지가 제한된 상황에서 자율 에이전트가 결정을 내리도록 하는 것일까? 아니면 사전 훈련 데이터의 기준 시점 이후에 벌어진 사건의 결과를 예측하는 것일까? 알 수 없다. 하지만 비법이 있다면 아마 여기에 있을 것이다. 다만 제브가 실제로 정확하지 않다면 이 중 어느 것도 경쟁 우위가 아니다. 속도와 비용, 사용 편의성은 쉽게 확인할 수 있지만 정확성은 검증하기 어렵다. 나는 이미 [제브가 제시한 확률이 맞아떨어지지 않는 분야](https://arcturus-labs.com/blog/2026/09/16/typesafes-jev-trades-text-generation-for-instant-calibrated-decisions/#but-are-those-probabilities-any-good)를 발견했다. 사람들이 실제로 시도하는 다양한 용도에 쓸 만큼 제브가 범용적이고 정확한지는 시간이 지나야 알 수 있다. ## 이제 오픈AI가 움직일 차례다 그렇다면 오픈AI의 다음 수는 무엇일까? 가장 뻔한 선택은 제브를 복제해 새로운 모델 유형으로 출시하는 것이다. 제브의 인기는 분명하다. 경쟁 우위를 따라잡기 어렵지 않다면 오픈AI에는 이를 해낼 기술과 하드웨어, 자금이 있다. 하지만 오픈AI는 제브를 복제하는 것보다 더 흥미로운 일을 할 수도 있다. 분류 기능을 기존 LLM에 통합하면 여러 이점을 얻을 수 있다. ### 스스로 질문하고 답하는 LLM 도구 호출을 알리던 특수 구문 `to=function.`을 기억하는가? 오픈AI는 이와 비슷하게 새로운 구문을 도입할 수 있다. 가령 `<prediction>`이라는 태그를 만들어, 빠른 분류 판단이 필요할 때 모델이 자기 문맥 안에 넣도록 하는 것이다. 다음과 같은 모습일 수 있다. ``` <user> 오늘 도니가 나한테 “머리 잘랐네, 잘 어울려”라고 했어. 도니가 나를 좋아할까? </user> <assistant> 실망스럽겠지만… 아마 아닐 거야. </assistant> ``` 일반적인 도구 호출과는 흥미로운 차이가 있다. 보통 도구를 호출할 때는 모델이 함수 이름과 인수를 생성한 뒤 생성 작업을 멈춘다. 그러면 에이전트 실행 환경이 이어받아 실제로 함수를 호출하고, 결과를 새로운 대화 차례에 모델에 전달해야 한다. 여기서는 그럴 필요가 없다. 분류기가 모델 바깥에 있는 도구가 아니라 모델 자체에 내장된 기능이기 때문이다. 모델은 GPU를 떠나지 않고 한 호흡에 질문하고 답한다. 일반적인 디코딩은 이렇게 진행된다. 모델이 각 위치에서 어휘의 토큰마다 하나씩 로짓을 생성한다. 소프트맥스를 거쳐 이를 확률 분포로 바꾼다. 그런 다음 탐욕적 디코딩이든 top-p든 어떤 전략으로든 토큰 하나를 고른다. 고른 토큰을 시퀀스에 덧붙여 다음 단계의 입력으로 다시 넣는다. 하지만 모델이 `probability:`까지 쓴 시점에는 일반적인 디코딩을 원하지 않는다. 주장은 평서문으로 표현돼 있으므로, 내부적으로 모델은 여전히 참과 거짓이라는 두 결과를 저울질한다. 우리는 그 위치에서 `true`와 `false` 토큰의 로짓을 읽고, 두 값만 서로 비교해 정규화해야 한다. 그런 다음 평소라면 선택됐을 토큰 대신 결과 확률인 `0.04`를 텍스트로 시퀀스에 써넣는다. 이후 모델은 자신이 그 숫자를 생성한 것처럼 디코딩을 계속한다. 이후의 순전파 과정에서 보면 실제로 그렇게 된 셈이다. 기묘한 수법이지만, 출력 형식을 제한하는 라이브러리가 추론 시점에 이미 사용하는 유도 디코딩과 같은 종류다. 다만 문법이 아니라 확률에 적용한 것이다. 또 다른 요령은 이 특별한 위치에서 일반 토큰 예측과 다르게 동작하도록 만드는 것이다. 보통 모델은 “이 텍스트에서 다음에 올 토큰은 무엇인가”를 추정한다. 여기서는 “이 질문의 참인 답은 무엇인가”에 더 가까운 것을 추정해야 한다. 서로 관련은 있지만 별개의 능력이다. 요즘 최첨단 모델은 모두 전문가 혼합 모델이므로, 몇 차례 미세 조정을 거쳐 이런 종류의 빠르고 보정된 판단을 전문으로 하는 전문가를 만들 수 있다고 상상해도 무리는 아니다. 모델의 나머지 부분은 이미 잘하는 일을 계속하면 된다. (전문가 혼합 모델의 라우팅을 상당히 단순화해 설명했지만, 실제 시스템에 어떻게 적용할지는 짐작할 수 있을 것이다.) ### 분류 기능이 내장된 LLM의 이점 앞서 도니와 제스의 사례에서 모델이 자신을 어떻게 이용했는지 보라. 타입세이프의 주장이 맞다면 이런 작은 제브식 판단은 꽤 정확할 것이다. 모델에 확신도를 일반 텍스트로 말하라고 하는 것보다 환각도 적을 것이다. (물론 주의할 점은 있다. 타입세이프가 직접 정리한 [제브의 한계](https://docs.typesafe.ai/model-jaggedness/jev-1.13)를 보라. 제브는 수학이나 여러 단계를 거치는 추론보다 빠른 ‘시스템 1(System One)’ 판단에 적합하다.) 무엇보다 좋은 점은 이 번개처럼 빠른 범용 분류 기능을 쓰기 위해 GPU를 벗어날 필요가 없다는 것이다. 위에서 보았듯 LLM은 말 그대로 사고 블록 안에서 스스로에게 질문하면 된다. 이점은 즉각적이다. 모델은 그저 다음에 올 법한 토큰에 의존하는 대신, 훈련을 통해 보정된 추정치와 자기 가정을 대조한다. 그만큼 모델 자신의 추론은 더 정확해지고 근거도 탄탄해진다. 모델이 자기 사고 과정에 `<prediction>`을 넣도록 미세 조정했다면 연애 상담에만 쓸 이유가 없다. 몇 가지 활용 방식이 더 떠오른다. 긴 추론 과정에서는 작업을 정말 마쳤는지 주기적으로 확인할 수 있다. 끝나지 않았다면 다음에 무엇을 할지도 판단한다. ``` <prediction> query: 남은 작업 중 다음에는 무엇을 해야 하는가? options: A=테스트 모음 통과 확인, B=변경 이력 업데이트, C=할 일 없음, 완료됨 probabilities: A=0.71, B=0.24, C=0.05 answer: A </prediction> ``` 모델이 스스로 그만둘 때까지 기다리는 대신, 방향을 잃고 늘어지는 추론을 적은 비용으로 끊어낼 방법이다. 또는 도구 호출 직후, 실제 실행에 앞서 그 호출이 안전한지 확인할 수도 있다. ``` <user> 내 계좌 잔액을 확인해 줄래? 인증에는 내 API 키 sk-live-83fj2ndk9를 써. </user> <assistant> to=function.check_balance {"account_id": "12345", "api_key": "sk-live-83fj2ndk9"} <prediction> claim: 이 도구 호출은 실행하기에 안전하지 않다. probability: 0.97 </prediction> 실제로 작동하는 API 키가 인수에 평문으로 들어 있어. 이대로 보내기에는 너무 위험해. </assistant> ``` 같은 방식으로 도구의 응답에서 프롬프트 인젝션을 검사할 수도 있다. 매번 같은 질문을 같은 방식으로 던지므로, 이를 `<safety_score>0.94</safety_score>` 같은 간결한 구문으로 줄이는 모습도 상상할 수 있다. 점수가 너무 낮으면 생성을 멈추라는 지시를 모델에 내장하면 된다. 같은 수법으로 모델 간 작업을 배분할 수도 있다. “이 작업에는 더 큰 모델, 더 작은 모델, 아니면 현재 모델이 필요한가?”라고 주기적으로 묻는 것이다. 여기에 강화 학습을 조금 더하면 정확도를 희생하지 않는 범위에서 가장 저렴한 선택을 하도록 유도할 수 있다. ``` <prediction> query: 이 작업에는 더 큰 모델, 더 작은 모델, 아니면 현재 모델이 필요한가? options: A=더 큰 모델, B=더 작은 모델, C=현재 모델 probabilities: A=0.05, B=0.77, C=0.18 answer: B </prediction> ``` 나아가 이런 빠른 판단을 전문으로 하는 “전문가(expert)”가 모델 안에 실제로 있다면, 대부분의 경우 특별한 `<prediction>` 구문조차 필요 없을지 모른다. 빠른 판단이 필요한 순간이면 문장 한가운데에서도 일반적인 순전파 과정의 일부로 해당 전문가에게 라우팅하면 된다. 태그는 필요 없다. LLM의 다른 모든 작업도 처리하는 모델 안에서 이 전문가를 미세 조정하면 상승효과가 날 수도 있다. LLM은 빠른 판단에 더 능숙해지고, 분류에서도 더 유연하고 범용적으로 작동할 것이다. 마지막으로 이미지와 음성에도 분류 기능이 제공되면 누구나 곧바로 쓰고 싶어 할 것이다. 내가 그린 대로 제브식 분류 기능을 기존 텍스트 LLM에 통합할 수 있다면, 오픈AI는 머지않아 이미지와 음성에 대한 범용 분류 기능도 제공할 것이다. 반대로 음성 모델에 분류 기능을 내장하면 실시간 음성 에이전트에 특히 유용하다. 상대의 말을 끊을지, 상위 단계로 넘길지, 아니면 계속 들을지를 실시간으로 결정할 수 있기 때문이다. ## 타입세이프는 살아남을까? 정확성과 범용성에 관한 제브의 주장이 사람들이 이미 시도하는 온갖 작업에서도 성립할지는 시간이 지나야 알 수 있다. 성립한다면 타입세이프의 생존은 경쟁 우위에 달려 있다. 훈련 데이터와 강화 학습 과정을 재현하기가 실제로 얼마나 어려운가? 정말 어렵다면 타입세이프는 아마 괜찮을 것이다. 오픈AI와 경쟁하다 밀려나는 대신, 오히려 오픈AI에 인수되기 좋은 드문 위치에 설 수도 있다. 앞서 그린 모든 가능성은 최첨단 모델 개발사에 실질적인 성능 향상을 가져온다. 더 빠르고 저렴한 사고, 더 예리한 시스템 1 판단을 주력 모델에 직접 내장할 수 있기 때문이다. 경쟁 우위가 약하다면 오픈AI는 직접 같은 것을 만들 것이고, 타입세이프에 남은 기회는 빠르게 사라질 것이다. 한편 타입세이프의 창업자이자 CEO인 디오구 알메이다는 자신감이 있다. “모델의 품질이 중요하다면 우리는 오랫동안 아주 유리한 위치에 있을 겁니다.” ([레이턴트 스페이스 인터뷰에서](https://www.youtube.com/watch?v=cFx9Z3ZXca0&t=1925s)) 타입세이프의 건투를 빈다. 진심으로.