Metadata
# 오픈AI의 에이전트 기반 소프트웨어 팩토리 내부 살펴보기
무제한의 토큰 예산을 가지고 일하는 경험은 드물지만, 오픈AI(OpenAI)의 모든 엔지니어, 연구원, 재무 담당자, 마케팅 직원은 그렇게 일합니다. 저는 최근 세계 최고의 프런티어 랩 중 하나인 오픈AI를 방문하여 현재 그들이 어떻게 운영되고 있는지, 그리고 소프트웨어 엔지니어링이라는 직업이 앞으로 어떤 방향으로 나아갈지 엿보고 왔습니다.
지난해 오픈AI 본사를 [방문](https://newsletter.pragmaticengineer.com/p/san-francisco-is-back)했을 때와 비교하면 많은 것이 변했습니다. 1년 만에 코덱스(Codex)는 단순히 '있으면 좋은' 도구에서 회사 내 거의 모든 업무의 중추 역할을 하는 도구로 성장했습니다.
더 자세한 내용을 알아보기 위해 저는 오픈AI의 엔지니어링 리더 및 엔지니어 7명을 인터뷰했습니다. 벤카트 벤카타라마니(Venkat Venkataramani, 응용 인프라 엔지니어링 부사장), 술만 초드리(Sulman Choudhry, ChatGPT 엔지니어링 책임자), 앤드류 암브로시노(Andrew Ambrosino, 데스크톱 리드), 조 거셴슨(Joe Gershenson, 핵심 에이전트 팀 리드), 악샤이 네이선(Akshay Nathan, 생산성 엔지니어링 리드), 아메드 이브라힘(Ahmed Ibrahim, 코덱스 엔지니어), 스티브 커피(Steve Coffey, 응답 API 엔지니어)가 참여했습니다. 도움을 주신 모든 분께 감사드립니다.
이번 글에서 다룰 내용은 다음과 같습니다.
1. **오픈AI를 점령한 코덱스:** 불과 몇 달 만에 거의 모든 비엔지니어 직원이 상부의 지시 없이도 코덱스와 ChatGPT Work로 업무 환경을 옮겼습니다.
2. **IDE와 풀 리퀘스트(pull request)의 종말:** 코덱스 사용량이 급증한 지난 1월 이후 IDE 사용률이 감소했습니다. 이제 PR과 코드 리뷰 방식을 재고해야 합니다.
3. **오픈AI의 에이전트 기반 소프트웨어 팩토리:** 오픈AI는 여러 자동화된 에이전트 피드백 루프를 갖춘 '소프트웨어 팩토리'를 구축했습니다. 예를 들어, '퍼프 팩토리(Perf Factory)'는 운영 환경을 모니터링하고 코덱스 에이전트를 실행해 성능 문제를 자동으로 수정합니다.
4. **엔지니어링 도구 및 관행의 변화:** 수작업으로 만든 내부 도구들이 서서히 코덱스로 대체되고 있습니다. 특히 디버깅 시 전문 도구보다 코덱스를 더 선호하는 추세입니다. 소프트웨어 팩토리에서는 하네스(harness)의 효율성이 매우 중요합니다.
5. **10억 명의 사용자를 위한 엔지니어링:** 오픈AI의 인프라 확장 방식은 우선 구매한 뒤 나중에 내부화하는 것입니다. 지리적 인프라 분산, 용량 계획 전략 및 당면 과제에 대해서도 다룹니다.
6. **API의 신뢰성과 성능 향상:** CPU가 병목 지점이 되고 있으며, 의도적으로 배포 속도를 늦추거나 부하 문제를 해결하는 전략을 사용합니다.
7. **소프트웨어 엔지니어링 직무의 변화:** 엔지니어링 전문 분야의 경계가 사라지고, 판단력과 주도성(agency)이 더 중요해지고 있습니다. 과거에는 '불가능'하다고 여겨졌던 재작성이나 마이그레이션 작업도 이제는 단 한두 명의 엔지니어만으로 성공시킬 수 있습니다.
_시작하기에 앞서 일정 안내를 드립니다. 이번 주는 뉴욕에서 LDX3 컨퍼런스에 참석하고 여러 스타트업과 테크 기업을 방문할 예정이라 목요일 '더 펄스(The Pulse)' 발행은 쉽니다. 다음 주부터 정상 서비스됩니다!_
_이 글의 하단 부분이 일부 이메일 클라이언트에서 잘릴 수 있습니다. [온라인에서 전체 기사를 끊김 없이 읽어보세요.](https://newsletter.pragmaticengineer.com/p/openai-software-factory)_
[전체 기사 온라인으로 읽기](https://newsletter.pragmaticengineer.com/p/openai-software-factory)
본사 방문 후 가장 강렬하게 남은 점은 지난 1월 무렵부터 코덱스, 그리고 최근에는 코덱스와 ChatGPT Work가 그곳의 *모든 것*을 장악했다는 사실입니다. 데스크톱 리드인 앤드류 암브로시노는 이렇게 말했습니다.
> "지난 몇 달간의 핵심 테마는 이제 모든 것이 '코딩 에이전트'가 되었다는 점입니다. 눈에 보이는 결과물이 코드인지 아닌지와 상관없이, 에이전트가 여러분의 작업물(artifacts)을 작성합니다.
>
> 이렇게 생각해보세요. 우리의 삶 전체가 소프트웨어를 통해 이루어집니다. 컴퓨터 안에 강력한 도구(에이전트)가 있고, 이 도구가 루프를 돌며 추론하고 코드를 짤 수 있다면, 그것은 곧 모든 일을 할 수 있는 능력과 같습니다."
아래의 토큰 사용량 차트는 이러한 급격한 도입 추세를 보여줍니다.
[](https://substackcdn.com/image/fetch/$s_!UFwx!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F117eaa31-8c91-41c3-9646-e06523263ca7_1846x1054.png)
_2025년 8월 이후 오픈AI 부서별 코덱스 사용량. 출처: [오픈AI](https://openai.com/index/how-agents-are-transforming-work/)_
4개월 만에 재무, 채용, 법무와 같은 비엔지니어링 조직의 코덱스 사용률이 0%에서 90%로 급증했습니다. 이제 거의 모든 오픈AI 직원이 매주 코덱스와 ChatGPT Work를 활용합니다. 어떻게 이런 일이 가능했을까요?
오픈AI는 2월에 Mac용, 3월에 Windows용 코덱스 앱을 출시했고, 7월에는 코덱스 하네스를 기반으로 한 ChatGPT Work를 출시했습니다. 그 결과, 비엔지니어 직원들이 모든 워크플로우를 코덱스로, 다시 Work로 옮기기 시작했습니다. *주의할 점은 오픈AI 내부 버전의 코덱스는 거의 모든 내부 시스템과 연결되어 있어 외부 버전보다 훨씬 고도화되어 있다는 것입니다. 이는 [램프(Ramp)의 Inspect AI 에이전트](https://newsletter.pragmaticengineer.com/p/why-ramp-built-inspect)가 연결된 방식과 비슷합니다.*
흥미로운 점은 코덱스 앱이 비엔지니어 사용자에게 불친절(사용하기 어려움)했던 시기에도 비엔지니어링 팀의 도입률이 40%에 육박했다는 것입니다. 2월부터 4월까지 코덱스 앱은 화면에 코드를 그대로 노출했지만, 비기술직 동료들은 이를 계속 사용했습니다. 리서치, 프레젠테이션 제작, 문서 작성, 스프레드시트 작업 등 풍부한 결과물을 만들어내는 복잡한 업무가 가능했기 때문입니다. 현재 이들은 코덱스의 매우 헤비한 사용자가 되었습니다.
**더 복잡한 일을 더 오래 처리할 수 있는 능력이 도입을 이끌었습니다.** 오픈AI는 코덱스에 `/goal` 설정을 추가했습니다. 이를 통해 에이전트에게 목표를 설정해주면 완료될 때까지 계속 작업하게 할 수 있습니다. 4월에서 5월 사이 사용률은 60%에서 90%로 치솟았습니다. 앤드류는 장시간 실행되는 작업을 처리하는 하네스의 능력이 개선된 것이 주요 원인이라고 봅니다.
> "가장 크게 변한 점은 사람들이 스레드를 훨씬 더 길게 사용하기 시작했다는 것이며, 이러한 장기 사용이 돌파구가 되었습니다. 사람들이 하나의 스레드에 쏟는 시간이 며칠이나 될 정도로 길다는 점은 정말 놀랍습니다. 목표를 설정해두고 모델이 계속 돌아가게 만드는 식이죠.
>
> 코덱스가 장기 작업을 잘 처리하게 되자, 사람들이 여러 일을 병렬로 처리하는 경향이 줄어들었습니다. 장기 실행 에이전트가 다른 작업들을 위해 또 다른 에이전트들을 생성해 처리하므로, 인간이 관리해야 할 범위가 줄어들기 때문입니다."
**코덱스 팀은 '인식의 격차(awareness overhang)' 또한 빠른 도입의 원인이라고 분석합니다.** 생산성 팀의 엔지니어링 리드인 악샤이 네이선은 이렇게 설명했습니다.
> "오랫동안 우리는 '역량의 격차'를 겪었습니다. 모델은 능력이 충분했지만 제품이 이를 완전히 끌어내지 못했죠. 이제는 '인식의 격차'가 나타나고 있습니다. 어떤 이들은 코덱스로 슬랙(Slack)을 모니터링하고, 에어테이블(Airtable)을 업데이트하며, 온보딩 자료를 만들 수 있다는 걸 깨달았습니다. 하지만 여전히 많은 이들이 단일 작업에만 사용하다가 동료들의 입소문을 통해 더 많은 활용법을 발견하곤 합니다.
>
> 하지만 코덱스로 할 수 있는 일은 겉으로 드러난 것보다 훨씬 더 많습니다."
**역할 및 팀별 맞춤형 플러그인이 생성되고 배포됩니다.** 도입 속도를 높인 또 다른 요인은 각 그룹이 역할에 특화된 유용한 워크플로우를 플러그인 형태로 배포하기 시작했다는 점입니다. 앤드류는 범용 코딩 에이전트만 제공해서는 안 되는 이유를 다음과 같이 설명했습니다.
> "무엇이든 할 수 있는 제품을 만들면, 팀들이 이를 자신의 업무에 맞게 최적화할 방법이 필요합니다. 모두에게 빈 상자만 줄 수는 없으니까요. 스킬과 플러그인을 통해 팀은 에이전트를 업무에 맞게 조정할 수 있습니다. 때로는 에이전트가 스킬과 함께 사용할 수 있는 브라우저 같은 새로운 앱 기능이 필요하기도 합니다. 하지만 기본 빌딩 블록만으로도 이미 다양한 역할의 요구사항을 충족할 수 있습니다."
**도메인 전문가들이 ChatGPT Work 엔지니어링 팀에 합류했습니다.** 특정 영역에서는 모델이 개발자보다 '더 똑똑'해졌기 때문에, 개발자가 해당 분야의 '취향(taste)'이나 세부 기준을 하네스에 반영하기 어려워졌습니다. 그래서 도메인 전문가들을 엔지니어링 팀에 배치했습니다. 이는 ChatGPT Work가 수많은 비엔지니어링 영역에서 사용되면서 나타난 결과입니다. 배치된 전문가들은 개발자들에게 좋은 슬라이드 덱, 스프레드시트, 비즈니스 보고서가 어떤 모습이어야 하는지 조언합니다.
*물론 도메인 전문가를 엔지니어링 팀에 포함시키는 것은 고품질 제품을 만들기 위한 수십 년 된 모범 사례입니다. 몇 년마다 다른 맥락에서 이 사실이 재발견되는 것 같네요!*
**오픈AI는 이제 코덱스와 Work에 완전히 의존하고 있습니다.** 그 정도가 심해서 아주 작은 장애만 발생해도, 자동 알림이 울리기 전이나 동시에 동료들이 코덱스와 Work 팀에 내부 메시지를 보내 알릴 정도입니다.
기본적으로 모든 업무는 코덱스와 Work를 통해 이루어지며, 그 외의 수단은 거의 없습니다. *외부에서 보기에 단일 공유 하네스에 이토록 의존한다는 점은 매우 놀랍습니다. 2년 전만 해도 AI 에이전트는 없었고, 고성능 AI 자동완성 기능만 있었으니까요!*
지난해 말, 코덱스 팀은 코덱스 데스크톱 앱을 출시할지를 두고 고민했습니다. 앤드류는 당시의 망설임을 이렇게 회상합니다.
> "2025년 12월 당시, 우리는 코덱스 앱을 출시해야 할지 완전히 확신하지 못했습니다. 터미널로 사용할 수 있는 코덱스 CLI가 있었고, 이미 기능이 풍부한 IDE들이 많았으니까요. 터미널과 IDE 사이의 포지션을 가진 개발 도구에 과연 수요가 있을까 생각했습니다. 제 머릿속에는 아이패드처럼 '어정쩡한' 제품이 되어 실패하는 미래가 그려졌습니다.
>
> 많은 사람이 아이패드를 사놓고 쓰지 않습니다. 더 작고 휴대성이 좋은 스마트폰(비유하자면 CLI)을 쓰거나, 기능이 풍부한 노트북(비유하자면 IDE)을 쓰죠.
>
> 또한 11월에 VS Code 포크 버전인 안티그래비티(Antigravity)가 출시되었습니다. 이 때문에 우리도 코덱스 앱을 위해 VS Code를 포크했어야 했나 하는 생각이 들었습니다. 하지만 우리는 유혹을 뿌리치고, AI 에이전트가 발전할수록 IDE의 중요성은 낮아질 것이라는 직감에 따랐습니다."
실제로 1월 이후 IDE 사용률이 감소하면서 오픈AI의 베팅은 성공한 것으로 보입니다. 다만, 코덱스 앱은 조금씩 IDE와 닮아가고 있습니다. 예를 들어 6월에는 앱 내에서 파일을 편집하는 기능이 추가되었습니다.
**CI/CD 시스템의 부하가 급격히 증가하고 있습니다.** 코덱스로 인한 생산성 향상의 한 가지 증거는 오픈AI의 개발 인프라 시스템을 통과하는 코드의 양이 엄청나게 늘어났다는 점입니다. 더 많은 코드가 생성되고 푸시되면서 새로운 확장성 문제가 발생했고, 팀은 현재 이 문제를 해결하는 데 매진하고 있습니다. 응용 인프라 엔지니어링 부사장인 벤카트 벤카타라마니는 이렇게 말했습니다.
> "엔지니어 1인당 풀 리퀘스트(PR) 수가 하키 스틱 그래프처럼 급격히 증가하고 있습니다. 빌드-테스트-배포 파이프라인의 모든 단계에서 부하가 극적으로 늘었습니다.
>
> 일부 시스템에서는 부하가 약 10배 증가했습니다. 일반적인 회사라면 2~3년에 걸쳐 일어날 성장이 오픈AI에서는 약 6개월 만에 일어난 셈입니다.
>
> 이런 가속도는 곳곳에서 병목 현상을 일으킵니다. 버전 관리 시스템은 훨씬 더 많은 코드 작성과 푸시를 처리해야 하고, CI/CD 시스템은 그에 맞춰 확장되어야 하며, 운영 배포 프로세스는 훨씬 높은 변경 빈도를 수용해야 합니다.
>
> **매달 눈을 뜨면 해결해야 할 새로운 인프라 확장 과제들이 기다리고 있습니다.** 다음 성장 단계를 위해 충분한 용량을 확보했다고 생각하는 순간, 모델이 또 다른 능력을 잠금 해제하고, 그것이 시스템의 또 다른 곳에서 새로운 병목을 만들어냅니다."
**이런 상황에서 PR과 코드 리뷰 방식이 재설계되고 있습니다.** 소프트웨어 엔지니어링에는 '핵심 원칙'들이 있지만, 지금 같은 개발 가속도 상황은 이를 재구상할 기회입니다. 벤카트의 설명은 계속됩니다.
> "개발 속도가 이렇게 빨라지는 상황에서 우리가 스스로에게 던져야 할 질문은 '당연하게 여겼던 것들을 어떻게 재구상할 것인가'입니다. 예를 들어 CI(지속적 통합)와 CD(지속적 배포) 프로세스를 어떻게 바꿀 것인가? 이 세상에서 관측 가능성(observability)은 무엇을 의미하며, 사람들은 PR과 어떻게 상호작용해야 하는가?
>
> 제가 보기엔 현재의 코드 리뷰 방식이나 PR 방식은 점점 더 말이 안 되는 구조가 되고 있습니다.
>
> 이제 우리는 여러 가지 관점에서 코드 변경 사항을 살펴보는 '에이전트 기반 코드 리뷰'를 도입하고 있습니다. 과거에는 클라우드 인프라 엔지니어와 보안 엔지니어가 모든 코드 변경 사항을 일일이 리뷰하는 것이 불가능했습니다. 하지만 에이전트를 활용하면 가능해집니다.
>
> **에이전트를 통해 코드 배포 방식도 재고할 수 있습니다.** 코드 변경이든 피처 플래그(feature flag) 변경이든, 프로덕션에 안전하게 반영될 때까지 전체 과정을 '밀착 가이드(handhold)'하는 에이전트를 구축하고 있습니다. 이 에이전트는 관련 모니터링 그래프를 관찰할 뿐만 아니라, 중요한 신호를 감시하기 위해 직접 대시보드를 만들기도 합니다. 이제 더 많은 코드 변경 사항이 이런 에이전트의 모니터링 하에 프로덕션으로 배포됩니다."
**네이티브 모바일 앱 배포가 점점 더 고통스러운 병목 지점이 되고 있습니다.** PR이 10배 늘어나면 백엔드나 웹 배포는 인프라를 더 확충해 해결할 수 있습니다. CI/CD 시스템을 개편하고 충분한 용량을 확보하면 그만큼 많은 PR을 프로덕션에 배포하면 됩니다.
하지만 네이티브 iOS 및 Android 앱 업데이트는 다릅니다. 모든 앱 업데이트는 애플과 구글의 수동 승인 프로세스를 거쳐야 하며, 여기에는 몇 시간에서 며칠이 소요됩니다.
ChatGPT 엔지니어링 책임자인 술만 초드리는 앱 리뷰 병목이 반복 속도에 어떤 영향을 주는지 설명했습니다. 페이스북 출신인 그는 당시 페이스북이 모바일 릴리스 속도를 어떻게 높였는지 기억합니다.
> "2010년대에 페이스북은 네이티브 모바일 코드를 더 빠르게 배포하는 중요한 돌파구를 찾았습니다. 앱 스토어 릴리스 주기를 한 달에서 2주, 그리고 일주일 단위로 단축했죠. 동시에 실험 도구와 피처 플래그를 이용해 코드를 미리 배포해두고, 준비가 되었을 때 원격으로 기능을 활성화했습니다.
>
> 이 모델 덕분에 모바일 배포 속도가 비약적으로 향상되었습니다.
>
> 코덱스 시대에 우리는 이 문제의 다음 단계에 직면해 있습니다. 코드 생성 속도는 비약적으로 빨라졌지만, 그 코드를 네이티브 모바일 사용자에게 전달하는 속도는 그대로입니다. 특히 모바일 우선 사용 성향이 강한 코덱스의 경우, 이 간극은 이미 우리와 사용자 모두에게 고통스러운 수준입니다.
>
> 이 압박은 빠르게 커질 것입니다. 소프트웨어를 단 몇 분 만에 짤 수 있는데, 그것을 폰에 올리기 위해 며칠 혹은 몇 주를 기다려야 한다는 건 점점 더 말도 안 되는 일이 됩니다.
>
> 우리는 네이티브 모바일 배포가 웹 배포만큼 빠른 세상을 목표로 해야 합니다. 이를 위해서는 무엇을, 언제 배포하고, 무엇을 원격으로 활성화할 수 있을지에 대한 창의적인 재고가 필요할 것입니다. 현재로서는 그 근처에도 가지 못했습니다."
*네이티브 iOS나 Android 앱 배포가 2008년 앱 스토어 출시 당시와 똑같은 과제를 안고 있다는 점이 아이러니합니다. 18년이 지났지만 변한 게 거의 없네요! 애플은 여전히 앱 스토어 리뷰 프로세스를 우회해 유의미한 경험적 변경 사항을 배포하는 것을 공식적으로 허용하지 않습니다.*
'소프트웨어 팩토리'라는 개념은 로봇과 인간이 함께 자동차를 생산하는 실제 공장과 비슷합니다. 소프트웨어 맥락에서는 AI 에이전트와 인간이 소프트웨어를 생산하는 것입니다. 일부 제조 현장에는 사람이 없어 조명이 필요 없는 완전 자동화된 '다크 팩토리(dark factories)'가 있습니다. 소프트웨어 엔지니어링에서도 이런 완전 자동화 프로세스가 나타날 수 있을까요? 현재 오픈AI에는 코덱스를 중심으로 구축된 '소프트웨어 팩토리'가 가동 중입니다.
응용 인프라 엔지니어링 부사장 벤카트 벤카타라마니가 설명한 '전통적인' 소프트웨어 개발 파이프라인과 현재 오픈AI의 에이전트 기반 인프라 파이프라인의 비교는 다음과 같습니다.
[](https://substackcdn.com/image/fetch/$s_!Eiw9!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1e73721e-e4d8-473f-a5a1-b6211c14f6ca_2048x1762.png)
### 오픈AI의 '에이전트 기반 소프트웨어 팩토리'
파이프라인 단계:
**1. 인간 빌더가 원하는 결과 정의:** 소프트웨어 엔지니어 또는 제품 관리자(PM)가 문제와 원하는 결과물을 정의합니다. 이 단계에서는 판단력, 우선순위 설정, 취향이 더욱 중요해지고 있습니다. 흥미롭게도 벤카트는 오픈AI의 엔지니어들이 전통적인 시스템 엔지니어보다 제품 관리자에 가까워지고 있다고 말했습니다.
**2. 코덱스가 컨텍스트 수집:** 오픈AI는 모든 문서를 소스 코드 내부로 옮겼습니다. 덕분에 에이전트가 코드를 더 잘 이해할 수 있게 되었습니다. 또한 코덱스는 다음 항목에 접근할 수 있습니다.
* Git 저장소 및 GitHub
* 슬랙(Slack) 및 노션(Notion)
* 내부 데이터 소스: Databricks, Datadog, 내부 로그 등
* 내부 코덱스 스킬(일부는 오픈AI의 코덱스 구현체 자체가 유지 관리함)
코덱스는 오픈AI 시스템에 매우 깊게 통합되어 있어, 신입 엔지니어들은 온보딩 기간 중 궁금한 점이 있으면 코덱스에게 물어보라는 안내를 받습니다. 코덱스가 놀라울 정도로 많은 컨텍스트를 가지고 있기 때문입니다.
**3. 코덱스가 코드 변경 구현:** 이 부분은 비교적 간단합니다. 코덱스가 작업을 시작해 목표에 도달할 때까지 일련의 코드 변경을 수행하고, 소프트웨어가 의도대로 작동하는지 검증합니다.
**4. 빌드, 테스트 및 CI:** 에이전트가 코드를 빌드하고 테스트를 실행합니다. 테스트가 실패하면 코드를 수정하고, 최종적으로 풀 리퀘스트(PR)를 생성합니다. 이 PR은 지속적 통합(CI) 서버를 트리거하여 더 철저한 린터(linter)와 테스트 세트를 실행하게 합니다. 에이전트는 PR이 '그린 라이트(성공)'가 될 때까지 CI 실패 건을 수정하고 PR을 자동으로 업데이트하며 관리합니다.
**신규: '퍼프 하네스(perf harness)':** 에이전트는 또한 퍼프 하네스를 사용하여 문제가 있는 PR을 합성 A/B 테스트(Synthetics A/B) 프레임워크로 보내 성능 영향을 평가합니다. 앞서 언급했듯이, 지난 6개월 동안 CI 시스템의 부하가 크게 증가했습니다.
**5. 에이전트 기반 코드 리뷰:** 범용 AI 리뷰어 하나만 사용하는 대신, 오픈AI는 '도메인 전문가' 설정이 적용된 여러 에이전트를 생성합니다. 벤카트는 이것이 각 관련 인프라 팀의 인간 전문가가 모든 변경 사항을 리뷰하는 것과 같다고 봅니다.
*거겔리(Gergely)의 노트: 클라우드 인프라 전문가라고 지시받은 에이전트가 일반 에이전트와 다른 리뷰 결과를 낼 수 있을지 처음에는 회의적이었습니다. 하지만 모든 코덱스 에이전트는 오픈AI의 코드와 문서에 완전히 접근할 수 있습니다. 따라서 '클라우드 인프라 전문가' 에이전트는 클라우드 인프라 설정과 모범 사례에 대한 방대한 컨텍스트를 수집했을 가능성이 크며, 매우 정교한 피드백을 제공할 수 있을 것입니다. 중요한 점은 이러한 '도메인 전문가' 에이전트가 어떻게 설정되었는지, 어떤 컨텍스트에 접근하는지, 그리고 제한된 컨텍스트 윈도우를 최대한 활용하기 위해 자신의 도메인에만 어떻게 집중하는지입니다.*
**코드 변경 사항의 위험도 분류:** 고위험 변경 사항은 더 엄격한 프로세스를 거칩니다. 예를 들어 더 많은 AI 코드 리뷰를 거치거나, AI 에이전트가 마친 후 인간이 반드시 리뷰하도록 강제합니다. 저위험 변경 사항은 더 간소한 경로를 따릅니다. 코드베이스의 특정 영역은 저위험 PR을 자동 승인하는 에이전트를 선택할 수 있어, 인간의 승인 단계를 없애고 속도를 높입니다.
위험 평가의 멋진 점은 추가적인 컴플라이언스 확인이 필요한 시점을 자동화할 수 있다는 것입니다. 이는 다른 에이전트를 통한 자동 리뷰나 인간 리뷰로 이루어집니다. 생성되는 PR의 양이 너무 많기 때문에, 도움 없이는 인간이 모든 코드를 리뷰하는 것이 불가능합니다.
CI 단계와 마찬가지로, 코딩 에이전트가 리뷰 의견을 모니터링하고 발견된 문제를 해결하기 위해 PR을 업데이트합니다.
**6. 에이전트 기반 배포:** 인간이 프로덕션 배포를 승인하면, 해당 변경 사항에 전담 에이전트가 할당됩니다. 에이전트에게 내려지는 지시는 다음과 같이 요약할 수 있습니다.
"이 변경 사항이 프로덕션에 안전하고 완전하게 반영될 때까지 밀착 가이드하라."
에이전트는 코드 변경과 피처 플래그 변경 모두를 관리합니다. 예를 들어 피처 플래그 기반 변경의 경우 에이전트는 다음과 같이 행동합니다.
* 코드베이스를 읽어 피처 플래그가 어디에 있는지 파악한다.
* 변경 사항이 어떤 역할을 하는지 이해한다.
* 성공과 실패를 나타내는 신호(signal)가 무엇인지 결정한다.
* **직접 모니터링 대시보드를 구축하여 활용한다** (이 부분은 매우 인상적인 발전이며 저에게도 새로운 개념입니다).
* 관련 프로덕션 신호와 자신이 만든 대시보드를 감시한다.
오픈AI의 장기적인 목표는 에이전트 형태로 '변경 사항별 자율 SRE(사이트 신뢰성 엔지니어)'를 두어 거의 자율적으로 배포하는 것입니다.
**7. 프로덕션 관측:** 프로덕션 시스템을 추적하는 도구들을 활용합니다.
* 이전 단계에서 에이전트가 생성한 대시보드
* 로그, 메트릭, 트레이스, 와이드 이벤트 데이터를 생성하는 다양한 커스텀 도구를 포함한 오픈AI 내부 관측 스택
코덱스 도입 전, 지난번 방문 때와 비교해 가장 크게 바뀐 점 중 하나는 당시에는 엔지니어가 서비스 모니터링 대시보드를 직접 만들었지만, 이제는 에이전트가 배포 건별로 세밀하게 대시보드를 만든다는 점입니다.
**8. 프로덕션 모니터링의 개발 환류:** 오픈AI의 '퍼프 팩토리(Perf Factory)'는 에이전트를 사용하여 알림과 대시보드를 샅샅이 뒤지고, 중복 신호를 제거하며, 실제 레이턴시(latency) 저하를 식별하고, 근본 원인을 찾아 수정안을 제안합니다. 이를 통해 진행 중인 코드 변경으로 인해 발생한 성능 문제를 포착함으로써, 워크플로우를 배포 이후의 지속적 개선 단계까지 확장합니다.
**9. 장애 대응:** 세브봇(Sevbot)은 오픈AI의 내부 장애 대응 에이전트이며, 당연히 코덱스를 기반으로 구축되었습니다. 장애가 감지되면 봇이 '깨어납니다'. 세브봇이 하는 일은 다음과 같습니다.
* 장애에 관한 컨텍스트 수집
* 가능한 완화 방법 결정 (단, 직접 실행하지는 않음)
* 개발자의 질문에 답변 (슬랙 채널에 참여 중)
* 엔지니어의 지시에 따라 특정 완화 조치 적용
오픈AI의 목표는 세브봇이 일부 장애를 완화할 때 자율적으로 조치를 취하는 수준까지 도달하는 것입니다. 꿈의 시나리오는 세브봇이 '일상적인' 장애를 자율적으로 처리하고, 인간은 출근 후 그 조치 결과를 리뷰하기만 하면 되어, 장애 때문에 근무 시간 외에 잠에서 깨는 일이 없는 세상입니다. 하지만 현재로서는 온콜(on-call) 대기 근무가 완전히 사라지지는 않았습니다.
당연하게도, 코덱스는 내부 도구 제작의 난이도를 낮추고 있으며 디버깅과 같은 표준 엔지니어링 관행에도 영향을 미치고 있습니다. 오픈AI 직원들과의 대화를 통해 파악한 내용은 다음과 같습니다.