Docs | Src |  A-  |  A*  |  A+  | -/-

Metadata
sourcehttps://www.thoughtworks.com/radar/platforms
created2026-11-10
byopenai:gpt-6.1-sol
# 플랫폼 ## 플랫폼 ### 도입 권고 * #### 46. 빅토리아메트릭스 **빅토리아메트릭스(VictoriaMetrics)**를 도입 권고 단계로 옮겼다. 대규모 관측 가능성 플랫폼을 직접 운영하는 조직에서 신뢰할 만한 선택지로 자리 잡았기 때문이다. 고성능 오픈 소스 시계열 데이터베이스인 빅토리아메트릭스는 [프로메테우스](https://www.thoughtworks.com/radar/tools/prometheus)로 처리하기 어려울 수 있는 대용량·고카디널리티 메트릭 워크로드를 처리한다. 우리가 참여한 한 프로젝트에서는 빅토리아메트릭스 클러스터가 메트릭당 20~30개의 레이블이 붙은 샘플을 초당 500만 개씩 처리한다. 대규모 배포 환경에도 적합하다는 것을 보여 주는 사례다. 이 플랫폼은 소규모 워크로드를 위한 간단한 단일 노드 버전과 클러스터 아키텍처를 모두 제공한다. 클러스터 아키텍처에서는 수집, 쿼리, 저장을 각각 독립적으로 확장할 수 있는 구성 요소로 분리한다. [오픈텔레메트리](https://www.thoughtworks.com/radar/languages-and-frameworks/opentelemetry) 네이티브 수집, 프로메테우스 API, 원격 쓰기를 지원하므로 기존 관측 가능성 아키텍처와도 통합된다. 따라서 기존 계측 코드와 대시보드를 교체하지 않고 도입할 수 있다. 프로메테우스의 장기 저장소로 사용하든, vmagent와 vmalert 등의 구성 요소를 갖춘 완전한 메트릭 스택으로 사용하든, 빅토리아메트릭스는 데이터 보존 기간, 카디널리티, 비용이 문제가 된 인프라에서 매력적인 선택지다. ### 시범 적용 * #### 47. 카프카 공유 그룹 **[카프카 공유 그룹(Kafka share groups)](https://cwiki.apache.org/confluence/display/KAFKA/KIP-932:+Queues+for+Kafka)**은 KIP-932에서 도입됐으며, 카프카 v4.2부터 프로덕션 환경에서 사용할 수 있게 됐다. 카프카에 새로운 협력적 이벤트 소비 모델을 도입해 큐와 같은 동작을 구현한다. 기존 카프카 컨슈머 그룹에서는 활성 컨슈머 수가 파티션 수를 넘을 수 없어 동시 처리에 병목이 생겼다. 공유 그룹은 이 제약을 없앤다. 각 레코드에 획득 잠금을 걸고 풀에서 사용 가능한 컨슈머에 전달하며, 컨슈머는 이를 명시적으로 확인 응답해야 한다. 실패하거나 제한 시간이 지나면 잠금이 해제되고 그룹 내 다른 컨슈머에 레코드가 다시 전달된다. 전달 시도 횟수의 최댓값은 설정할 수 있다. 이 방식은 최소 한 번 전달을 보장하지만 중복 처리가 발생할 수 있다. 전달 시도 횟수를 모두 소진한 레코드는 아카이브된다. 데드 레터 큐 지원([KIP-1191](https://cwiki.apache.org/confluence/display/KAFKA/KIP-1191:+Dead-Letter+Queues+for+Share+Groups))은 아직 제공되지 않는다. 대신 레코드가 개별적으로 배정되고 재전달되므로 공유 그룹은 파티션 내 순서를 보장하지 않는다. 하지만 이전에 카프카와 외부 큐 시스템을 함께 운영해야 했던 팀이라면, 공유 그룹으로 워크로드를 카프카에 통합해 아키텍처를 단순화할 수 있다. * #### 48. 케이서브 **[케이서브(KServe)](https://github.com/kserve/kserve)**는 사용자 정의 리소스로 예측형 AI와 생성형 AI의 추론을 관리하는 오픈 소스 쿠버네티스 오퍼레이터다. 자체적으로 추론 엔진 역할을 하는 대신 [vLLM](https://www.thoughtworks.com/radar/languages-and-frameworks/vllm), [SGLang](https://www.thoughtworks.com/radar/tools/sglang), 엔비디아 트라이튼 같은 서빙 런타임을 오케스트레이션한다. 모델 서비스의 수명 주기를 실제 실행 엔진과 분리하는 방식이다. 조직이 AI 팩토리를 구축하면서 쿠버네티스 GPU 인프라 전반의 추론 운영은 개별 모델 서버를 실행하는 문제가 아니라 서버군 전체를 관리하는 문제가 되고 있다. 케이서브는 두 가지 사용자 정의 리소스로 이를 해결한다. InferenceService는 일반적인 머신러닝과 비교적 단순한 LLM 워크로드를 담당하며, 필요에 따라 네이티브 기반의 0으로 축소하는 기능을 제공한다. LLMInferenceService는 고급 LLM 서빙을 담당한다. [llm-d](https://www.thoughtworks.com/radar/platforms/llm-d)와 [게이트웨이 API 추론 확장](https://gateway-api-inference-extension.sigs.k8s.io/)을 기반으로 하는 LLMInferenceService는 다중 노드 추론, 프리필·디코드 분리, KV 캐시 인지 라우팅을 지원한다. KV 캐시 인지 라우팅은 관련 접두사를 이미 캐시에 보유한 복제본으로 요청을 보낸다. 케이서브는 CNCF 인큐베이팅 프로젝트이며, 여러 고객사가 프로덕션 환경에서 사용하고 있다. 우리 팀들은 쿠버네티스 기반의 자체 추론 플랫폼을 구축할 때 이 분야의 다른 도구보다 케이서브를 선호한다. LLMInferenceService는 InferenceService보다 나중에 등장했으며, 관련 생태계도 아직 발전 중이다. * #### 49. 리브레챗 **[리브레챗(LibreChat)](https://www.librechat.ai/)**은 조직 구성원이 하나의 인터페이스에서 여러 제공업체의 모델에 접근하도록 지원하는 자체 호스팅형 오픈 소스 AI 채팅 플랫폼이다. [오픈 웹UI](https://www.thoughtworks.com/radar/platforms/open-webui)처럼 싱글 사인온, 역할 기반 권한, 업로드한 문서를 대상으로 하는 RAG를 제공한다. 여기에 에이전트 기능을 더해 단순한 채팅 프런트엔드 이상의 역할을 한다. 관리자가 사용 가능한 [MCP](https://www.thoughtworks.com/radar/platforms/model-context-protocol-mcp) 서버를 정하면, 해당 권한을 가진 사용자는 코드를 작성하지 않고도 그 서버를 사용하는 에이전트를 만들고 내장 마켓플레이스에서 공유할 수 있다. 우리 팀 중 하나는 리브레챗으로 고객사의 사내 AI 플랫폼을 구축했다. 팀은 지라, 컨플루언스, 세일즈포스, 그라파나와 고객사 자체 주문·재고·매출 시스템을 위한 MCP 서버를 작성했다. 이후 에이전트는 고객사 직원들이 직접 만들었다. 영업 부서는 재고를 확인하고 주문을 접수하는 에이전트를, 운영 부서는 계약을 관리하는 에이전트를 구축했다. 이런 경험을 바탕으로 리브레챗을 시범 적용 단계에 배치했다. 엔지니어링 부서가 아닌 구성원도 검증된 AI 도구에 통제된 방식으로 접근하게 해 준다. 이는 우리가 [AI로 가속화되는 섀도 IT](https://www.thoughtworks.com/radar/techniques/ai-accelerated-shadow-it)의 대응책으로 권고해 온 방식이다. 클릭하우스는 2025년 11월 리브레챗을 인수했으며, 프로젝트는 여전히 MIT 라이선스로 제공된다. * #### 50. 라이트LLM [라이트LLM](https://github.com/BerriAI/litellm)은 널리 쓰이는 오픈 소스 AI 게이트웨이로 자리 잡았다. 우리 팀 중 여러 곳이 독립형 프록시나 사이드카로 배포한 라이트LLM을 통해 모델 호출을 라우팅한다. 100개 이상의 LLM 제공업체를 지원하며 라우팅, 제공업체별 API 변환, 인증, 예산 관리, 가드레일을 제공한다. 현재 동일한 파이썬 SDK와 설정을 유지하면서 성능을 높이기 위해 프록시 코어를 파이썬에서 러스트로 다시 작성하고 있다. 이번 판에서는 라이트LLM을 언어 및 프레임워크에서 플랫폼으로 옮겼다. 이제 라이브러리보다는 인프라에 가깝다고 보기 때문이다. 도입 권고로 올리지 않고 시범 적용 단계에 유지한 주된 이유는 보안 우려다. 작성 시점 기준으로 올해에만 25건이 넘는 CVE가 보고됐다. 사용하는 팀은 보안 패치를 신속하게 적용하는 것이 바람직하다. MCP와 에이전트 간 트래픽까지 통제하려면 [agentgateway](https://www.thoughtworks.com/radar/platforms/agentgateway)와 함께 사용하는 방안을 검토하길 권한다. * #### 51. 마이크로소프트 코파일럿 검색 API **[마이크로소프트 코파일럿 검색 API(Microsoft Copilot Retrieval API)](https://learn.microsoft.com/en-us/microsoft-365/copilot/extensibility/api/ai-services/retrieval/overview)**는 [검색 증강 생성(RAG)](https://www.thoughtworks.com/radar/techniques/retrieval-augmented-generation-rag)에 필요한 데이터를 마이크로소프트 생태계에서 간편하게 검색하는 솔루션이다. 셰어포인트, 원드라이브, 코파일럿 커넥터로 노출한 콘텐츠에서 관련 텍스트 발췌문을 가져온다. API를 호출한 사용자의 권한에 따라 검색 결과를 필터링하며, 테넌트에 정의된 접근 제어를 준수한다. 개발자는 별도의 데이터 저장소와 검색 파이프라인을 유지하지 않고도 조직의 맥락을 이해하는 AI 에이전트를 구축할 수 있다. 청킹, 인덱싱, 데이터 동기화, 재인덱싱, 접근 제어 같은 작업은 마이크로소프트에 맡기면 된다. 마이크로소프트 도구에 이미 저장된 조직 지식이 필요한 AI 시스템에 특히 유용하며, 우리도 도입 과정에서 좋은 경험을 얻었다. * #### 52. 리스테이트 **[리스테이트(Restate)](https://restate.dev/)**는 상태를 유지하고 장애를 견디는 애플리케이션을 구축하기 위한 내구성 실행 플랫폼이다. 실행의 모든 단계를 저널에 기록하므로 서비스에 장애가 발생해도 중단된 지점부터 다시 시작한다. 서비스 간 통신도 정확히 한 번 이루어지도록 보장한다. 애플리케이션은 무상태 함수를 위한 Basic Services, 동시성을 지원하는 상태 유지 엔터티를 위한 Virtual Objects, 여러 단계로 이루어진 프로세스를 위한 Workflows를 조합해 구성한다. 지난번 리스테이트를 소개할 때는 대규모 보험 시스템에서 평가 중이었다. 이제는 해당 시스템의 핵심 구성 요소가 되어 보험 업무 프로세스 전체를 자동화한다. 팀은 리스테이트의 상태 복구와 동시성 제어에 의존하며, 별도의 복구 코드를 작성할 필요가 없었다. 이 경험을 바탕으로 시범 적용 단계로 옮겼다. 리스테이트는 사람의 개입을 기다리거나 레거시 시스템에 여러 차례 재시도해야 하는 장기 실행 프로세스에 적합하다. 이번 판에서 함께 시범 적용 단계로 옮긴 [템포럴](https://www.thoughtworks.com/radar/platforms/temporal)과 같은 역할을 한다. SDK에는 MIT 라이선스가 적용되지만, 서버에는 비즈니스 소스 라이선스가 적용된다. 따라서 이를 제3자에게 관리형 서비스로 제공할 수는 없다. * #### 53. 탈로스 리눅스 **[탈로스 리눅스(Talos Linux)](https://www.siderolabs.com/talos-linux)**는 쿠버네티스 실행을 위한 최소 구성의 불변 리눅스 배포판이다. SSH, 패키지 관리자, 대화형 셸이 없다. mTLS로 보호되는 gRPC API를 통해 talosctl로 노드를 선언적으로 구성하며, 업그레이드할 때는 OS 이미지 전체를 교체한다. 이런 설계는 우분투 같은 범용 배포판에서 생기는 공격 표면과 구성 드리프트를 줄인다. 또한 [불변 서버](https://www.thoughtworks.com/radar/tools/immutable-servers)의 취지에 맞게 각 노드를 교체 가능한 어플라이언스로 만든다. 우리 팀 중 하나는 AI 클라우드 플랫폼의 대규모 베어메탈 서버군에서 탈로스 기반의 자체 관리형 [쿠버네티스](https://www.thoughtworks.com/radar/platforms/kubernetes)를 운영한다. 이 팀은 컨트롤 플레인을 쉽게 프로비저닝할 수 있었다. 대부분의 조직은 아마존 EKS 같은 관리형 서비스를 사용하며 노드 OS를 직접 다루지 않는다. 따라서 탈로스는 주로 노드를 직접 운영하는 팀을 위한 도구다. AWS에서는 [보틀로켓](https://bottlerocket.dev/)이 비슷한 접근법을 취하며, [플랫카 컨테이너 리눅스](https://www.flatcar.org/)도 관심을 얻고 있다. 2026년에는 야디가 탈로스 개발사인 시데로 랩스를 인수했다. 탈로스는 여전히 MPL-2.0에 따른 오픈 소스지만, 새로운 소유주가 어떤 방향으로 이끌어 갈지 지켜보는 것이 바람직하다. * #### 54. 템포럴 **[템포럴(Temporal)](https://temporal.io/)**은 높은 신뢰성을 보장해야 하는 복잡한 비즈니스 프로세스를 위한 내구성 실행 플랫폼이다. 워크플로에 재시도, 중간 상태 영속화, 설정 가능한 제한 시간, 사람의 개입을 위한 체크포인트, 실행 재개, 실행 진행 상황에 대한 가시성을 제공한다. 자체 호스팅형 오픈 소스와 관리형 클라우드 서비스 중에서 선택할 수 있다. 우리는 내부 개발자 플랫폼과 AI 클라우드 인프라의 컨트롤 플레인을 구축하면서 템포럴이 특히 유용한 사례를 확인했다. 이런 시스템에는 대개 장시간 실행되는 인프라 프로비저닝 작업이 여러 개 포함되며, 나중에 각 작업의 상태를 조정해야 한다. 템포럴에 내장된 재시도, 유연한 워커 큐 스케줄링, 실행 재개, 가시성, 내구성 실행 기능은 이런 시스템의 복원력을 높이는 데 도움이 된다. * #### 55. vCluster **[vCluster](https://www.vcluster.com/)**는 멀티테넌트 환경을 위한 가상화된 쿠버네티스 컨트롤 플레인을 제공한다. 테넌트들이 클러스터 전체 API와 사용자 정의 리소스 정의(CRD)를 공유하는 네임스페이스 수준의 멀티테넌시와, 운영 부담이 커지는 완전히 독립된 클러스터 프로비저닝 사이의 절충안이다. [vCluster](https://www.thoughtworks.com/radar/platforms/vcluster)를 사용하면 각 테넌트에 별도의 쿠버네티스 API 서버, 컨트롤러 매니저, 데이터 저장소, RBAC, CRD가 주어진다. 컨트롤 플레인은 기반 인프라에서 경량 워크로드로 실행된다. 따라서 kubectl, [헬름](https://www.thoughtworks.com/radar/tools/helm), [깃옵스](https://www.thoughtworks.com/radar/techniques/gitops) 컨트롤러 같은 표준 도구로 각 테넌트를 독립적으로 다룰 수 있다. 우리는 테넌트 격리와 운영 비용 사이의 균형이 중요한 관리형 쿠버네티스 서비스와 AI 클라우드 환경을 vCluster로 성공적으로 구축했다. 고객마다 별도의 GPU 오퍼레이터, 스케줄러, 추론 프레임워크, CRD가 필요할 수 있는 AI 플랫폼에 특히 매력적이다. 신뢰할 수 있는 워크로드라면 가상화된 컨트롤 플레인들이 기반 컴퓨팅 리소스를 공유해도 된다. 고객 대상 GPU 환경에서는 전용 워커 노드로 워크로드를 더 강하게 격리하면서도 컨트롤 플레인을 통합 관리할 수 있다. 고객사의 프로덕션 환경에서 성과를 거뒀다는 점을 고려해 vCluster를 시범 적용 단계에 배치했다. * #### 56. 빅토리아로그 [빅토리아메트릭스](https://www.thoughtworks.com/radar/platforms/victoriametrics) 개발진이 만든 **[빅토리아로그(VictoriaLogs)](https://docs.victoriametrics.com/VictoriaLogs/)**는 높은 처리량의 수집, 압축 효율이 좋은 저장, 대량 로그의 빠른 쿼리에 최적화된 오픈 소스 로그 관리 플랫폼이다. 미리 정의된 인덱스를 요구하는 대신, 스토리지 엔진이 로그 필드를 블록으로 구성하고 압축한다. 블룸 필터와 타임스탬프 인덱스로 불필요한 스캔을 피하고, 여러 CPU 코어에서 쿼리를 병렬 처리한다. 우리는 AI 클라우드 인프라 시스템의 관측 가능성을 구축하면서 빅토리아로그를 사용해 좋은 경험을 얻었다. 이 규모에서는 쿠버네티스 서비스가 대량의 텔레메트리 데이터를 생성하므로 수집 처리량, 쿼리 성능, 저장 효율이 중요한 고려 사항이 된다. 빅토리아로그는 엘라스틱서치 같은 기존 검색 기반 로깅 플랫폼보다 운영이 덜 복잡하고 리소스 오버헤드도 낮으면서, 충분한 기능을 갖춘 로깅 백엔드를 제공한다. [그라파나 로키](https://www.thoughtworks.com/radar/platforms/grafana-loki)만큼 세심하게 레이블을 설계하지 않아도 된다는 점도 장점이다. 특히 고카디널리티 구조화 로그와 임의의 필드 검색에 매력적이었다. 빅토리아로그에는 전문 검색, 변환, 집계를 위한 LogsQL 쿼리 언어도 포함된다. [그라파나](https://www.thoughtworks.com/radar/tools/grafana)와 통합해 대화형 탐색과 알림을 제공한다. 또한 [오픈텔레메트리](https://www.thoughtworks.com/radar/languages-and-frameworks/opentelemetry), 엘라스틱서치, 로키의 수집 프로토콜과 호환되므로 애플리케이션을 특정 업체의 로깅 파이프라인에 종속시키지 않고 도입할 수 있다. ### 평가 * #### 57. 에이전트 클라이언트 프로토콜(ACP) CLI 기반 코딩 에이전트는 저장소 전반의 구현과 워크플로 실행에 강하다. 하지만 개발자가 코드를 빠르게 탐색하고, 대화형으로 버그를 수정하며, 맥락에 맞게 편집하려면 IDE 안에서도 에이전트에 바로 접근해야 한다. 기존에는 이를 위해 IDE별 플러그인이 필요했다. 그 결과 통합 부담이 생기고 개발자가 특정 편집기와 에이전트 조합에 얽매였다. **[에이전트 클라이언트 프로토콜(Agent Client Protocol, ACP)](https://github.com/agentclientprotocol/agent-client-protocol)**은 AI 에이전트와 호스트 환경 사이에 개방형 표준 경계를 마련해 이 문제를 해결한다. 호스트 환경은 VS 코드, 젯브레인즈, 터미널 창, CI/CD 파이프라인 등 무엇이든 될 수 있다. [언어 서버 프로토콜](https://www.thoughtworks.com/radar/platforms/language-server-protocol)이 편집기 전반의 언어 지원을 표준화했듯, ACP는 JSON-RPC를 기반으로 에이전트 수명 주기와 상호작용의 기본 요소를 정의한다. 여기에는 세션 생성과 재개, 스트리밍 업데이트, 권한 요청, 취소가 포함된다. ACP는 기존 상호운용성 계층을 보완한다. [모델 컨텍스트 프로토콜(MCP)](https://www.thoughtworks.com/radar/platforms/model-context-protocol-mcp)이 에이전트와 도구의 통합을 담당한다면, ACP는 클라이언트에서 에이전트를 제어하는 역할을 맡는다. 덕분에 에이전트 하네스 전체를 교체 가능한 구성 요소로 만들 수 있다. * #### 58. 에이전트 플러그인 **[에이전트 플러그인(Agent Plugins)](https://agent-plugins.org/)**은 재사용 가능한 에이전트 구성 요소를 이식 가능한 플러그인으로 패키징하기 위한 개방형 표준이다. 아마존, 마이크로소프트, 오픈AI 등이 참여한 여러 업체의 협업으로 첫 버전이 출시됐다. 이 버전은 [에이전트 스킬](https://www.thoughtworks.com/radar/techniques/agent-skills)과 [모델 컨텍스트 프로토콜(MCP)](https://www.thoughtworks.com/radar/platforms/model-context-protocol-mcp) 서버를 위한 공통 형식을 정의한다. 명세는 의도적으로 최소한의 내용만 담고 있다. 하지만 지금까지 파편화돼 있던 생태계에 개방형 표준이 생겼다는 점에서 중요한 진전이다. 우리는 이처럼 "작은 상호운용성의 최소 기반(small interoperability floor)" 덕분에 기존 스킬 저장소를 손쉽게 확장해 에이전트 플러그인으로도 사용할 수 있었다. * #### 59. agentgateway **[agentgateway](https://agentgateway.dev/)**는 리눅스 재단이 주관하는 LLM 관련 트래픽용 고성능 게이트웨이다. 독립형과 쿠버네티스 버전 모두에서 공통 프로토콜을 통해 LLM 추론, MCP, [A2A](https://www.thoughtworks.com/radar/platforms/agent-to-agent-a2a-protocol) 통신을 지원한다. 핵심 기능으로는 비용·지연 시간 기반 라우팅, 폴백, 지출 한도, 가드레일, MCP 도구 제어, [오픈텔레메트리](https://www.thoughtworks.com/radar/languages-and-frameworks/opentelemetry) 기반 관측 가능성이 있다. 우리는 자체 호스팅형 LLM 인프라와 긴밀하게 통합되는 쿠버네티스 버전에 특히 관심이 있다. 쿠버네티스 메트릭을 이용해 관련 컨텍스트를 이미 메모리에 캐시한 GPU 기반 복제본으로 요청을 보낼 수 있다. 실제 GPU 사용량을 기준으로 부하가 더 낮은 서버에 요청을 보내는 것도 가능하다. 이런 기능 때문에 자체 호스팅형 추론 스택을 운영하는 조직이라면 agentgateway를 평가할 가치가 있다. * #### 60. AWS 데브옵스 에이전트 **[AWS 데브옵스 에이전트(AWS DevOps Agent)](https://aws.amazon.com/devops-agent/)**는 AI 기반 장애 조사를 위한 AWS 관리형 에이전트 플랫폼이다. 경보, 티켓, 채팅 메시지가 조사를 시작하면 애플리케이션 리소스와 그 관계를 파악하고, 텔레메트리 데이터를 최근 배포 및 코드 변경과 연관 지어 분석한다. 이어서 가설을 검증하고, 엔지니어가 조치할 수 있도록 유력한 근본 원인과 완화 방안을 제시한다. 데이터독, 다이나트레이스, 뉴렐릭, 스플렁크, 그라파나와의 통합이 기본 제공된다. 이 도구들의 경보로 조사를 시작하고 [MCP](https://www.thoughtworks.com/radar/platforms/model-context-protocol-mcp) 기반 통합을 통해 각 도구의 텔레메트리를 조회할 수 있다. 깃허브, 깃랩, 서비스나우, 페이저듀티, 슬랙 연결과 사용자 정의 MCP 서버를 통해 온프레미스와 독자적인 시스템으로도 범위를 넓힌다. 우리 팀들은 프로덕션 환경에서 실제 경보를 조사하는 데 이 도구를 실험적으로 사용하고 있다. 아직 초기 단계지만 결과는 유망하다. 근본 원인을 더 빠르게 분석하고 반복적인 운영 수고를 줄일 가능성을 보여 준다. 가장 우려되는 점은 비용의 투명성이다. 장애 조사에 사용한 에이전트 실행 시간을 초 단위로 과금하므로 비용을 예측하기 어렵다. 면밀히 모니터링하지 않으면 지출이 빠르게 늘어날 수 있다. 이 서비스는 2026년 3월에야 정식 출시됐다. 따라서 평가할 때는 모든 조사 결과를 사람이 검증하고, 어떤 이벤트가 조사를 시작할지 엄격하게 통제하며, 비용을 적극적으로 추적하길 권한다. * #### 61. 클로드 매니지드 에이전트 **[클로드 매니지드 에이전트(Claude Managed Agents)](https://platform.claude.com/docs/en/managed-agents/overview)**는 범용 에이전트를 실행하기 위한 앤트로픽의 호스팅 서비스다. 팀은 각 에이전트의 모델, 프롬프트, 도구, MCP 서버, 스킬을 정의한다. 앤트로픽은 [관리형 에이전트 런타임](https://www.thoughtworks.com/radar/techniques/managed-agents-runtime)의 나머지 부분인 에이전트 루프, 샌드박스, 스케줄링, 관측 가능성을 제공한다. 에이전트는 정해진 일정에 따라 실행되거나 애플리케이션이 API로 세션을 시작할 때 실행된다. 예약 실행은 경보를 분류하거나 수정안을 풀 리퀘스트로 제안해 사람의 검토를 받는 일처럼 반복적인 백그라운드 작업에 적합하다. 팀은 콘솔에서 코드를 작성하지 않고 시작할 수도 있고, 더 높은 유연성과 제어가 필요하면 코드 기반 통합을 사용할 수도 있다. 에이전트, 환경, 일정의 정의를 파일에 저장하고 CI 파이프라인을 통해 적용할 수 있다. 자격 증명 저장소는 에이전트에 자격 증명을 노출하지 않은 채 외부로 나가는 요청에 이를 주입한다. 사내 팀 중 하나는 제미나이 엔터프라이즈 에이전트 플랫폼을 비롯한 다른 에이전트 플랫폼 대신 클로드 매니지드 에이전트를 선택했다. 이해하기 쉽고 더 빠르게 결과물을 만들 수 있었기 때문이다. 우리의 경험이 해당 팀에 한정돼 있고 서비스도 베타 상태이므로 평가 단계에 배치했다. [아마존 베드록 에이전트코어](https://www.thoughtworks.com/radar/platforms/amazon-bedrock-agentcore)와 달리 앤트로픽의 에이전트 하네스와 클로드 모델만 지원한다. 앤트로픽은 토큰뿐 아니라 세션 실행 시간에도 요금을 부과한다. 또한 세션을 저장하므로 데이터 무보존 정책을 적용받을 수 없다. 자체 호스팅형 샌드박스로 도구 실행을 자체 네트워크 안에 유지할 수는 있지만, 오케스트레이션과 도구 실행 결과는 여전히 앤트로픽을 거친다. * #### 62. 의사결정 모델 지난 레이더 이후 **[의사결정 모델(decision models)](https://huggingface.co/spaces/multimodalart/jev-decision-index)**이라는 새로운 AI 모델 유형이 등장했다. 타입세이프 AI는 빠르고 구조화된 의사결정을 위해 만든 [제브](https://typesafe.ai/blog/introducing-system-one-models-and-jev)를 출시하며 이를 "시스템 원(system one)" 모델이라고 불렀다. 이후 [라야](https://github.com/NandhaKishorM/laya), [님블](https://github.com/bespokelabsai/nimble), [케브](https://github.com/jaredpalmer/kev) 등 여러 모델이 뒤따랐다. 숙고형 추론 모델과 달리 의사결정 모델은 텍스트를 생성하는 대신 미리 정의된 구조화 값을 출력한다. 제브는 사람의 선호에 맞춰 최적화하는 인간 피드백 기반 강화학습([RLHF](https://arxiv.org/pdf/2504.12501)) 대신, 보정된 의사결정 기반 강화학습([RLCD](https://arxiv.org/pdf/2609.29429))을 사용한다. 이를 통해 예측 확률이 결과의 실제 발생 빈도를 반영하는 [잘 보정된 의사결정](https://arxiv.org/pdf/2609.29429)에 맞춰 최적화한다. 출력이 작고 구조화돼 있어 더 빠르고 저렴하게 처리할 수 있다. 의사결정 모델은 상태와 질문 집합을 입력받는다. 해당 상태에 대한 모든 질문은 다음 세 가지 유형 중 하나에 대응해야 한다. Noul은 "예(yes)"라고 답할 확률을 반환하는 예·아니요 질문이고, Choice는 범주형 객관식 선택지이며, Score는 순서가 있는 등급 목록이나 수치 척도를 사용하는 평가다. 활용 사례에는 [LLM을 평가자로 사용하기](https://www.thoughtworks.com/radar/techniques/llm-as-a-judge)의 대안인 [제브를 평가자로 사용하기](https://arxiv.org/pdf/2609.26550), 모델 및 도구 라우팅, 정책 기반 통과 여부 결정, 대량 레이블링이 있다. 팀은 [과도한 LLM 사용](https://www.thoughtworks.com/radar/techniques/overenthusiastic-llm-use)을 피하고, 분류 작업에서 의사결정 모델이 LLM을 대체할 수 있는지 판단할 평가 기준을 정의하는 것이 바람직하다. * #### 63. KAITO **[KAITO](https://github.com/kaito-project/kaito)**(Kubernetes AI Toolchain Operator)는 자체 클러스터에서 오픈 웨이트 모델을 호스팅하는 데 필요한 인프라를 자동화하는 쿠버네티스 오퍼레이터다. GPU 노드와 모델 서버를 수동으로 구성하는 대신 Workspace를 선언하고 모델과 GPU 인스턴스 유형을 지정하면 된다. Workspace는 단일 모델 배포를 위한 KAITO의 사용자 정의 리소스다. 그러면 KAITO 컨트롤러가 [카펜터](https://www.thoughtworks.com/radar/tools/karpenter) NodePool을 통해 적합한 GPU 노드를 프로비저닝하고, GPU 메모리 요구량을 추정하며, 런타임을 조정한다. 이어 [vLLM](https://www.thoughtworks.com/radar/languages-and-frameworks/vllm)으로 모델을 서빙하고 쿠버네티스 서비스를 통해 오픈AI 호환 엔드포인트를 노출한다. 우리 팀들은 [소형 언어 모델](https://www.thoughtworks.com/radar/techniques/small-language-models)을 더 낮은 비용과 지연 시간으로 호스팅하기 위해 AKS에서 KAITO를 살펴보기 시작했다. 이전에는 GPU VM에서 [올라마](https://www.thoughtworks.com/radar/tools/ollama)와 vLLM을 직접 실행하면서 드라이버, 확장, 노드 구성을 수동으로 관리해야 했다. 다른 워크로드와 같은 방식의 선언형 매니페스트로 모델 수명 주기를 관리하면 이런 수고를 상당 부분 줄일 것으로 기대한다. 다만 KAITO의 범위는 의도적으로 좁게 설정돼 있다. 추론 스택 전반보다는 노드 프로비저닝과 모델 배포를 처리한다. 더 넓은 추론 스택 영역에서는 [케이서브](https://www.thoughtworks.com/radar/platforms/kserve)가 더 성숙했으며, KV 캐시 인지 라우팅 같은 기능도 제공한다. KAITO는 아직 CNCF 샌드박스 프로젝트다. GPU 노드 자동 프로비저닝은 AKS에서 가장 성숙하며, 앰페어 세대 이상의 엔비디아 GPU만 지원한다. 기존 쿠버네티스 도구를 사용해 모델을 자체 호스팅하려는 팀이라면 특히 평가할 가치가 있다고 본다. * #### 64. llm-d **[llm-d](https://github.com/llm-d/llm-d)**는 [vLLM](https://www.thoughtworks.com/radar/languages-and-frameworks/vllm)과 SGLang 같은 모델 서버를 여러 [쿠버네티스](https://www.thoughtworks.com/radar/platforms/kubernetes) 노드에 걸쳐 운영하도록 설계된 오픈 소스 분산 추론 서빙 스택이다. 기존 웹 애플리케이션은 대개 무상태 라우팅과 수평 확장에 의존하지만, LLM 추론은 [키-값(KV) 캐싱](https://arxiv.org/abs/2603.20397v1) 때문에 상태 의존성이 매우 높다. llm-d는 모델 서빙 파드를 서로 바꿔 쓸 수 있는 HTTP 백엔드로 취급하지 않는다. 대신 추론 특성을 고려한 라우팅으로 여러 가속기에 걸쳐 요청을 조율해, 최적화 범위를 개별 모델 서버 너머로 넓힌다. 쿠버네티스와 [게이트웨이 API 추론 확장](https://github.com/kubernetes-sigs/gateway-api-inference-extension)을 중심으로 구축된 llm-d는 상태를 유지하는 AI 트래픽에 맞춘 여러 기능을 제공한다. 모델 인지 및 KV 캐시 인지 라우팅을 지원하며, 캐시 친화도, 큐 깊이, 예상 지연 시간 등을 스케줄링 결정에 반영한다. 주목할 기능은 [프리필·디코드 분리](https://handbook.modular.com/inference-optimization/prefill-decode-disaggregation/)다. 운영자는 연산 집약적인 프리필 워크로드를 한 GPU 그룹에 배치하고, 메모리 대역폭에 제약받는 디코딩 작업은 다른 GPU 그룹에 배치할 수 있다. 이를 통해 하드웨어 활용률을 높이고 추론 비용을 줄일 수 있다. 대규모 GPU 추론 플랫폼을 구축하는 팀이라면 추론 계층의 새로운 기반으로 llm-d를 평가하는 것이 바람직하다. 특히 엄격한 지연 시간 목표를 충족하면서 확장하려는 경우에 유용하다. * #### 65. 네트리스 **네트리스(Netris)**는 물리적 데이터센터와 AI 인프라를 위한 아웃오브밴드 네트워크 자동화 및 멀티테넌시 플랫폼이다. UI, API, 쿠버네티스 CRD, 테라폼으로 접근할 수 있는 선언형 코드형 인프라 모델을 사용한다. 스위치 구성을 클라우드 방식의 가상 사설 클라우드(VPC), 가상 네트워크, 접근 제어 목록(ACL), 계층 4 로드 밸런서로 추상화해 네트워크 관리를 단순화한다. 중앙 컨트롤러가 정책을 관리하고, 경량 에이전트가 스위치와 데이터 처리 장치(DPU)에 변경 사항을 적용한다. 컨트롤러는 아웃오브밴드 방식의 자동화 컨트롤 플레인으로 동작하므로, 컨트롤러가 오프라인이 되더라도 패킷 전달은 중단 없이 계속된다. 우리는 고대역폭 AI 워크로드 지원에 주목해 네트리스를 소개한다. 네트리스는 라우팅 기반 이더넷 VPN(EVPN) 패브릭을 자동화하고, 컨버지드 이더넷을 통한 RDMA(RoCE)의 흐름 제어를 관리하며, 엔비디아 블루필드 DPU를 오케스트레이션해 하드웨어 수준에서 멀티테넌시를 강제한다. 또한 엔비디아 UFM과 통합해 인피니밴드 파티션 키(PKey)를 관리하고, NMX-C와 통합해 NV링크 도메인을 관리한다. 이를 통해 서로 다른 AI 패브릭의 테넌트 경계를 하나의 관리 계층에서 관리하도록 돕는다. 자동화된 프라이빗 클라우드나 AI 데이터센터를 구축하는 팀을 위해 네트리스를 평가 단계에 배치했다. 다만 SONiC, 큐뮬러스 리눅스, 아리스타 EOS 같은 스위치 운영체제와의 호환성, 그리고 베어메탈 오케스트레이션 지원 범위는 평가해야 한다. * #### 66. 옴니전트 **[옴니전트(Omnigent)](https://omnigent.ai/)**는 [데이터브릭스가 공개한](https://www.techtimes.com/articles/318419/20260615/ai-agent-orchestration-gets-control-plane-databricks-open-sources-omnigent.htm) 오픈 소스 메타 하네스다. [클로드 코드](https://www.thoughtworks.com/radar/tools/claude-code), [오픈AI 코덱스](https://www.thoughtworks.com/radar/tools/openai-codex), [파이](https://www.thoughtworks.com/radar/tools/pi) 같은 코딩 에이전트와 YAML로 정의한 에이전트 위에서 동작한다. 각 하네스가 서로 다른 방식으로 구현하는 기능을 공통 계층으로 제공한다. 정책으로 지출 상한을 정하거나 위험한 작업 전에 승인을 요구할 수 있다. OS 샌드박스는 파일 시스템과 네트워크 접근을 제한하고, 외부로 나가는 요청에 자격 증명을 삽입한다. 덕분에 에이전트는 자격 증명을 읽지 않고도 사용할 수 있다. 세션은 영속적으로 저장되므로 중단된 지점부터 실행을 재개할 수 있다. 옴니전트는 개별 CLI를 감싸는 대신 [에이전트 클라이언트 프로토콜(ACP)](https://www.thoughtworks.com/radar/platforms/agent-client-protocol-acp)을 통해 에이전트와 통신할 수도 있다. 노트북에서 옴니전트는 [허더](https://www.thoughtworks.com/radar/tools/herdr)처럼 여러 병렬 세션을 모아 보는 받은편지함을 개발자에게 제공한다. 공유 서버로 운영하면 싱글 사인온, 실시간 세션 공유, 관리자가 설정한 정책이 추가된다. 세션은 로컬이나 [E2B](https://www.thoughtworks.com/radar/tools/e2b) 같은 클라우드 샌드박스에서 실행된다. 개발자가 어떤 코딩 에이전트를 선택하든 일관된 통제를 적용하려는 조직에 적합하다. 다만 코딩 에이전트 위에 어떤 추상화를 두는 것이 올바른지는 아직 확신하지 못하며, 프로젝트 자체도 여전히 알파 단계라고 설명한다. 여러 코딩 에이전트에 일관된 정책을 적용하려는 팀은 이 두 가지 유의점을 염두에 두고 옴니전트를 평가하는 것이 바람직하다. * #### 67. VAST 데이터스토어 **[VAST 데이터스토어(VAST DataStore)](https://www.vastdata.com/platform/datastore)**는 VAST 데이터 플랫폼의 스토리지 계층이다. 통합 네임스페이스를 통해 파일(NFS와 SMB), 객체(S3), 블록(NVMe/TCP) 접근을 제공한다. 분리형 전체 공유 아키텍처는 무상태 컴퓨팅 노드와 공유 NVMe 스토리지를 분리해 용량과 성능을 독립적으로 확장하도록 한다. 우리가 이를 평가하는 이유는 학습, 체크포인트 저장, 모델 로딩 과정에서 스토리지 처리량이 값비싼 GPU 클러스터의 운영 효율에 미치는 영향이 점점 커지고 있기 때문이다. 데이터스토어는 기존 NFS/POSIX 또는 S3 접근 방식을 유지하면서 NVMe와 RDMA로 데이터 전송 속도를 높인다. 특수한 병렬 파일 시스템의 대안이 되는 셈이다. VAST는 엔비디아와 함께 RDMA 기반 S3 및 분리형 추론을 위한 공유 KV 캐시 스토리지도 개발하고 있다. 범용 하드웨어에서 오픈 소스 블록·파일·객체 스토리지를 제공하는 [세프](https://www.thoughtworks.com/radar/platforms/ceph)와 달리, 데이터스토어는 NVMe, RDMA, AI 워크로드에 맞춰 설계된 독점 플랫폼이다. 하지만 비용이 비싸고 VAST의 더 넓은 데이터 플랫폼에 종속된다. 따라서 모델을 학습하거나 대규모 추론을 실행하는 팀이 아니라면 필요 이상으로 큰 솔루션일 수 있다. AI와 고성능 컴퓨팅(HPC) 워크로드를 위한 대규모 GPU 클러스터를 설계하는 팀이라면 VAST 데이터스토어를 평가할 가치가 있다고 본다. 이런 환경에서는 데이터 로딩, 체크포인트 저장, 수십억 개 파일에 대한 메타데이터 집약적 접근 때문에 값비싼 GPU가 스토리지를 기다리며 유휴 상태로 남을 수 있다. ### 주의 해당 항목 없음