Metadata
# 인간의 판단은 소프트웨어 공장을 떠나는 것이 아니라 자리를 옮긴다
> _이 글은 원래 [엘리베이트(Elevate)](https://addyo.substack.com/p/human-judgment-doesnt-leave-the-software)에 게재됐으며, 저자의 허락을 받아 이곳에 다시 싣는다._
**소프트웨어 공장은 소프트웨어 작업을 둘러싼 반복 가능한 순환 구조이다. 소프트웨어 공장을 구축하더라도 출시할 만한 수준의 코드를 만들려면 여전히 인간의 안목과 책임 의식이 필요하다. 아직 공장이 필요한 단계인지까지 포함해 이 문제를 살펴보겠다.**
공장이 필요하다면 다음 사항을 고려하라.
* 제품의 의도와 시스템 설계가 중요하다면 이를 결정하고 품질 기준을 정하는 초기 단계에 인간이 참여해야 할 가능성이 크다.
* 코드는 검토하라. 이것이 사람이 지켜보는 공장(lights-on factory)이다. 다만 검토가 가장 필요한 곳을 신중하게 선택해야 한다. 자동화된 역압력(back-pressure)이 무너지는 지점이나 유지보수성을 두고 절충해야 하는 부분을 특히 주의해야 한다.
* 품질 검사는 가능한 한 일찍 시작해 지속적으로 수행하라. 모든 검사를 초기에 실행할 필요는 없지만, 여기에는 타입 시스템, 자동화 테스트, 변이 테스트, 보안 스캐너, 아키텍처 규칙 린팅 등이 포함된다.
* 검사 수가 많다고 품질이 좋은 것은 아니다. 어떤 검사가 잡음 대비 가장 유용한 신호를 제공하는지 실험해야 할 가능성이 크다. 제약은 의도적으로 강화하거나 완화할 준비를 하라.
인간의 안목 일부가 환경에 반영되고, 에이전트가 작업이 올바르다는 증거를 제시하며, 프로덕션에 출시되는 결과물은 여전히 인간이 책임지도록 공장을 구축해야 한다.
## **정말 소프트웨어 공장이 필요한가?**
**내 경험으로는 기본 코딩 하네스(coding harness)만으로도 놀랄 만큼 많은 일을 해낼 수 있다.** 예를 들어 클로드 코드(Claude Code)나 코덱스(Codex), 여러 세션, 검증 절차와 제약 조건을 포함한 좋은 명세(SPEC)를 이용하면 된다. 구현 기준과 인간의 개입 기준을 명시한 깃허브 이슈를 한꺼번에 맡길 수도 있다. 그러나 이런 시스템을 **반복 가능하고 이벤트 중심으로 운영해야 할 때** 공장이 유용해진다.

앞서 **소프트웨어 공장은 소프트웨어 작업을 둘러싼 반복 가능한 순환 구조**라고 설명했다. 다음 프롬프트는 아주 작은 공장 순환 구조를 보여준다.
```
코드를 변경하기 전에 깃허브 이슈 #123과 저장소 지침을 읽어라.
명시된 인수 기준만 구현하라. 인증, 결제, 마이그레이션 또는 기존 테스트의 단언문을 수정하지 마라. 브랜치에서 작업하고 변경 사항은 검토하기 쉬운 규모로 유지하라.
npm run lint, npm test, npm run build를 실행하라. 필수 검사를 실행할 수 없다면 작업을 중단하고 이유를 설명하라. 실행한 검사, 남은 위험, 인간이 결정해야 할 사항을 정리한 초안 풀 리퀘스트를 열어라. 병합하지 마라.
```
목표를 설정하면 검사를 통과할 때까지 작업을 계속 진행할 수 있다. 특정 레이블이 붙은 깃허브 이슈를 주기적으로 확인하거나 매일 아침 열린 풀 리퀘스트를 검토할 수도 있다. 브랜치 보호 규칙으로 병합 경계를 강제하고, 인간은 무엇을 준비 완료 상태로 만들지 선택하고 검토하며 최종 병합 여부를 결정하는 방식으로 계속 과정에 참여할 수 있다.
**슬랙 트리거, 깃허브 이슈, 리니어(Linear), 백로그 같은 이벤트 기반 작업 대기열을 격리된 클라우드 환경에서 실행해야 한다면 소프트웨어 공장을 도입하라. 공장은 인간의 명시적인 감독 아래 분류, 구현, 테스트를 처리한다. 일부 공장은 프로덕션을 감시하는 모니터 에이전트가 이슈를 등록하면 다시 분류하는 방식으로 순환을 마친다.**
내 경험상 공장은 실행마다 일관된 동작을 보장하고, 에이전트 간에 작업을 인계하며, 여러 세션이 같은 이슈를 가져가는 일을 막아야 할 때 유용하다. 증거를 보존하고 인간의 검토가 밀릴 때 프로덕션 출시를 중단하는 데도 도움이 된다.
해결책은 다소 평범하게 들릴 수 있다. 예를 들어 워프(Warp)는 들어오는 모든 이슈를 [분류](https://www.warp.dev/blog/how-to-build-a-cloud-software-factory-the-automatic-triage-skill)해 구현 준비 완료, 명세 작성 준비 완료, 추가 정보 필요, 구현 대기라는 네 가지 상태 중 하나로 배정한다. 다음 에이전트는 이 레이블을 신호로 실행된다.

이 레이블은 한 번에 여러 역할을 한다. 대기열이자 잠금이며, 세션은 준비 완료로 표시된 항목만 가져간다. 따라서 인간은 어떤 작업을 영구히 거절하지 않고도 이곳에 보류할 수 있다.
워크플로 측면에서 보면 클로드나 코덱스만 이용하는 경우와 몇 가지 공통점 및 차이점이 있다.
* **조정(Steering):** 에이전트의 방향을 바로잡아야 할 때 입력을 제공하고 작업 방향을 바꿀 수 있다.
* **알림(Notifications):** 공장이 작업이 막혔음을 알리는 방식이다. 요구 사항이 모호하거나, 에이전트가 위험한 작업을 시작했거나, 인간의 입력과 조정이 필요할 때 알림이 발생할 수 있다.
* **인계(Handoff):** 작업과 그 상태 및 맥락을 클라우드 공장, 다른 에이전트 또는 인간 검토자에게 넘긴다. 좋은 인계에는 지금까지 발생한 일, 남은 작업, 인계가 필요한 이유가 기록된다.
**좋은 공장에서 인간의 역할은 마지막에 최종 변경 사항을 검토하고 승인하는 데 그치지 않는다. 인간은 초기부터 작업의 방향을 정하고, 구현 과정에서 이를 조정하며, 인계를 진행하거나 프로덕션 출시를 중단할 수 있다.**
책임감 있게 운영되는 공장은 검증에 많은 시간을 들인다. 이 내용은 뒤에서 더 자세히 다루겠다.

소프트웨어 공장이 필요하다고 판단하더라도 직접 구축하는 것만이 답은 아니다. 공장을 확장할 인프라를 마련하려면 상당한 작업이 필요하다. 직접 구축할지 구매할지 검토하는 것이 좋다. [팩토리(Factory)](https://factory.com/product/software-factory), [워프(Warp)](https://www.warp.dev/blog/how-to-build-a-cloud-software-factory-the-automatic-triage-skill), [휴먼레이어(HumanLayer)](https://www.humanlayer.dev/)가 이 분야에서 서비스를 개발하고 있다.
## **지금 나의 하루는 어떤 모습인가**
지난 1년 동안 내가 일상적으로 소프트웨어를 개발하는 방식은 크게 달라졌다. 나는 점점 더 많은 작업을 에이전트와 병렬로 처리하고 있으며, 사람이 지켜보는 소프트웨어 공장으로 나아가고 있다고 이야기해 왔다. 그러자 많은 사람이 묻기 시작했다. 이것이 실제로 무엇을 뜻하는지, 무엇을 만들고 있는지, 어떤 프로젝트에 이런 방식을 적용하는지 궁금해했다. 대체로 다음과 같은 모습이다.

평범한 날에는 비교적 단순한 형태의 사람이 지켜보는 소프트웨어 공장을 운영한다. 클라우드에서 여러 작업을 실행할 수 있다. 그중 절반은 내가 협력하는 소규모 기업의 실제 프로덕션용 클라이언트 애플리케이션일 수 있다. 이런 애플리케이션에는 실제 사용자, 인증, 결제, 구독이 있으며 신중하게 다뤄야 할 상당한 위험도 존재한다. 테스트와 제약, 품질 검사를 마련하지 않은 채 “에이전트야, 그냥 가서 처리해”라고 말할 수는 없다.
오픈 소스 프로젝트를 진행하거나 내 책의 부속 사이트를 만들 수도 있다. 도구를 개발할 때도 있고, 나만의 앱을 만들기도 한다. 내가 작업하는 애플리케이션의 성격은 매우 다양하다. 때로는 작업에 쓰는 도구만 같을 뿐이다. 어떤 때는 마이그레이션을 수행하고, 다른 때는 규모가 큰 기능을 구현한다. 작업이 영향을 미치는 범위도 크게 다를 수 있다.
더 많은 작업을 병렬로 수행하고 속도와 생산성, 자율성을 높이려 한다고 생각해 보자. 자율성을 높인다는 것은 시스템을 더 신뢰할 수 있는 수준으로 끌어올린다는 뜻이다. 그러려면 인간의 코드 검토와 입력이 반드시 필요한 지점이 어디인지 고민해야 한다.
이러한 판단의 상당 부분은 초기에 필요하다. 명세와 요구 사항을 정의하고 제품의 설계와 의도를 결정해야 한다. 그런 다음 에이전트가 실제로 작업을 올바르게 마쳤는지 검증해야 한다. 기존 시스템을 망가뜨리지 않았는지, 정해 둔 품질 기준을 충족하는지도 확인해야 한다.
따라서 코드 생성 자체가 가장 크게 걱정할 부분은 아니다. 충분한 맥락이 주어지면 에이전트는 구현 코드를 작성하고 테스트를 실행하며 실패를 조사한 뒤 코드를 수정할 수 있다. **무엇이 만들어지고 있는지 신뢰할 수 있을 만큼 인간의 안목이 환경에 충분히 반영돼야 한다. 그래야 인간의 주의를 가장 필요한 곳에 집중할 수 있다.**
일부는 “이런 일을 대거 자동화할 수 있다는 주장에 동의하지 않는다”고 반발한다. 모든 일을 자동화하자는 뜻은 아니다. 하지만 생성되는 코드의 양을 생각하면 인간이 그 코드를 전부 읽는 것은 현실적이지 않다. 더욱이 우리는 대부분 로켓을 만드는 것이 아니라 사용자 인터페이스와 풀스택 애플리케이션을 만든다.
우리의 판단력과 안목은 가장 필요한 곳에 집중하는 편이 좋다. 시스템에서 위험이 가장 큰 부분은 어디인지, 인간의 안목을 어디에 적용해야 하는지 판단해야 한다. 프런트엔드일 수도 있고 시스템의 동작 방식일 수도 있다. 전체 코드의 100%에 적용할 필요는 없다.
## **나의 인지 역량은 에이전트 수에 맞춰 확장되지 않는다**
이제 수십, 수백, 수천 개의 에이전트를 병렬로 실행할 수 있는 것은 사실이다. 그러나 인간의 인지 역량은 같은 방식으로 늘어나지 않는다. 이는 내가 이전에 이야기한 인지 부채 또는 이해 부채(comprehension debt)로 이어질 수 있다.

불과 5년이나 10년 전만 해도 엔지니어링 업계에서는 맥락 전환과 그 비용을 많이 논의했다. 작업 도중 동료가 책상으로 찾아오는 일을 사람들이 얼마나 싫어하는지도 이야기했다. 흐름에 다시 올라타려면 “내가 어디까지 했지?”, “무엇을 하고 있었지?”를 파악해야 했기 때문이다. 머릿속에 작업의 흔적이 조금 남아 있어도 복귀하려면 시간이 걸렸다.
이제 우리는 이전보다 훨씬 자주 맥락을 전환한다. 소프트웨어 공장 밖에서 일한다면 하루에 에이전트와 5개나 10개의 서로 다른 프로젝트를 동시에 진행할 수 있다. 한 프로젝트에서 5개나 10개의 기능을 함께 개발할 수도 있다. 사실상 서로 다른 세션 5개나 10개가 열리는 셈이다.
그러면 최소한 그중 몇 개는 계속 파악하고 있어야 한다. 작업과 목표를 충분히 잘 정의하고, 완료 여부를 검증하는 방법까지 마련했다고 믿는다면 일부 작업에 더 높은 자율성을 부여할 수 있다. 그러나 위험이 크거나 미묘한 차이가 있는 작업은 그렇게 할 수 없다. 이런 작업에는 직접 주의를 기울여야 한다.
검토자에게 적합하도록 소프트웨어 공장을 최적화하는 방안을 고려하라. 어떤 접근 방식을 택하더라도 결과가 결국 한 사람의 주의를 거쳐야 한다면, 공장이 아직 인간에게 남아 있는 결정을 얼마나 더 쉽게 만들어 주는지 물어야 한다.
### **엉뚱한 프로젝트를 수정한 실수**
에이전트와 여러 프로젝트를 병렬로 진행할 때 실수한 적이 있다. 한 웹 앱에 다크 모드를 추가하려고 작업의 형태를 머릿속에 그려 두었는데, 실수로 다른 프로젝트의 세션을 열어 같은 프롬프트를 입력하기 시작했다.
그 결과 전혀 필요하지 않은 프로젝트에 다크 모드를 구현하기 시작했다. 나도 이런 실수를 할 수 있지만, 소프트웨어 공장이 같은 실수를 저지르게 해서는 안 된다.
이 문제는 시스템 차원에서 생각해야 한다. 사실상 소프트웨어 엔지니어링 문화와 팀 문화를 시스템에 반영하는 작업이다. 시스템이 그 문화와 같은 방식으로 행동하고, 책임의 주체가 명확하며, 발생한 결과에 누군가 책임지도록 만들어야 한다. 이런 문제를 어떻게 다룰지 매우 명시적으로 정해야 한다.
## **검사 결과가 녹색이어도 믿기 어려울 때**
이런 시스템을 이용하더라도 각별히 주의해야 한다. AI에게 프로그래밍 테스트나 단위 테스트를 통과하도록 도와달라고 하면 테스트 자체를 바꿔 조건을 충족시키거나, 해당 조건을 통과하도록 코드 로직을 변경하는 경우를 많은 사람이 경험했다. 그렇다고 기능의 동작과 테스트의 본래 목적이 모두 사용자의 의도에 부합한다는 뜻은 아니다.

소프트웨어 공장에서 모든 항목이 녹색으로 표시되더라도 실제로 모두 정상이라는 보장은 없다. 특히 시스템을 처음 설정할 때는 더욱 그렇다. 검사와 검증이 올바르게 구성됐는지, 예상대로 작동하는지 세심하게 확인해야 한다. 잘못된 확신을 주어서는 안 된다.
예를 들어 인증 공급자로 깃허브를 추가해 달라고 요청했다고 하자. 에이전트는 지원하는 인증 공급자를 변경했지만, UI에 세 개만 표시할 공간이 있다는 이유로 기존 공급자 하나를 삭제할 수 있다. 하필이면 고객이 원하던 공급자일 수도 있다. 따라서 시스템이 어떻게 동작해야 하는지 명확하게 지정해야 한다.
보안도 매우 중요하다. 공장이 깃허브 이슈나 슬랙 메시지처럼 신뢰할 수 없는 입력을 읽는다면, 그 입력은 적대적일 수 있으며 공급망 공격 같은 문제를 일으킬 수 있다. 그래서 [버셀(Vercel)](https://vercel.com/blog/building-a-software-factory-for-ai-sdk) 같은 소프트웨어 공장 사례에서는 작업에 필요한 비밀 정보만 보유한 격리 샌드박스에서 에이전트를 실행한다. 실행 환경이 침해돼도 해당 작업에 필요하지 않은 자원에는 접근하지 못하게 하는 것이다. 결국 방어 체계는 여러 계층으로 구성된다.
## **어떤 오래된 프로젝트에 새 생명을 줄 것인가?**
오늘날 업무에서 중요한 부분은 무엇이 존재할 가치가 있는지 결정하는 일이라고 생각한다. AI가 등장하기 전에는 수많은 소프트웨어 엔지니어링 프로젝트가 방치됐다. 주말 프로젝트와 개인 프로젝트도 완성할 시간이 없어 출시되지 못했다. 충분히 중요하지 않거나 시간을 내지 못해 우선순위를 부여할 여력이 없었다.
이제 그런 프로젝트를 완성하는 일은 비교적 간단해졌다. 하지만 인간의 판단에 관한 같은 질문이 다시 등장한다. 그 프로젝트는 존재할 가치가 있는가? 출시해야 하는가? 세상에 공개해 사용자가 5명뿐이어도 유지보수해야 할 수 있다. 이제는 지켜야 할 품질 기준도 생길 수 있다.
나에게도 여러 해 동안 쌓인 깃허브 프로젝트가 많다. 이제 에이전트가 있으므로 가장 먼저 프로젝트가 빌드되도록 만든다. 오래된 프로젝트를 복제하면 모든 의존성이 바뀌어 빌드되지 않는 것이 당연하다. 절반은 낡았거나 곳곳에 보안 취약점이 있어 업데이트해야 한다.
테스트가 없다면 추가해야 한다. 그래야 프로젝트를 업그레이드하거나 최신 언어 또는 프레임워크로 마이그레이션할 때 기존 동작이 최소한 유지된다는 것을 확인할 수 있다.
그다음에는 이런 생각이 든다. 다소 우스운 예지만 예전에는 트위터 부트스트랩(Twitter Bootstrap)을 사용했어도 지금은 모두 테일윈드(Tailwind)와 shadcn을 쓰니 UI를 다시 구현해야 하는 것은 아닌지 고민하게 된다. 그러다 보면 갑자기 훨씬 많은 시간이 든다. 에이전트가 상당 부분을 더 빨리 처리할 수는 있지만, 이제 제품 감각과 안목까지 고려해야 한다.
계속해서 질문하게 된다. 누구를 위한 프로젝트인가? 시장이 있는가? 나 자신을 위한 것인가, 다른 사람을 위한 것인가? 세상에 공개하더라도 누구나 비슷한 것을 빠르게 만들 수 있는 지금도 흥미로운가?
이런 프로젝트가 존재할 가치가 있는지, 우리의 안목과 판단을 어떻게 반영할지는 여전히 매우 중요하다. 인간의 희소한 자원인 주의력이 바로 이 지점에서 필요하다. 과거에는 하루 중 사용할 수 있는 시간이 한정돼 있었다. 회의도 해야 했고 설계와 코딩 등에 쓸 시간을 배분해야 했다.
이제 에이전트의 도움을 받을 수 있으므로 어디에 시간을 쓰고 있으며 그 이유가 무엇인지 더욱 명확히 해야 한다.
## **예제 공장을 구축했더니 어떤 일이 일어났는가**
이제 82분 동안 실행된 공장 이야기를 해보겠다. 사람들은 한동안 “소프트웨어 공장을 어떻게 구축하나요?” 또는 “클로드 코드나 코덱스를 사용하고 있는데, 소프트웨어 공장으로 어떻게 발전시키나요?”라고 물었다.
내 첫 대답은 이렇다. “지금 상태로도 괜찮을 수 있습니다. 공장이 없어도 업무에 전혀 문제가 없을 수 있습니다.” 그래도 사람들이 참고할 구성을 제공하고 싶었다. 그래서 [팩토리(Factory)](https://github.com/addyosmani/factory)라는 저장소를 만들었다. [데모 애플리케이션](https://github.com/addyosmani/factory-demo/)과 [워크숍](https://github.com/addyosmani/factory/blob/main/ADVICE.md#:~:text=step%2Dby%2Dstep%20workshop)도 마련했다.
지난 몇 년 동안 여러 데모에 가장 자주 사용한 애플리케이션은 영화 앱이었다. 나는 영화를 무척 좋아하고 자주 본다. 이 데모는 매우 단순한 영화 앱에서 시작한다. 공장이 여러 기능을 구현하도록 하는 것이 목표다. 즐겨찾기와 검색 기능을 넣고 다크 테마도 추가하고 싶었다.
그래서 공장이 이런 기능을 작업하도록 했다. 구현 내용은 직접 확인할 수 있다. 이 방식의 장점 중 하나는 실제 문제를 찾아냈다는 점이다. 한 번의 요청으로 구현을 끝내도록 했다면 발견하지 못했을 수도 있다.
실행한 지 약 60분이 됐을 때 “이상할 정도로 느리다”는 생각이 들었다. 공장을 이용하는 하네스에 “왜 이렇게 느린가?”라고 물었다. 하네스는 “전혀 문제없습니다. 모든 검증기가 아직 실행 중입니다”라고 답했다.
개별 작업에는 10분, 15분, 20분 정도 걸릴 것이라 예상할 수 있다. 그러나 검증, 재시도, 브라우저 검사, 인간의 검토를 비롯한 추가 지연을 포함하면 두 배에서 네 배까지 길어질 수 있다.
이런 절차는 품질을 높이고 시스템에 대한 신뢰를 강화할 수 있다. 측정 관점에서는 병합된 풀 리퀘스트당 비용과 코드 보존 기간을 이해 부채의 지표로 살펴볼 수 있다.
유용한 지연과 공장 자체의 오버헤드도 구분해야 한다. 내 사례에서는 검증기가 실제 문제를 찾아냈다. 일부 시간은 내가 원한 증거를 만드는 데 쓰였고, 일부는 공장 실행의 오버헤드였다. 최적화에는 거의 시간을 들이지 않았다. 그러나 가치가 없는 검사를 많이 실행한다고 해서 품질이 높은 공장은 아니다.
반복되는 검사가 무관하거나 잡음이 많지는 않은지, 실제로 시스템을 더 안전하게 만드는지 살펴봐야 한다.
## **검증 예산**
나는 검증에 쓰는 예산을 말 그대로 검증 예산(verification budget)으로 생각한다. 과거에 성능 예산을 생각했던 방식과 같다.

소프트웨어 개발 생명주기의 초기에 실행할 수 있는 검사가 있다. 반면 실행 비용은 매우 크지만 그만큼 가치가 높아 나중에 수행해야 하는 검사도 있다. 린팅이나 타입 검사처럼 빠른 검사는 비교적 이른 단계에 실행할 수 있다.
전체 테스트 모음은 초안 풀 리퀘스트를 만들기 직전이나 그 이후에 실행하면 된다. 여기에는 변이 테스트, 브라우저 테스트, 보안 검사 등이 포함될 수 있다.
이런 검사를 단순한 요약으로 대체해서는 안 된다. 실제 테스트가 필요하다. 다만 개발 순환 속도를 늦추지 않도록 적절한 지점에 예산을 배정해야 한다. 나는 개발 순환이 느려지는 것을 원하지 않는다. 빠르게 반복하는 과정은 중요하지만, 동시에 견제와 균형을 제공하는 검사도 필요하다.
## **실행 결과가 출시되지 않을 때**
지금까지 설명한 내용의 상당 부분은 검사에 관한 것이다.
버셀은 소프트웨어 공장에서 모든 에이전트 실행을 [분류](https://vercel.com/blog/building-a-software-factory-for-ai-sdk)해 “성공(success)”, “결함 있음(flawed)”, “차단됨(blocked)”, “수동 처리(manual)”로 표시한다. 이 가운데 “성공”만 프로덕션에 출시한다. 나머지는 시스템으로 다시 들어간다. 나도 이와 비슷한 관점에서 실행 결과를 생각해 왔다.

여기서 “결함 있음”은 잘못된 내용을 구현했거나 전체 맥락을 파악하지 못했다는 뜻이며 수정해야 한다. “차단됨”은 환경에 자격 증명이 없어 이를 제공해야 한다는 의미일 수 있다. “수동 처리”는 공장이 아직 넘도록 허용되지 않은 경계이다.
이 세 가지 중 두 가지는 기계적인 방식으로 해결할 수 있다. 마지막 하나는 신뢰의 문제다.
이 분류 방식은 유용하지만 비용은 보여주지 않는다. TMDB 앱을 이용한 내 공장 구현 사례로 돌아가 보자. 거절 없이 진행된 빠른 검색 기능은 7분이 걸렸다. 두 번 거절되고 중간에 인간의 결정이 필요했던 즐겨찾기 기능은 56분이 걸렸다. 같은 공장이었다. 따라서 이 분류 체계에 단계별 소요 시간을 함께 기록하는 것이 좋다. 그렇지 않으면 실행 결과에 결함이 있었다는 사실은 알 수 있어도 그것을 발견하는 데 든 비용은 알 수 없다.
경계에서의 인계도 개선해야 한다. 내 예제 공장은 첫 번째 이슈에서 멈춘 뒤 상태를 `factory:needs-info`로 바꿨다. 올바른 동작이었지만 나는 답변을 어디에 입력해야 하는지 알 수 없었다. 수동 실행은 공장이 멈췄다고 끝나는 것이 아니다. 인간이 다음에 무엇을 해야 할지 알게 됐을 때 비로소 끝난다.
## **자율성은 하나의 설정값이 아니다**
몇 주 전 [에이전트 자율성(agentic autonomy)](https://addyo.substack.com/p/agentic-autonomy-levels)과 이를 바라보는 방법을 다룬 글을 썼다. 모든 프로젝트에 동일한 하나의 자율성 설정을 적용할 수는 없다.
검증은 신뢰를 확보하고 에이전트에 더 많은 자율성을 부여할 수 있게 한다. 예를 들어 사소하지 않은 변경을 진행하면서 여러 검사를 마련하고 모든 결과를 올바르게 검증했으며 직접 확인까지 했다고 하자. 다음번에 같은 프로젝트에서 비슷한 작업을 할 때는 에이전트에 조금 더 많은 자율성을 맡겨도 괜찮다고 느낄 수 있다.
소프트웨어 공장을 구축할 때는 이 점을 고려해야 한다. 위험 수준에 따라 검증 방식도 달라진다. 목표는 신호 대 잡음비를 최적화하는 것이다. 단지 거대한 체크리스트를 실행하는 것이 목적은 아니다.
## **다시 배워야 했던 기능**
클로드와 여러 세션을 이용하며 여러 프로젝트와 기능을 동시에 진행하던 어느 날, 계속 미뤄 온 기능이 하나 있었다. 클로드가 그 기능을 구현했고 테스트도 통과한 것처럼 보였다. 검증을 깊이 고민하지는 않았지만 테스트가 통과했으므로 제대로 작동한다고 생각해 병합했다.
즐겨찾기 기능이었다. 처음에는 꽤 잘 만들어졌다고 생각했다. 브라우저에서도 확인했는데 괜찮아 보였다. 하지만 며칠 뒤 몇 가지를 다듬기 위해 코드를 다시 살펴봤다.
에이전트에 곧바로 수정을 요청하고 싶지는 않았다. 동작 방식에 미묘한 문제가 있었기 때문이다. 아이콘을 탭했을 때 올바른 효과가 표시되지 않아 조금 다듬고 싶었다. 에이전트를 제대로 안내하려면 먼저 그 기능이 어떻게 작동하는지 이해해야 했다.
코드로 돌아가 보니 그 기능이 어떻게 작동하는지 설명할 수 없었다. 내 저장소였고, 내가 변경 사항을 승인했다. 저장소의 많은 부분과 전반적인 동작은 이해하고 있었지만, 쌓여 가는 코드의 속도를 내 이해가 따라가지 못했다.
새로 추가된 기능의 실제 동작과 UI, 효과가 어떻게 구현됐는지 제대로 파악하지 못했다. 결국 기능을 다시 만들면서 “이것은 어떻게 작동하지?”, “어떻게 해야 이해할 수 있지?”를 단계별로 살펴봐야 했다.
## **병렬 작업이 이해에 미치는 영향**
병렬 작업은 전반적인 문제를 증폭한다. 소프트웨어 공장에서 작업할 때는 더욱 심해진다. 5개나 10개의 세션을 실행하면 단순히 검토량이 늘어나는 데서 끝나지 않는다. 여러 정신 모형이 생기고, 다른 일을 하는 동안 그 모형에 대한 기억이 상당히 흐려질 수 있다.
우리는 오래전부터 맥락 전환의 어려움을 이야기해 왔다. 채팅이 압축되고 여러 접근 방식을 거절하거나 다른 방법을 시도하며 에이전트와 페어링하다 보면, 세션에서 일어난 모든 일을 기억하기가 어려워진다.
위로 스크롤할 수는 있지만 대화가 압축됐다면 모든 내용이 남아 있지 않으며, 전부 머릿속에 저장할 수도 없다. 코드는 흔히 어떤 결정이 내려졌다는 사실은 보존하지만 그 이유는 남기지 않는다.
여기서 유용한 교훈을 얻을 수 있다. 중요한 작업이라면 에이전트에 작업 진행 경로나 문제에 접근하면서 얻은 흥미로운 교훈을 실제로 기록하도록 요청하는 방안을 고려하라. 그러면 나중에 다시 확인할 수 있다.
이 정보를 저장소에 커밋할지는 선택하면 된다. 원하는 경우 로컬에 보관하거나 팀과 공유할 수 있다. 그러면 세션 어딘가에 남아 있기를 바라거나 나중에 기억해 내는 데 의존하지 않고 필요할 때 참고할 수 있다.
## **책임은 사라지지 않는다**
이 모든 내용의 밑바탕에는 더 넓은 원칙이 있다.
인간이 직접 입력하는 코드의 비율은 크게 줄어들 수 있다. 그렇다고 인간의 책임까지 함께 줄어들 필요는 없다.
* 누군가는 여전히 해결할 문제를 선택한다.
* 누군가는 여전히 아키텍처를 선택한다.
* 누군가는 여전히 품질 기준을 정한다.
* 누군가는 어떤 검증 신호를 신뢰할지 결정한다.
* 누군가는 확보된 증거가 출시하기에 충분한지 판단한다.
결과로 나온 시스템이 실패했을 때 “에이전트가 작성했다”는 말은 변명이 되지 않는다. 그래서 나는 소프트웨어 엔지니어링의 미래를 인간이 순환 과정에서 빠져나가는 모습으로 설명하는 것이 적절하지 않다고 생각한다. 대신 **인간의 판단이 자리를 옮기고 있다.**
기계가 더 강력하고 빠르며 결정론적인 신호를 만들어 낼 수 있는 부분에서는 인간을 순환 과정에서 제외해야 한다. 동시에 맥락과 안목, 위험, 장기적인 책임이 가장 중요한 지점에는 인간을 집중적으로 배치해야 한다.
최고의 소프트웨어 공장은 인간의 개입을 얼마나 완벽하게 없앴는지로 평가받지 않을 것이다.
인간을 얼마나 지능적으로 **배치하는가**가 기준이 될 것이다.
의도와 시스템의 형태, 품질 기준을 결정하는 상류 단계에는 인간의 판단을 유지하라. 자동화된 역압력이 약해지거나 결과가 주관적 판단에 좌우되는 부분의 코드를 검토하라. 결정론적으로 확인할 수 있는 모든 신호는 가능한 한 일찍, 지속적으로 순환 과정에 투입하라. 시스템이 신뢰를 얻거나 잃는 정도에 맞춰 의도적으로 제약을 강화하거나 완화하라.
**궁극적으로 어떤 코드가 출시되는지는 여전히 인간이 책임져야 한다. 출시할 만한 수준의 코드는 지금도 바로 그 책임에서 시작된다.**