# Cognition의 Devin Oncall은 왜 '소프트웨어 자율주행'에 가까워졌다고 주장할까?

> Cognition의 Devin Oncall은 왜 '소프트웨어 자율주행'에 가까워졌다고 주장할까? 말로 들어보세요. 원문 링크도 함께 확인할 수 있어요.

Canonical: https://mallo.drtryon.org/s/PKDpfCPOxAfDKPIwGAd2-WdBZ988mEaJP9SL043mPkk

재생 시간: 11:08

## 요약 글

이 글에서 Cognition이 내세우는 목표는 단순히 알림 몇 개를 자동 분류하는 수준이 아니에요. Devin Oncall이 경보와 버그 리포트를 스스로 조사하고, 운영 중인 장애의 원인을 찾고, 완화나 해결까지 이어 주면서 사람이 모든 단계를 직접 몰지 않아도 되는 운영 방식을 만들겠다는 이야기예요. 다만 여기서 '자율주행'은 자동차처럼 사람이 완전히 빠진다는 뜻이라기보다, 엔지니어가 매번 첫 조사와 조율을 손으로 시작하지 않아도 되게 하겠다는 비전에 가까워요. 글 마지막에서도 엔지니어는 방향을 정하고 결정을 내리는 역할로 설명돼요.

먼저 낯선 말부터 풀어볼게요. 여기서 '하네스'는 모델 이름만 가리키는 말이 아니라, 그 모델이 실제 운영 조사 일을 하도록 감싼 실행 틀에 가까워요. 로그를 보고, 도구를 부르고, 원인을 확인하고, 완화 조치를 시도하는 흐름 전체를 묶는 작업 환경이라고 이해하면 돼요. Cognition은 바로 이 하네스까지 포함한 Devin Oncall을 SREGym에서 비교했고, 가장 높은 점수와 100% 종단간 성공, 가장 빠른 완화 시간을 얻었다고 주장합니다. 또 이 벤치마크는 단순히 답만 맞히는 시험이 아니라, 같은 실행 안에서 근본 원인을 찾고 실제 라이브 시스템을 완화해야 통과하는 구조라고 설명해요. 그래서 회사는 '설명만 그럴듯한 에이전트'가 아니라 '원인 확인과 조치까지 이어지는 에이전트'를 강조하는 거예요.

그런데 이 글의 더 중요한 주장은 점수표 자체보다 '왜 지금은 이런 접근이 가능하다고 보느냐'예요. 저자들은 예전의 에이전트가 운영 디버깅에서 약점이 뚜렷했다고 말해요. 너무 빨리 정답을 선언하고, 충분히 넓게 확인하지 않고, 롤백이나 증설처럼 단순한 완화보다 큰 코드 변경부터 시도하곤 했다는 거죠. 그래서 예전에는 아주 길고 세세한 프롬프트, 네트워크 안쪽에 넣는 관측 수집기, 별도 그래프 구조, 고전적 머신러닝, SRE 전용 후학습 모델 같은 보강 장치가 많이 쓰였다고 설명합니다. 하지만 Cognition의 주장은, 모델이 더 똑똑해질수록 그런 보정 장치가 오히려 발목을 잡는 경우가 생긴다는 거예요. 예전 한계를 가정하고 만든 구조를 계속 뜯어고치느니, 충분히 강한 에이전트 하나에 필요한 문맥, 도구, 작업 흐름을 붙이는 편이 낫다는 판단이죠. 그래서 글 제목도 'Agents are all you need'라고 못 박고, 온콜에서는 좋은 코딩 에이전트에 적절한 맥락과 접근권을 주는 것이 핵심이라고 말합니다.

그 주장을 제품 설계로 풀어낸 것이 세 층 구조예요. 핵심 지능, 회사 문맥, 에이전트 행동. 저자들은 이 셋이 좋은 온콜 엔지니어의 능력과 대체로 대응된다고 설명해요. 시스템을 추론하는 힘이 있어야 하고, 우리 회사 시스템을 어디서 어떻게 들여다봐야 하는지도 알아야 하며, 실제 장애 대응에서 흔들리지 않는 일하는 방식도 필요하다는 뜻이죠. 이 구조를 한 사람의 실력만으로 보지 않고, '생각하는 능력', '현장 지식', '일하는 습관'으로 나눠 본다고 생각하면 이해가 쉬워요.

핵심 지능 층에서 Cognition이 특히 경계하는 문제는 '그럴듯한 첫 설명'에서 멈추는 일이에요. 글에 따르면 모델들은 통제된 환경에서는 이미 꽤 잘하지만, 실제 운영 환경은 오래된 레거시 시스템이 섞여 있고 텔레메트리 양도 많아서 첫 번째로 말이 되는 원인이 진짜 근본 원인이 아닐 수 있어요. 그래서 Devin Oncall은 메인 조사 에이전트 옆에 비동기로 움직이는 두 번째 검토 에이전트를 둡니다. 이 검토자는 최근 추론과 도구 호출, 결과를 보고 상관관계를 인과관계로 착각했는지, 모순되는 관측을 무시했는지, 방아쇠와 근본 원인을 헷갈렸는지 따져요. 가상의 비교로 말하면, 한 명이 현장을 뛰며 단서를 모으고 다른 한 명이 옆에서 '그 단서가 정말 원인을 증명하느냐'를 따지는 구조에 가까워요. 중요한 건 검토자가 조사를 대신하는 게 아니라, 결론이 증거를 제대로 따라가는지 계속 압박한다는 점이에요.

다음 층인 회사 문맥은, 에이전트가 '똑똑한 일반인'으로 머무르지 않게 만드는 부분이에요. 저자들은 일반적인 디버깅 능력만으로는 부족하다고 분명히 말합니다. 어느 저장소를 봐야 하는지, 텔레메트리를 어떻게 질의해야 하는지, 서비스들이 어떻게 연결되는지 같은 정보가 없으면 실제 조사에서 막히기 쉬워요. 특히 로컬 에이전트와 클라우드 에이전트의 차이를 강조하는데, 로컬에서는 사용자가 옆에서 필요한 배경을 계속 공급하고 자신의 자격증명으로 외부 시스템 접근도 빌려줄 수 있지만, 클라우드 에이전트는 그런 도움 없이 스스로 일해야 해요. 그래서 접근권과 초기 문맥을 미리 설정해야 합니다. 이건 준비 작업이 더 든다는 뜻이기도 해요. 대신 그렇게 쌓인 지식은 개인 한 명이 매번 다시 설명할 필요 없이 팀과 조직에 공유될 수 있다고 글은 봅니다.

그 문맥을 실제로 쌓는 방식이 세 갈래로 제시돼요. 첫째, 각 Oncall 에이전트가 자기 담당 일에 맞는 습관을 기억하는 Per-Responder Memory가 있어요. 누구를 태그해야 하는지, 다음에는 어떻게 행동해야 하는지 같은 기억이 여기에 들어갑니다. 둘째, 조직 환경을 주기적으로 색인해서 공통 디버깅 절차를 만들어 두는 Per-Org Skills가 있어요. 예를 들어 고객 영향 범위를 계산하거나 의존 플랫폼에서 데이터를 질의하는 절차를 매번 처음부터 추론하지 않게 해 주는 거죠. 셋째, 모든 조사가 끝난 뒤 유용한 정보를 저장해 미래 조사에서 다시 찾게 하는 Per-Org Memory가 있어요. 저자들은 이것을 '조직 지식의 저충실도 캐시'라고 설명해요. 아주 정교한 완전 지도라기보다, 다음번에 다시 헤매지 않게 해 주는 흔적 모음에 가깝다는 뜻이죠. 글은 이런 층 덕분에 어떤 고객은 첫날부터 시작할 수 있고, 사용하면서 점점 더 나아지며, 모니터링상 잘못된 진단 빈도도 줄어든다고 말합니다.

세 번째 층인 에이전트 행동은 '알림 흐름을 처리하는 일'과 '이미 큰 장애가 열린 상태'를 다르게 다룹니다. 글은 이 둘의 작업 패턴이 다르다고 봐요. Responders는 경보나 버그 리포트의 흐름을 지켜보다가, 새 이슈인지 아닌지를 판단하고 필요할 때만 본격 조사를 시작합니다. 구조를 이해하려면 가상의 비교로 접수 데스크와 개별 조사실을 떠올리면 쉬워요. 숨겨진 부모 Devin이 채널을 보며 정말 새로 파야 할 문제인지 가르고, 그렇다고 판단하면 자식 조사 에이전트를 띄워요. 이렇게 하면 부모는 현재 들어오는 흐름과 이미 알려진 문제를 기억하고, 자식은 한 사건만 깨끗한 문맥으로 파고들 수 있어요. 글에 따르면 이 기억 덕분에 관련 알림을 묶고 이전 작업을 참조해서 조사 자체를 대략 60% 건너뛸 수 있었고, 정기 자동화 대비 비용도 절반 넘게 아낄 수 있었다고 합니다. 또 기본 responder를 Alert Responders와 Support + Bug Responders로 나눠, 복잡한 런북 없이도 흔한 용도에 맞게 동작하도록 했다고 설명해요.

Incidents는 분위기가 다릅니다. 이미 급한 장애가 열려 있고 사람들 대화도 계속 오가는 상황이니까요. 여기서 Devin은 전용 메시지 채널 안에서 엔지니어들과 나란히 조사하고, 동시에 실시간 incident 문서도 유지합니다. 문제는 대화에 반응하다 보면 조사의 큰 줄기를 놓칠 수 있다는 점이에요. 그래서 글은 책임을 나눴다고 설명해요. 메시지는 먼저 걸러서 쓸모없는 잡담이 바로 에이전트를 흔들지 않게 하고, 부모 Devin은 백그라운드에서 계속 큰 조사를 이어 갑니다. 반면 직접 질문이 오면 자식 Devin을 따로 띄워 빠르게 답하게 해요. 그러면 엔지니어는 중간중간 궁금한 것을 물을 수 있지만, 그 질문 하나 때문에 메인 조사가 통째로 흔들리지는 않아요. 운영 중인 회의실에서 한 사람은 전체 상황판을 붙들고 있고, 다른 사람들은 들어오는 세부 질문을 바로 처리하는 모습에 가까운 설계예요.

고객 사례는 이 구조가 현장에서 어떻게 쓰였는지 보여 주는 예시로 등장해요. Reducto에서는 Devin이 여러 알림을 보다가 좋지 않은 추세를 먼저 포착하고 스스로 incident를 열었다고 합니다. 글의 설명대로라면 실제 운영 알림은 실패 요청이 더 늘어난 뒤에야 울렸고, 그 전에 Devin이 문제를 짚어 둔 덕분에 영향이 크게 줄었다는 거예요. 또 지금은 많은 엔지니어링 알림을 Devin이 먼저 받아서, 중간 심각도 문제는 스스로 완화하거나 PR을 열고 테스트한 뒤 엔지니어 검토를 요청한다고 합니다. RV Tech에서는 고객 보고에서 차량 식별자와 시각을 뽑고, 로그를 가져오고, 파싱 스크립트를 실행하고, 이슈 분류까지 자동으로 해 준다고 해요. 그래서 엔지니어는 손으로 첫 조사를 하는 대신, 나온 분석을 검토하는 쪽으로 역할이 옮겨 갔다고 설명합니다. AngelList 사례에서는 사내 조사 하네스 Sky보다 근본 원인을 3.5배 더 자주 맞췄고, incident의 50%는 끝까지 혼자 처리했으며, 결국 Sky를 Devin Oncall로 대체했다고 소개해요. 여기서 글이 말하고 싶은 핵심은 '알림을 넘겨받는 자동화'가 아니라 '조사와 완화의 앞단을 맡는 자동화'라는 점이에요.

정리하면, Cognition의 주장은 이래요. 운영 장애 대응의 핵심은 더 많은 규칙을 덧붙이는 것이 아니라, 충분히 강한 에이전트에 올바른 문맥과 접근권, 그리고 온콜에 맞는 작업 구조를 주는 데 있다는 거예요. 다만 글도 한계를 숨기지는 않아요. 벤치마크는 통제된 시스템에서의 능력을 보여 주지만, 실제 운영 환경은 훨씬 복잡하고 에이전트가 첫 그럴듯한 원인에 멈추는 문제가 여전히 있다고 인정합니다. 또 클라우드 에이전트가 스스로 일하려면 접근과 초기 문맥을 미리 구성해야 하고, 조사 속도와 비용도 중요한 제약으로 남아요. 그래서 이 글을 '이미 완벽히 자동화됐다'는 선언으로 읽기보다는, 사람이 하던 반복적 문맥 수집과 1차 조사, 일부 완화를 에이전트가 맡고 인간은 방향과 판단에 더 집중하게 하려는 설계 제안으로 읽는 편이 정확해요.

## 원문

[원문 보기](https://devin.ai/blog/introducing-devin-oncall)

## Related

- [요약 듣기](https://mallo.drtryon.org/s/PKDpfCPOxAfDKPIwGAd2-WdBZ988mEaJP9SL043mPkk)

- [말로 오디오 요약 골라 듣기](https://mallo.drtryon.org/)
