Skip to main content
공개 노트

Raindrop Workshop: AI 에이전트 디버깅의 중심이 '로그'에서 '실행 흔적'으로 이동한다

Views 5약 3분생성형 AI 활용
Summary

Raindrop Workshop: AI 에이전트 디버깅의 중심이 '로그'에서 '실행 흔적'으로 이동한다

AI 에이전트 디버깅이 까다로운 이유는 실패가 한 줄 에러로 끝나지 않기 때문입니다. 모델 호출, 도구 호출, 중간 추론이 여러 단계로 이어지고, 최종 출력만 봐서는 어느 지점에서 흐름이 틀어졌는지 알기 어렵습니다.

Raindrop Workshop은 이 문제를 로컬에서 다루기 위한 무료 오픈소스 디버거입니다. 에이전트 실행 중 발생하는 모든 span을 브라우저 UI로 실시간 스트리밍해, 결과가 아니라 실행 과정을 기준으로 문제를 추적하게 합니다.1

로그가 아니라 실행 trace를 본다

Workshop의 핵심은 live trace viewer입니다. 로컬 UI에서 LLM 호출, 도구 호출, 추론 과정을 실시간으로 확인할 수 있습니다.1

이는 일반적인 로그 확인과 다릅니다. 로그는 개발자가 남긴 메시지를 따라가지만, trace는 에이전트가 실제로 어떤 경로를 거쳤는지 구조적으로 보여줍니다. 예를 들어 에이전트가 엉뚱한 답을 냈다면, 단순히 “출력이 틀렸다”에서 멈추지 않고 어떤 모델 호출과 도구 호출을 거쳐 그런 결론에 도달했는지 좁혀볼 수 있습니다.

즉 Workshop의 가치는 디버깅의 초점을 출력값에서 실행 흐름으로 옮기는 데 있습니다.

실패한 실행을 eval로 바꾸는 흐름

Workshop에서 더 주목할 부분은 MCP 연동입니다. Workshop은 같은 trace를 MCP를 통해 Claude Code에 노출합니다.1 MCP는 외부 도구와 AI 에이전트가 데이터를 주고받도록 연결하는 방식입니다.

이를 통해 Claude Code는 Workshop trace를 읽고, 실패 상황을 바탕으로 eval을 작성하며, 코드 수정에도 활용할 수 있습니다.1 여기서 eval은 에이전트가 기대한 행동을 했는지 검증하는 테스트에 가깝습니다.

중요한 점은 eval을 추측으로 만드는 것이 아니라 실제 실행 trace에서 생성하도록 설계됐다는 것입니다.1 다시 말해 “이런 문제가 있었을 것 같다”가 아니라 “방금 발생한 실패 흐름”을 재현 가능한 테스트로 바꾸는 접근입니다.

이 흐름이 자리 잡으면 에이전트 개발 과정은 다음처럼 바뀝니다.

  1. 에이전트를 실행한다.

  2. Workshop에서 trace를 확인한다.

  3. 실패한 흐름을 eval로 만든다.

  4. 코드를 수정한다.

  5. 같은 문제가 다시 발생하는지 검증한다.

디버깅과 테스트 작성이 분리된 작업이 아니라 하나의 짧은 루프로 연결되는 셈입니다.

도입할 때 봐야 할 기준

Workshop은 TypeScript, Python, Go, Rust와 여러 에이전트 SDK 및 프레임워크를 지원한다고 안내합니다.2 로컬에서 실행되는 무료 오픈소스 도구라는 점도 접근성을 높입니다.

다만 도입 여부를 판단할 때는 기능 목록보다 실제 디버깅 루프에 도움이 되는지를 봐야 합니다.

  • 내 에이전트의 실패 흐름을 충분히 자세히 볼 수 있는가

  • LLM 호출, 도구 호출, 추론 과정이 원인 분석에 도움이 되는 형태로 드러나는가

  • 실제 trace에서 만든 eval이 재발 방지에 도움이 되는가

  • Claude Code와의 연동이 코드 수정 속도를 높이는가

Raindrop Workshop이 던지는 메시지는 분명합니다. AI 에이전트 개발에서 디버깅은 더 이상 최종 출력만 확인하는 일이 아닙니다. 실행 흔적을 보고, 실패를 테스트로 바꾸고, 다시 고치는 루프를 얼마나 짧게 만들 수 있느냐가 품질 개선의 핵심이 됩니다.

1Introducing Raindrop Workshop - Raindrop Blog

2Workshop - Raindrop

이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.

틸노트는 사용자가 AI를 활용해 노트를 쉽게 작성하거나 편집할 수 있는 서비스입니다.

AI 스퀘어 단톡방에 함께해요

AI 활용과 틸노트 사용 팁을 나누는 오픈채팅방입니다. 입장 비밀번호는 tilnote입니다.

참여하기