공개 노트

Anthropic이 보여준 AI 에이전트의 진짜 승부처: 모델보다 하네스 설계

2026-03-31Views 249약 5분생성형 AI 활용

Summary

AI가 예쁜 프론트엔드를 얼마나 잘 만들 수 있을까.
그리고 사람 손을 거의 타지 않고도, 몇 시간 동안 꽤 완성도 있게 앱을 계속 개발할 수 있을까.

Anthropic의 이번 글은 이 두 질문에서 출발했어요.

그런데 결론은 의외로 단순합니다.

장시간 자율 개발의 성패는 모델 스펙보다 '하네스(harness) 설계'에 더 크게 좌우된다는 것.¹

왜 단일 AI 에이전트는 오래 가면 흔들릴까

문제는 두 가지예요.

1) 컨텍스트가 길어질수록 집중력이 흐트러집니다

작업이 길어지면 모델은 처음 의도와 현재 상태를 안정적으로 붙잡지 못해요.
Anthropic은 이 현상을 context anxiety라고 설명합니다.¹

쉽게 말하면, 아직 할 일이 남았는데도 AI가 갑자기 "이 정도면 끝난 것 같아요" 모드로 들어가는 거죠. 실무에서는 정말 곤란해요.

2) 자기 결과물을 스스로 평가하면 너무 후합니다

이건 디자인처럼 정답이 없는 분야에서 더 심하지만, 코딩에서도 마찬가지예요.¹
자기가 만든 걸 자기가 보면 대체로 "작동은 하니까 괜찮다" 쪽으로 기울어요.

즉, 오래 일할수록 흐트러지고, 스스로 검수할수록 관대해진다.
단일 에이전트 구조의 한계는 여기서 시작합니다.

해법은 의외로 사람 팀과 닮았어요: 역할 분리

Anthropic이 꺼낸 카드는 다중 에이전트 구조입니다.¹

Generator: 만든다
Evaluator: 의심하고 평가한다
Planner: 큰 방향과 명세를 잡는다

이 조합이 왜 강력하냐고요?
핵심은 하나예요. 잘 만드는 AI보다, 잘 의심하는 구조가 더 중요하다는 점입니다.

프론트엔드 디자인 실험: "그럴듯함" 말고 "진짜 보기 좋음"으로

Anthropic은 프론트엔드 디자인 평가 기준을 네 가지로 잡았어요.¹

Design quality
Originality
Craft
Functionality

여기서 포인트는 가중치입니다.
Craft와 Functionality는 기본적으로 어느 정도 나오기 때문에, 실제 차이를 만드는 건 Design quality와 Originality였어요.

이 대목이 꽤 인상적입니다. 많은 AI 결과물이 "못 만든 건 아닌데 묘하게 심심한" 이유가 딱 여기 있거든요.
기능은 있는데, 취향과 의도가 없어요. 너무 안전하고, 너무 템플릿 같고, 너무 'AI 스타일'입니다.

Anthropic은 이런 generic한 AI 결과물을 명확히 감점했어요.¹
그리고 evaluator를 few-shot 예시로 보정해서, 어떤 디자인을 좋게 보고 어떤 패턴을 낮게 볼지 미리 학습시켰습니다.

한마디로 정리하면 이거예요.

생성 AI보다 먼저 설계해야 할 건, 평가 AI의 취향입니다.

스크린샷 평가가 아니라, 직접 써보게 했다는 점이 영리했어요

Evaluator는 Playwright로 실제 페이지를 탐색하며 평가했습니다.¹
그냥 이미지 한 장 보고 "예쁘네요" 하는 수준이 아니었어요. 직접 움직여 보고, 살펴보고, 사용 맥락 안에서 점수를 매긴 거죠.

이건 굉장히 중요해요.
좋은 UI는 포스터처럼 보기만 좋은 화면이 아니라, 사용하면서도 설득력 있는 화면이니까요.

실험은 보통 5~15회 반복, 길게는 최대 4시간까지 진행됐습니다.¹
점수는 대체로 오르지만, 어느 순간 plateau에 도달했어요. 끝없이 좋아지진 않는다는 현실적인 결과도 함께 보여줍니다.

그리고 재미있는 포인트 하나.
마지막 결과물이 항상 최고는 아니었다고 해요.¹

이건 실무에도 바로 적용할 만합니다.
AI 작업에서는 마지막 버전만 저장하지 말고, 중간 산출물도 후보로 남겨야 해요.

가장 흥미로운 장면: 10번째 반복에서 갑자기 발상이 점프했다

네덜란드 미술관 예시에서, 초반 9번 반복까지는 잘 만든 다크 테마 랜딩 페이지 수준이었다고 해요.¹
그런데 10번째 반복에서 갑자기 3D 공간형 웹 경험으로 도약합니다. 체크무늬 바닥, 벽에 걸린 작품, 문을 통한 갤러리 이동 같은 식으로요.

이게 왜 중요하냐면, AI가 갑자기 천재가 됐다는 뜻이 아니에요.
비판적 피드백 루프가 창의적 전환을 만들어냈다는 의미에 더 가깝습니다.

좋은 피드백은 결과를 다듬는 데서 끝나지 않아요.
가끔은 방향 자체를 바꿔버립니다.

풀스택 개발로 확장하자, 구조는 더 명확해졌습니다

디자인 실험에서 효과를 본 구조는 풀스택 앱 개발에도 이어졌어요.¹

기존에는 initializer + coding agent + context reset 구조였다면, 이번에는 이렇게 발전합니다.

Planner: 짧은 사용자 요구를 제품 명세로 확장
Generator: 실제 구현
Evaluator: 코드 리뷰 + QA처럼 비판적 검수

이건 낯설지 않아요.
사실상 기획자-개발자-QA 팀을 AI 시스템 안에 재현한 셈입니다.

특히 planner가 초반에 너무 세세한 기술 구현까지 못 박지 않도록 한 점도 좋았어요.¹
초기 설계는 "무엇을 왜 만들지"에 집중하고, "어떻게 만들지"는 뒤로 미룹니다. 너무 이른 구체화는 이후 전체를 꼬이게 만들 수 있으니까요.

reset vs compaction: 비슷해 보여도 실무 체감은 꽤 달라요

장시간 AI 에이전트 운영에서 자주 나오는 개념이 context reset과 compaction이에요.¹

reset

맥락을 완전히 비우고, 구조화된 handoff artifact만 다음 세션에 넘기는 방식입니다.
깨끗하게 새 출발할 수 있어서 context anxiety 대응에 강해요. 대신 복잡하고 비용도 듭니다.

compaction

같은 세션 안에서 앞부분을 요약해 이어가는 방식이에요.
연속성은 좋지만, 답답하게 쌓인 컨텍스트의 분위기까지 완전히 리셋되진 않아요.

Anthropic의 관찰도 실무적이었어요.

Sonnet 4.5: compaction만으로는 부족했고 reset이 중요했다¹
Opus 4.5: context anxiety가 줄어서 연속 세션 + 자동 compaction으로도 충분했다¹

즉, 컨텍스트 전략은 모델 성향에 맞게 바꿔야 합니다.
만능 템플릿은 없어요.

이 글이 실무자에게 주는 진짜 메시지

이 글의 핵심은 "Claude가 더 똑똑해졌다"가 아닙니다.
오히려 이 문장이 더 정확해요.

좋은 AI 결과물은 생성 능력보다 평가 구조에서 갈린다.

프롬프트를 더 길게 쓰는 것보다,
무엇을 좋은 결과로 볼지 먼저 정의하는 편이 더 강력할 수 있어요.

특히 다음 같은 분야에 그대로 응용 가능합니다.

UI/UX 디자인
콘텐츠 기획
브랜드 카피라이팅
교육 자료 제작
장시간 코딩 에이전트 운영

AI를 잘 쓰는 사람은 이제 "한 번에 정답을 잘 뽑는 사람"이 아니라,
기준을 만들고, 역할을 나누고, 피드백 루프를 설계하는 사람일 가능성이 큽니다.

한줄 결론

Anthropic의 이번 글은 결국 이렇게 읽혀요.
AI 에이전트를 오래 돌리는 비결은 더 똑똑한 모델 하나가 아니라, 생성·평가·계획을 분리한 하네스 설계에 있다고요.¹

모델은 엔진일 뿐이에요.
완성도를 만드는 건, 결국 시스템입니다.

참고

¹Anthropic, Harness design for long-running application development