Perplexity Computer가 실제 실패에서 학습하는 방법
AI 에이전트의 성능은 답변 품질만으로 판단하기 어렵다. 외부 도구를 정확히 호출하고, 오류를 복구하며, 같은 실패를 반복하지 않는 실행 안정성도 중요하다.
Perplexity Research가 공개한 사후 학습 연구는 이 문제를 다룬다. 핵심은 Perplexity Computer의 실제 사용자 세션에서 수집한 성공과 실패 사례를 학습 데이터로 활용했다는 점이다.1
모델 구성만큼 중요한 실행 안정성
Perplexity Computer는 클라우드 기반 AI 에이전트다. 하위 작업에 따라 19개 모델을 선택하며, 핵심 추론에는 Opus 4.6을 사용한다.2
그러나 적절한 모델을 선택하는 것만으로 안정적인 작업 수행이 보장되지는 않는다. 연결된 도구를 잘못 호출하거나 같은 오류를 반복하면 작업이 중단되고 시간과 비용이 늘어날 수 있다.
따라서 AI 에이전트를 평가할 때는 정답률과 함께 다음 지표를 살펴봐야 한다.
도구 호출 실패율
오류 감지와 복구 능력
불필요한 재시도 횟수
반복되는 실패의 감소 여부
실제 실패를 학습 데이터로 전환하다
이번 연구는 실제 사용자 세션을 바탕으로 거부 샘플링 미세조정과 힌트 기반 자기 증류를 결합했다.1
거부 샘플링 미세조정은 여러 시도 가운데 기준을 통과한 결과를 선별해 학습에 활용한다. 힌트 기반 자기 증류는 모델이 실패한 지점에 단서를 제공하고, 이를 바탕으로 더 나은 해결 과정을 생성해 다시 학습하도록 한다. 성공 사례만 주입하는 대신 실제로 막힌 지점을 직접 교정하는 접근이다.
실시간 A/B 테스트에서 두 학습 체크포인트의 도구 호출 실패율은 2.24%에서 1.77%로 낮아졌다. Perplexity Research는 이를 통계적으로 유의미한 21.2% 감소라고 보고했다.1
결과를 해석할 때 주의할 점
21.2%라는 수치가 Perplexity Computer의 모든 작업 품질이 같은 비율로 향상됐다는 뜻은 아니다. 이번에 측정한 지표는 도구 호출 실패율이다. 장기 작업의 완성도, 전체 성공률, 비용 효율과 같은 요소는 별도로 검증해야 한다.
그럼에도 이번 연구가 보여주는 방향은 명확하다. AI 에이전트를 개선하는 데 필요한 데이터는 잘 정리된 성공 사례에만 있지 않다. 실제 사용 중 발생한 실패를 수집하고, 원인을 교정해 다시 학습시키는 과정도 중요한 개선 수단이 될 수 있다.
앞으로 Perplexity Computer를 평가할 때는 사용하는 모델의 수뿐 아니라 실패를 얼마나 정확히 감지하고, 복구하며, 반복을 줄이는지 확인할 필요가 있다.
요약: Perplexity Computer의 사후 학습 연구는 실제 사용자 세션의 실패를 학습 자산으로 전환해 도구 호출 안정성을 높인 사례다. AI 에이전트의 실용성은 더 나은 답변뿐 아니라 같은 실패를 반복하지 않는 능력으로도 판단해야 한다.
1Perplexity Trains Its Computer Agent on Real Mistakes With Hint-Guided Self-Distillation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.