AI 모델 평가는 더 이상 정해진 시험 문항을 얼마나 잘 푸는지만으로 충분하지 않습니다. 실제 사용자가 던지는 복잡하고 예측하기 어려운 요청 앞에서 모델이 어떻게 행동하는지가 더 중요해졌습니다.
OpenAI의 Deployment Simulation은 이 문제를 다루기 위한 배포 전 평가 방식입니다. 핵심은 간단합니다. 아직 출시하지 않은 후보 모델을 실제 서비스 환경과 비슷한 조건에 놓고, 어떤 응답을 만들지 미리 살펴보는 것입니다.
Deployment Simulation이 하는 일
Deployment Simulation은 과거 대화에서 기존 모델의 답변을 제거한 뒤, 같은 대화 맥락에서 출시 후보 모델이 새 답변을 생성하게 합니다.1 즉, “이 모델을 그때 실제로 배포했다면 어떤 답을 했을까?”를 재현하는 방식입니다.
평가 샘플은 모델 개선에 데이터 사용을 허용한 ChatGPT 트래픽에서 가져옵니다. 이때 계정 관련 식별자와 식별 가능한 정보는 제거됩니다.1 따라서 이 방식은 인위적으로 만든 테스트 세트보다 실제 사용 분포에 더 가까운 신호를 줄 수 있습니다.
이 점이 중요합니다. 모델은 벤치마크에서는 좋아 보여도 실제 대화에서는 다른 방식으로 실패할 수 있습니다. Deployment Simulation은 그 차이를 줄이기 위한 “배포 전 리허설”에 가깝습니다.
가능성보다 발생률을 본다
기존의 레드팀 테스트는 모델이 얼마나 위험한 행동을 할 수 있는지 찾아내는 데 강합니다. 반면 Deployment Simulation은 특정한 원치 않는 행동이 실제 배포 후 얼마나 자주 나타날지를 추정하는 데 초점을 둡니다.
예를 들어 출시 후보 모델이 기존 모델보다 특정 유형의 부적절한 응답을 더 자주 내는지, 또는 반대로 줄였는지를 비교할 수 있습니다. 출시 여부를 판단하는 회의에서 중요한 질문은 “이 문제가 가능한가?”뿐 아니라 “얼마나 자주 일어날 것인가?”이기 때문입니다.
OpenAI 관련 보도에 따르면 GPT-5 계열 Thinking 배포 연구에서 예측값의 중앙값 곱셈 오차는 약 1.5배였습니다.2 완벽한 예측은 아니지만, 배포 전 위험의 방향과 규모를 가늠하는 실용적 신호로는 의미가 있습니다.
이것만으로 충분하지는 않다
Deployment Simulation은 실제 사용자 대화를 기반으로 한다는 점에서 강점이 있지만, 모든 위험을 잡아내는 방식은 아닙니다. 특히 매우 드물지만 영향이 큰 고위험 사건은 이런 샘플링 방식만으로 안정적으로 포착하기 어렵습니다.
따라서 이 방법은 레드팀, 정적 벤치마크, 사후 모니터링을 대체하기보다 보완하는 도구로 이해해야 합니다. 배포 전에는 실제 사용 분포에 가까운 시뮬레이션으로 발생률을 보고, 별도의 테스트로 극단적 실패 가능성을 확인하며, 배포 후에는 실제 로그를 지속적으로 모니터링하는 식의 조합이 필요합니다.
에이전트형 작업에서는 더 중요해진다
Deployment Simulation의 의미는 단순 채팅 모델에만 머물지 않습니다. 도구를 호출하는 에이전트형 모델에서는 평가가 더 복잡해집니다. 코딩 에이전트는 파일을 읽고, 셸을 실행하고, 패치를 적용하는 등 여러 도구를 연속적으로 사용할 수 있습니다.3
이 경우 평가 대상은 “마지막 답변이 안전한가”만이 아닙니다. 어떤 순서로 도구를 호출했는지, 어떤 상태에서 판단했는지, 작업 과정이 의도에 맞게 진행됐는지도 봐야 합니다.
OpenAI는 상태가 있는 도구를 포함한 에이전트 배포에서도 시뮬레이션을 적용할 수 있으며, 충분한 맥락과 기능이 주어지면 현실적인 도구 사용 궤적을 만들 수 있다고 설명했습니다.4 에이전트가 실제 업무를 수행하는 방향으로 발전할수록, 배포 전 리허설의 가치는 더 커집니다.
기업이 가져갈 수 있는 교훈
기업이 배울 점은 명확합니다. 모델을 바꾸기 전에 실제 업무 흐름에 가까운 조건에서 먼저 재실행해 봐야 합니다.
실무적으로는 다음과 같은 원칙을 적용할 수 있습니다.
실제 사용 로그를 비식별화한다.
기존 응답을 제거하고 새 모델이 같은 맥락에서 응답하게 한다.
실패 유형을 정의하고 발생률을 비교한다.
벤치마크 점수뿐 아니라 실제 업무 흐름에서의 실패 빈도를 본다.
특히 고객지원, 금융, 의료, 사내 코딩 에이전트처럼 실수 비용이 큰 영역에서는 이런 배포 전 검증이 중요합니다. 성능이 조금 좋아졌다는 이유만으로 바로 교체하기보다, 실제 사용 상황에서 어떤 실패가 늘고 줄었는지 확인해야 합니다.
Deployment Simulation의 결론은 “위험을 없앴다”가 아닙니다. 더 정확히는 배포 전 판단을 실제 사용 환경에 더 가깝게 만들었다는 데 의미가 있습니다. AI 모델이 제품과 업무에 깊이 들어갈수록, 좋은 평가는 시험 성적보다 실전 리허설에 가까워질 것입니다.
참고
1OpenAI用真实对话"预演"模型上线：安全评测终于更像真实世界，但还不是预言机 - ic.work
2OpenAI details method for predicting model misbehaviour before launch
4OpenAI's Micah Carroll and Marcus J. W. introduce Deployment Simulation ... - Digg
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.