AI 생성 이미지
LLM 성능 경쟁은 모델 점수만으로 끝나지 않습니다. 실제 서비스에서는 같은 모델이라도 추론 엔진과 서버 설정에 따라 지연 시간, 처리량, 비용이 크게 달라질 수 있습니다.
Maksym Andriushchenko와 연구진이 공개한 InferenceBench는 바로 이 문제를 겨냥한 벤치마크입니다.1 AI R&D 자동화가 어디까지 왔는지 측정하기 위해, AI가 개방형 추론 최적화 문제를 얼마나 잘 해결하는지 평가합니다. 본문에서 InferenceBench는 PostTrainBench 이후 두 번째 벤치마크로 소개됩니다.
핵심 질문은 단순합니다. AI가 모델을 잘 쓰는 것을 넘어, 모델이 돌아가는 추론 환경까지 개선할 수 있는가?
기존 추론 벤치마크가 보던 것
전통적인 LLM 추론 엔진 평가는 비교적 단순한 구조를 가졌습니다. 입력 토큰 P개를 넣고 출력 토큰 D개를 생성하게 한 뒤, 첫 토큰까지 걸리는 시간(TTFT), 초당 토큰 수, 완료 처리량을 측정합니다.2
워크로드도 보통 세 가지 유형으로 나뉩니다.
디코드 중심: 입력 1,000토큰, 출력 8,000토큰
프리필 중심: 입력 8,000토큰, 출력 1,000토큰
균형형: 입력 1,000토큰, 출력 1,000토큰
이 방식은 단일 요청 중심의 챗봇, 요약 API, 생성형 서비스 성능을 비교하는 데 유용합니다. 하지만 AI 에이전트가 실제로 만드는 사용 패턴을 충분히 반영하기에는 한계가 있습니다.
에이전트형 워크로드는 왜 더 어렵나
에이전트는 한 번 답하고 끝나지 않습니다. 여러 턴에 걸쳐 추론하고, 도구를 호출하고, 그 결과를 다시 문맥에 넣고, 다음 행동을 결정합니다. 즉, 단일 입력과 단일 출력으로 끝나는 요청보다 훨씬 복잡한 실행 흐름을 만듭니다.2
이 차이는 추론 서버에 직접적인 부담으로 이어집니다.
첫째, 긴 실행 추적이 쌓이면서 KV 캐시 관리가 중요해집니다. 어떤 문맥을 유지하고, 언제 버리고, 어떻게 재사용할지가 성능에 영향을 줍니다.
둘째, 짧은 출력 요청이 대량으로 발생하면서 스케줄러 압박이 커집니다. 단순히 긴 답변을 빠르게 생성하는 것과, 많은 짧은 요청을 안정적으로 처리하는 것은 다른 문제입니다.
셋째, 토큰 길이 분포가 평균값만으로 설명하기 어려운 heavy-tailed 형태를 보일 수 있습니다.2 일부 요청이 비정상적으로 길어지면 평균 처리량이 좋아 보여도 실제 사용자는 꼬리 지연을 경험할 수 있습니다.
따라서 에이전트 시대의 추론 최적화는 “초당 토큰이 얼마나 빠른가”만으로 판단하기 어렵습니다. 배치, 동시성, 캐시, 스케줄링, 꼬리 지연까지 함께 봐야 합니다.
InferenceBench가 바꾸는 평가 기준
InferenceBench의 의미는 AI 에이전트 평가 범위를 넓힌다는 데 있습니다. 지금까지 많은 평가는 코드 작성, 문제 풀이, 추론 능력에 집중했습니다. InferenceBench는 한 걸음 더 나아가, AI가 실제 추론 시스템의 성능 병목을 찾고 최적화할 수 있는지를 묻습니다.
이는 AI R&D 자동화 관점에서 중요한 변화입니다. 연구와 개발의 자동화가 진전되려면, AI는 단순히 정답을 생성하는 데 그치지 않고 실험하고, 설정을 조정하고, 성능 변화를 측정하고, 더 나은 구성을 찾아야 합니다.
즉, InferenceBench는 “좋은 답을 내는 AI”가 아니라 AI 인프라를 개선할 수 있는 AI를 평가하려는 시도입니다.
실무자가 확인해야 할 세 가지
InferenceBench 같은 벤치마크를 볼 때는 최종 점수만 보는 것으로는 부족합니다. 실제 서비스에 적용하려면 다음 세 가지를 함께 확인해야 합니다.
처리량 개선이 비용 절감으로 이어지는가
더 많은 요청을 처리하더라도 GPU 사용 비용이나 운영 복잡도가 함께 커진다면 실질적인 이득은 제한적일 수 있습니다.평균 지연이 아니라 꼬리 지연도 안정적인가
에이전트형 서비스에서는 p90, p99 같은 꼬리 지연이 사용자 경험을 좌우할 수 있습니다. 평균값이 좋아도 일부 요청이 크게 느리면 운영 품질은 떨어집니다.벤치마크 워크로드가 내 서비스와 닮았는가
도구 호출이 많은지, 짧은 요청이 많은지, 긴 문맥을 자주 유지하는지에 따라 최적화의 우선순위는 달라집니다.
결론: 다음 병목은 운영 성능이다
InferenceBench는 AI 성능 경쟁의 초점을 한 단계 이동시킵니다. 모델이 얼마나 똑똑한가를 넘어, 그 모델을 실제로 운영하는 추론 시스템을 AI가 얼마나 잘 최적화할 수 있는지를 묻습니다.
이는 실무적으로도 중요한 질문입니다. LLM 서비스의 비용과 품질은 모델 자체뿐 아니라 추론 인프라에서 결정됩니다. InferenceBench는 이 병목을 측정 가능한 문제로 끌어냈다는 점에서 의미가 있습니다.
결국 핵심은 이것입니다. AI가 AI 인프라를 얼마나 잘 고칠 수 있는가. InferenceBench는 그 질문을 본격적으로 평가하기 위한 벤치마크입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.