LLM 성능표를 볼 때 우리는 보통 모델 이름, 파라미터 수, 학습 데이터, 프롬프트, 디코딩 설정을 확인한다. 하지만 실제 점수에는 또 하나의 변수가 있다. 바로 추론 백엔드다.
최근 연구는 모델 가중치, 디코딩 설정, 하드웨어를 고정해도 추론 백엔드 선택만으로 벤치마크 점수가 최대 16.6%포인트 달라질 수 있다고 보고했다.1 즉 같은 모델이라도 어떤 실행 엔진 위에서 돌렸는지에 따라 평가 결과가 달라질 수 있다.
추론 백엔드는 단순한 실행 도구가 아니다
추론 백엔드는 학습된 LLM을 실제 추론 시점에 실행해 답을 생성하는 소프트웨어 시스템이다.1 vLLM, SGLang, llama.cpp 같은 엔진이 여기에 속한다.
LLM 추론은 자원 집약적인 작업이다. 긴 컨텍스트를 처리하려면 메모리를 효율적으로 관리해야 하고, 병렬성을 활용해야 하며, GPU 같은 하드웨어 활용률도 높여야 한다.1 그래서 전문화된 추론 엔진은 지연시간을 줄이고 처리량을 높이기 위해 paged attention, 커스텀 CUDA 커널, 최적화된 메모리 관리 같은 기법을 사용한다.1
여기까지 보면 백엔드는 성능 최적화 도구처럼 보인다. 하지만 중요한 점은, 이런 최적화가 속도와 비용만 바꾸는 것이 아니라 출력 자체에도 영향을 줄 수 있다는 것이다.
작은 수치 차이가 다른 답변으로 이어진다
LLM은 다음 토큰의 확률을 계산하고, 선택된 토큰을 이어 붙이며 문장을 생성한다. 이 과정에서 커스텀 CUDA 커널의 비결정적 동작은 토큰 로그확률에 미세한 수치 차이를 만들 수 있다.1 부동소수점 누산 방식의 차이도 토큰 확률을 바꿀 수 있다.1
문제는 자가회귀 생성의 특성이다. 초반 토큰 하나가 달라지면 이후 문맥이 바뀌고, 그 뒤의 출력 전체가 다른 방향으로 전개될 수 있다.1 처음에는 아주 작은 계산 차이였더라도, 최종 답변에서는 의미 있는 출력 불일치로 나타날 수 있다.
이 때문에 추론 백엔드는 단순한 인프라 구성 요소가 아니다. 모델의 평가 결과와 재현성에 영향을 주는, 일종의 숨은 변수다. 연구가 이를 “silent hyperparameter”라고 부르는 이유도 여기에 있다.1
벤치마크 점수는 실행 스택까지 함께 봐야 한다
이 연구는 200개의 서로 다른 추론 엔진을 식별했고, 상위 머신러닝 학회 논문 3만 5천 편 이상을 분석했다.1 그러나 대규모 논문 조사에서 구체적인 추론 스택은 드물게 보고되는 항목으로 나타났다.1
이는 벤치마크를 읽는 방식에 직접적인 영향을 준다. 많은 리더보드는 소수점 단위의 점수 차이로 모델의 우열을 가른다. 그런데 백엔드 선택만으로 점수가 크게 흔들릴 수 있다면, 작은 점수 차이를 곧바로 모델 능력의 차이로 해석하기 어렵다.
실무에서도 같은 문제가 생긴다. 연구 단계에서는 한 백엔드로 검증하고, 운영 단계에서는 지연시간이나 처리량을 이유로 다른 고성능 백엔드로 바꾸는 경우가 많다. 이때 “같은 모델”이라는 이유만으로 같은 출력 품질과 안전성을 기대해서는 안 된다. 백엔드를 바꿨다면 평가도 다시 확인해야 한다.
실무적으로 무엇을 기록해야 하나
LLM 평가와 배포에서 모델명만 남기는 것은 부족하다. 최소한 다음 정보는 함께 기록해야 한다.
추론 백엔드 이름과 버전
하드웨어 구성
정밀도 설정
캐싱 관련 설정
디코딩 설정
벤치마크 실행 환경
핵심은 간단하다. LLM 벤치마크 점수는 “어떤 모델인가”만의 결과가 아니라, “어떤 추론 스택에서 실행했는가”까지 포함한 결과다.
따라서 앞으로 LLM을 비교하거나 운영 환경에 배포할 때 추론 백엔드는 부가 정보가 아니라 필수 조건으로 다뤄야 한다. 모델 선택만큼이나 백엔드 선택도 평가 재현성과 실제 품질을 좌우할 수 있다.
1The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.