Kog이 보여준 실시간 LLM 추론의 핵심
AI 에이전트는 계획, 실행, 검증을 순차적으로 반복하므로 개별 요청의 응답 속도가 중요하다. 프랑스 스타트업 Kog는 기존 데이터센터 GPU에서 이러한 지연을 줄이기 위해 Kog Inference Engine(KIE)을 개발하고 있다.
KIE 기술 프리뷰는 오픈소스 모델 Laneformer 2B를 사용해 8× AMD MI300X에서 요청당 초당 3,000토큰(TPS), 8× H200에서 2,100토큰을 기록했다. 측정 조건은 배치 크기 1과 FP16 정밀도였으며, 추측 디코딩은 사용하지 않았다.1
집계 처리량보다 요청별 속도를 봐야 한다
집계 처리량은 서버가 전체 사용자에게 초당 생성한 토큰 수다. 이 수치가 높아도 개별 사용자의 응답이 반드시 빠른 것은 아니다. 요청별 디코딩 속도는 한 사용자가 전체 응답을 받는 데 걸리는 시간을 좌우하므로, 여러 작업을 순서대로 수행하는 에이전트 서비스에 더 직접적인 지표다.
첫 토큰 생성 시간도 별도로 봐야 한다. 이 지표는 입력을 처리하는 프리필 단계의 지연시간을 나타낸다. 사용자가 답변을 받기 시작하는 시점은 설명하지만, 긴 응답이 완성되는 데 걸리는 전체 시간과는 구분된다.1
따라서 추론 엔진을 평가할 때는 다음 지표를 나눠 확인해야 한다.
첫 토큰 생성 시간: 응답이 시작되기까지의 지연
요청별 디코딩 속도: 개별 응답이 생성되는 속도
집계 처리량: 전체 사용자를 합산한 처리 성능
저배치 디코딩은 메모리 대역폭에 먼저 막힌다
배치 크기 1의 자기회귀 디코딩에서는 토큰을 생성할 때마다 활성 모델 가중치를 HBM에서 연산 장치로 전송해야 한다. 이 때문에 저배치 추론은 연산량보다 메모리 대역폭의 제약을 먼저 받는다.
FP16 가중치는 매개변수당 2바이트를 사용하며 산술 집약도는 약 1 FLOP/바이트다. FP8과 FP4의 산술 집약도는 각각 약 2 FLOP/바이트와 4 FLOP/바이트다. Kog가 GPU 연산 활용률인 MFU보다 메모리 대역폭 활용률인 MBU를 핵심 지표로 보는 이유다.1
Kog의 계산에 따르면 8개 GPU로 구성된 노드의 실효 합산 메모리 대역폭은 H200이 약 30.7TB/s, AMD MI300X가 약 33.6TB/s다. KIE의 접근은 이 대역폭을 실제 생성 속도로 전환할 수 있도록 커널 실행과 동기화, GPU 간 통신에서 발생하는 지연을 줄이는 데 초점을 맞춘다.1
3,000 TPS는 측정 조건과 함께 해석해야 한다
Kog의 기술 프리뷰는 새로운 가속기를 도입하지 않더라도 모델 구조와 런타임, 저수준 GPU 코드를 함께 최적화해 개별 요청의 추론 속도를 높일 수 있음을 보여준다. 데모에 사용된 Laneformer 2B는 약 20억 개의 매개변수를 가진 오픈소스 모델이다.2
다만 3,000 TPS라는 결과를 다른 모델이나 서비스에 그대로 적용해서는 안 된다. 벤치마크를 비교할 때는 최소한 다음 조건을 함께 확인해야 한다.
모델의 크기와 품질
배치 크기
수치 정밀도
추측 디코딩 사용 여부
집계 처리량인지 요청별 속도인지
첫 토큰 생성 시간과 전체 응답 시간
요약: Kog가 보여준 핵심은 저배치 LLM 추론에서 GPU의 최고 연산 성능보다 메모리 이동과 소프트웨어 지연이 더 중요한 병목이 될 수 있다는 점이다. 특히 에이전트 서비스를 평가할 때는 집계 처리량만 보지 말고, 첫 토큰 생성 시간과 요청별 디코딩 속도를 분리해 확인해야 한다.
참고
1Real-time LLM Inference on Standard Datacenter GPUs (3,000 tokens/s per request)
2Kog Laneformer 2B: The Latency-First Model Behind Kog Inference Engine
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.