인셉션 Mercury 2 공개: 확산 기반 '추론 LLM'이 바꾸는 속도 전쟁

"추론 모델은 똑똑한데 왜 이렇게 느릴까?"라는 불만에 답하듯, Inception이 Mercury 2를 공개했습니다. 핵심은 단순한 신모델 출시가 아니라, 텍스트 생성 방식을 확산(diffusion)으로 바꿔 '추론+실시간'의 벽을 낮추려는 시도라는 점입니다.¹

Mercury 2는 기존처럼 한 글자씩 찍어내는 모델이 아니라, 초안을 한 번에 만들고 여러 토큰을 동시에 다듬어 완성하는 방식으로 속도·비용을 끌어내렸다고 합니다. 이 글에서는 "그래서 뭐가 달라지는데?"를 제품 관점에서 쉽게 풀어볼게요.

확산 기반 언어 모델(dLLM)이 뭐길래 난리일까

지금 대다수 LLM은 자동회귀(autoregressive) 방식입니다. 한 토큰을 만들고, 그 토큰을 바탕으로 다음 토큰을 만들고... 이 흐름 자체가 직렬이라, 추론이 길어질수록 응답이 늘어지는 구조적 한계가 있습니다.

Mercury 2가 내세우는 확산 기반 언어 모델(dLLM)은 접근이 다릅니다. 처음엔 다소 '지저분한 초안'을 만들고, 여러 번의 정제(denoising)를 거치며 문장 전체를 동시에 고치는 느낌입니다. 편집자가 원고를 통째로 훑으며 고치는 장면을 떠올리면 이해가 빠릅니다.²

이 방식의 매력은 속도만이 아닙니다. 토큰을 "이미 찍어버린 과거"로 고정하지 않고 중간에 다시 손볼 수 있어, 생성 도중 오류를 줄이거나 형식을 맞추는 데 유리하다는 주장도 함께 따라옵니다.²

Mercury 2 성능 요약: '토큰/초'가 제품이 되는 순간

Mercury 2의 가장 강력한 메시지는 숫자입니다. 벤치마크 방법론을 따랐다는 비교에서 출력 처리량이 약 1,000 tokens/s 수준으로 제시됐고, 비교 대상으로 언급된 Claude 4.5 Haiku(약 89 tokens/s), GPT-5 Mini(약 71 tokens/s) 대비 월등히 빠르다고 합니다.²

체감은 "긴 답을 기다리는 시간"에서 크게 갈립니다. The Decoder 보도에 따르면 end-to-end 지연이 1.7초로 소개되며, 다른 추론 옵션 대비 대기 시간이 길게는 자릿수 초까지 벌어진다고 비교합니다.¹

비용도 공격적입니다. The Decoder 기준 가격은 입력 100만 토큰당 $0.25, 출력 100만 토큰당 $0.75로 제시됐고, 유사 '스피드 지향' 모델 대비 저렴하다고 합니다.¹ 즉, "빠른데 비싸다"가 아니라 "빠르고 싸게"를 동시에 노리는 포지션이죠.

또한 128K 컨텍스트, 툴 사용, JSON 출력을 지원하고, OpenAI 호환 API로 제공돼 교체 비용을 낮췄다는 점도 실무자에게는 큽니다.¹

어디에 쓰면 '진짜 이득'일까: 에이전트·보이스·코딩 루프

속도는 데모에선 감탄 포인트지만, 프로덕션에선 생존 조건이 됩니다. 특히 요즘 AI는 "한 번 물어보고 한 번 답하는" 형태가 아니라, 여러 호출이 이어지는 에이전트 루프가 많습니다. 이때 지연은 단계마다 누적돼, 결국 제품이 답답해집니다.

Mercury 2가 겨냥하는 대표 시나리오는 크게 세 가지로 읽힙니다. 첫째, 여러 번 계획·실행·검증을 반복하는 에이전트 워크플로우입니다. 둘째, p95/p99 지연이 사용자 경험을 좌우하는 실시간 보이스/서치입니다. 셋째, "프롬프트→수정→재실행"이 빠르게 돌아야 생산성이 오르는 코딩·편집 루프입니다.²

여기서 중요한 포인트는 "최강 성능 1등 모델"이 아니라 "충분히 똑똑한데 엄청 빨라서 전체 작업량이 줄어드는 모델"이 새로운 선택지가 된다는 점입니다. Hacker News에서도 비슷한 맥락으로 '속도 자체가 품질'이라는 반응이 나오는데, 빠를수록 반복 실험이 쉬워져 결과적으로 더 나은 산출물에 도달한다는 관찰이 흥미롭습니다.³

시사점: '추론의 대중화'는 속도에서 시작된다

Mercury 2가 던진 질문은 단순합니다. "우리는 왜 아직도 토큰을 한 줄로 세워서 생성하고 있지?" 확산 기반 접근이 장기적으로 표준이 될지는 더 지켜봐야 하지만, 최소한 실시간 추론과 대규모 호출이 필요한 제품에서는 강력한 대안 카드가 생겼습니다.

실무 팁으로 마무리하자면, Mercury 2 같은 고속 추론 모델은 다음 팀에 특히 잘 맞습니다. 콜센터·세일즈처럼 대화 지연이 치명적인 팀, IDE/에디터처럼 '기다림'이 흐름을 끊는 팀, 그리고 에이전트 단계를 많이 밟는 자동화 팀입니다. 반대로 "한 번에 정답급 고난도 추론"이 최우선이라면, 속도 모델을 메인으로 두기보다 서브 에이전트(요약/정리/형식화/반복 실행)에 먼저 붙이는 전략이 안전합니다.

요약하면, Mercury 2는 "모델이 더 똑똑해졌다"보다 "똑똑함을 실시간으로 쓸 수 있게 하려는 구조 변경"에 가깝습니다. 그리고 그 변화는, 의외로 제품의 '체감 품질'을 가장 먼저 바꿉니다.¹

참고

¹Inception launches Mercury 2, the first diffusion-based language reasoning model

²Inception Launches Mercury 2, the Fastest Reasoning LLM -- 5x Faster Than Leading Speed-Optimized LLMs, with Dramatically Lower Inference Cost

³Mercury 2: Fast reasoning LLM powered by diffusion | Hacker News