지금까지 27B급 언어 모델을 일반 노트북이나 개인 GPU에서 실행하는 것은 사실상 불가능했다. 파라미터를 FP16으로 저장하면 약 54GB가 필요하고1, 기존 2비트 양자화로 줄여도 9GB를 넘기 때문이다. PrismML llama.cpp 포크와 Bonsai-27B는 바로 이 전제를 바꾼다.
1비트 양자화가 만드는 간극
Bonsai-27B의 Q1_0_g128 형식에서 각 가중치는 단일 부호 비트(+1 또는 -1)만 갖는다. 128개 가중치가 하나의 FP16 스케일 팩터를 공유하기 때문에 실질 비트는 1.125비트에 불과하다1. 그 결과 FP16 기준 약 54GB인 Qwen3.6-27B 파라미터가 약 3.9GB로 14.2배 축소된다.
주목할 점은 극단적인 압축에서도 사고 벤치마크 평균이 FP16의 89.5%를 유지한다는 사실이다. 일반적인 저비트 양자화는 수학이나 코딩처럼 지속적인 추론이 필요한 영역에서 급격히 무너지지만, Bonsai-27B는 AIME 벤치마크에서 87점을 기록한다1. 이는 기존 2비트 방식의 57.5점과 확연히 대비되는 수치다.
모델 구조도 주목할 만하다. Bonsai-27B는 Qwen3.6-27B 기반으로 전체 어텐션의 약 75%를 선형으로 처리하는 하이브리드 구조를 변경 없이 사용하며, 임베딩과 어텐션 프로젝션, MLP 프로젝션, LM 헤드까지 모든 레이어에 엔드투엔드 이진 가중치를 적용한다. 고정밀 우회 경로는 존재하지 않는다1.
PrismML llama.cpp: 어떤 빌드를 써야 하는가
모델을 실제로 구동하려면 런타임 선택이 중요하다. 결론부터 말하면 1비트 Q1_0 형식은 이미 상위 llama.cpp에 병합되어 있으므로 최신 메인라인 빌드로도 동작한다2. Metal, CUDA, Vulkan 등 주요 백엔드를 모두 지원한다.
반면 삼진 Q2_0 형식은 상황이 다르다. PrismML llama.cpp 포크가 제공하는 Q2_0.gguf(그룹 크기 128) 파일은 ABI 및 형식 불일치로 인해 메인라인 llama.cpp에서 로드되지 않으며, 반드시 PrismML 포크 빌드와 함께 사용해야 한다3. 다만 Q2_0_g64(그룹 크기 64) 형식은 현재 메인라인에서 CPU와 Metal을 지원하므로, 새로 배포되는 파일 중에서는 이쪽을 선택할 여지가 있다.
소스에서 직접 빌드할 때는 삼진 Q2_0을 활성화하기 위해 반드시 prism 브랜치를 클론해야 한다2. 1비트 전용이라면 업스트림을 그대로 사용하면 된다. 별도로 빌드 환경을 구성하기 어렵다면 사전 빌드된 바이너리를 활용할 수 있다. macOS(Apple Silicon/Intel), Linux(CPU/CUDA 12.4/CUDA 12.8/Vulkan/ROCm), Windows(CPU/CUDA/Vulkan/HIP), iOS(XCFramework) 등 폭넓은 플랫폼을 지원하므로 대부분의 환경에서 즉시 실행이 가능하다2.
실제 배포에서 챙길 것들
로컬 서버는 llama.cpp의 llama-server로 간단히 띄울 수 있다. OpenAI 호환 엔드포인트를 제공하므로 기존 도구와 자연스럽게 연동된다. Bonsai-27B의 권장 샘플링 값은 temperature 0.7, top-p 0.95, top-k 20이다1.
컨텍스트 윈도는 262K 토큰까지 지원된다. 4비트 KV 캐시 양자화를 활성화하면 100K 컨텍스트에서 피크 메모리가 약 6.8GB까지 내려가므로, 일반 GPU 노트북에서도 장문 처리가 가능하다1.
선택적으로 사용할 수 있는 DSpark 드래프터(drafter)도 제공된다. 추론 품질 손실 없이 H100 기준 약 1.37배의 디코드 속도 향상을 얻을 수 있다. 다만 Apple Silicon에서는 배치-1 검증 비용 문제로 현재 비활성화가 기본값이다1.
27B 모델을 로컬에서 돌리는 경험은 더 이상 특수한 인프라의 전유물이 아니다. PrismML llama.cpp와 Bonsai-27B 조합은 집약된 양자화 기술과 잘 정리된 런타임이 실제로 어떤 변화를 만들어내는지 보여주는 구체적인 사례다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.