초경량 27B 로컬 AI의 탄생, Bonsai 2 27B가 제시하는 거의 손실 없는 압축 기술의 실체

거대 언어 모델(LLM)을 개인용 기기나 온프레미스 인프라에서 로컬로 구동하려 할 때, 가장 큰 장애물은 가중치 정밀도 축소에 따른 인지 능력의 붕괴였습니다. 일반적으로 4비트 미만으로 양자화하면 수학, 복잡한 코딩, 에이전트 도구 호출처럼 작은 오차가 누적되는 작업에서 성능 저하가 극심해집니다. 2026년 9월, 인공지능 압축 기술을 연구하는 Prism은 이러한 한계를 극복한 오픈 가중치 모델 Bonsai 2 27B를 공개했습니다¹. Qwen3.8 27B 모델을 기반으로 한 이 모델은 전체 가중치를 3진(ternary) 단위로 압축하여 파일 크기를 약 5.9GB 수준으로 축소하면서도 원본 FP16 기준 성능의 98.2%를 유지하도록 설계되었습니다¹³.

이 모델이 엔지니어와 연구자들에게 실질적인 주목을 받는 이유는 배포 요구 사양을 대폭 낮췄기 때문입니다. 수십 기가바이트의 VRAM이 필요했던 270억 매개변수급 모델을 단일 일반 소비자용 GPU나 개인용 랩톱 메모리에 상주시킬 수 있게 되었습니다¹². 아울러 262K 토큰에 이르는 대형 문맥 창과 텍스트 및 이미지 입력이 가능한 멀티모달 환경을 아파치 2.0 라이선스로 제공하므로, 클라우드 종속 없이 민감한 데이터를 처리해야 하는 온디바이스 에이전트 구현의 새로운 선택지를 제공합니다¹³.

3진 가중치 매핑과 Hadamard 회전이 결합된 압축 원리

Bonsai 2 27B가 9배 이상의 크기 축소를 이루면서 높은 성능 유지율을 보인 핵심 배경은 3진 가중치와 FP16 그룹 단위 스케일링, 그리고 수학적 회전 변환 커널에 있습니다¹. 기존 FP16 포맷은 파라미터당 16비트를 소비하지만, Ternary-Bonsai-2-27B-gguf 계열 모델은 언어 모델 전반의 가중치 행렬을 {-1, 0, +1}의 3가지 상태로 표현합니다¹². 3진값 하나가 담는 이론적 정보량은 약 1.585비트(log₂3)이며, 128개 가중치 그룹마다 16비트 스케일 팩터를 하나씩 할당하여 최종적으로 유효 가중치당 1.72~1.76비트 수준을 구현합니다¹².

극단적인 저비트 변환 시 불가피하게 발생하는 표현력 손실은 오프라인 '블록 단위 Walsh-Hadamard 회전'을 통해 완화했습니다²³. 가중치를 3진값으로 매핑하기 전 오프라인에서 매트릭스를 직교 회전시켜 특정 가중치에 몰린 이상치(outlier)의 영향을 전체 행렬로 분산시켰습니다². 그리고 런타임 추론 시 활성화 값(activation)에 매칭되는 변환을 적용하여 인지적 밀도를 회복하는 구조를 택했습니다²³. 이 방식 덕분에 선형 어텐션 약 75%와 완전 어텐션 약 25%로 구성된 하이브리드 아키텍처 상에서도 장기적 추론 안정성을 유지하도록 지원합니다³.

배포 목적에 맞춘 GGUF 패킹 규격: PTQ1_0과 PQ2_0 비교

Bonsai 2 27B의 공식 GGUF 배포본은 연산 병목 지점과 가용 메모리에 대응할 수 있도록 두 가지 패킹 형식으로 분리되어 제공됩니다²³.

Ternary-Bonsai-2-27B-PTQ1_0.gguf 파일은 3진 단위를 최대한 빽빽하게 묶는 밀집 저장(dense trits) 방식을 적용합니다². 언어 모델 단일 파일 용량이 약 5.95 GB 수준으로 억제되어 물리적 메모리 제한이 가장 타이트한 시스템에서 유리하며, Ada 세대 카드나 L4 가속기에서 디코딩 속도가 비교적 빠르게 동작합니다²³⁴.

반면 PQ2_0 규격은 3진값 하나를 2비트 크기의 고정 슬롯에 정렬해 저장합니다². 파일 크기는 약 7.21~7.25 GB로 증가하지만 비트 압축을 해제하는 과정에서 발생하는 연산 오버헤드를 줄일 수 있습니다²³. 그 결과 전체 프롬프트 처리 속도가 균일하게 향상되며, 대규모 병렬 디코딩 능력을 갖춘 최신 데이터센터용 GPU 및 Apple Silicon 기기에서 권장 규격으로 안내됩니다²³.

로컬 실행 요건과 M5 Pro 환경 실측 검증

Bonsai 2 27B 모델을 실무 환경에 구축할 때 반드시 확인해야 할 소프트웨어 종속성과 런타임 제약 사항이 존재합니다.

가장 중요한 기술적 조건은 런타임 엔진의 호환성입니다. 활성화 값에 적용되어야 하는 Walsh-Hadamard 회전 변환 커널이 표준 리포지토리에 머지되지 않았기 때문에, 순정 llama.cpp 빌드로는 이 모델을 정상적으로 구동할 수 없습니다²³. 순정 빌드를 사용할 경우 PQ2_0이나 PTQ1_0은 알 수 없는 포맷으로 인식되어 실행이 거부되거나, 강제 실행 시 무의미한 텍스트만 출력하게 됩니다²³. 따라서 전용 커널이 통합된 PrismML-Eng의 공식 llama.cpp 포크 버전 바이너리를 사용해야 합니다²³⁴.

# macOS 환경 전용 바이너리 다운로드 및 압축 해제 예시
curl -fL https://github.com/PrismML-Eng/llama.cpp/releases/download/prism-b10685-7dffb15/llama-prism-b10685-7dffb15-bin-macos-arm64.tar.gz -o bonsai-runtime.tar.gz
tar -xzf bonsai-runtime.tar.gz

# GGUF 가중치 수신 및 서버 실행
curl -fL https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/resolve/main/Ternary-Bonsai-2-27B-PTQ1_0.gguf -o Ternary-Bonsai-2-27B-PTQ1_0.gguf
./llama-prism-b10685-7dffb15/llama-server -m Ternary-Bonsai-2-27B-PTQ1_0.gguf --port 8331 -ngl 99 -fa on -c 32768

실제 배포 사례로 Simon Willison이 2026년 9월 17일 기록한 M5 Pro 칩셋 테스트에 따르면, macOS 전용 바이너리(llama-prism-b10685-7dffb15-bin-macos-arm64.tar.gz)를 기반으로 서버를 구동했을 때 구동 조건에 따라 출력 처리량에 큰 편차가 나타났습니다⁴. 최초 구동 시에는 초당 약 20토큰 수준이었으나, 서버를 재시작한 이후에는 초당 44토큰까지 처리량이 증가했습니다⁴. 동시에 서버 초기화 로그에서 ggml_metal_device_init: - the tensor API is not supported in this environment - disabling이라는 경고가 출력되어 특정 Metal 하드웨어 가속 API가 제한되었음이 확인되었습니다⁴. 이는 로컬 기기 아키텍처나 드라이버 버전에 따라 커널 최적화 상태가 달라질 수 있음을 나타냅니다⁴.

벤치마크 지표 분석과 엔지니어링 도입 판단 기준

제조사인 Prism이 공개한 벤치마크 결과에 따르면, Bonsai 2 27B는 20개 평가로 구성된 사고(Thinking) 모드 종합 테스트에서 평균 83.9점을 기록하여 베이스 모델인 Qwen3.8 27B의 FP16 점수(85.4점) 대비 98.2%의 성능 유지율을 달성했습니다¹³.

주목할 점은 극단적인 양자화 환경에서도 오차 누적이 발생하기 쉬운 복합 추론 태스크의 보존율입니다. 수학 평가에서는 96.57점으로 원본(97.06점)과 대등한 정확도를 유지했으며, 코딩 영역에서도 81.58점으로 점수 차이를 0.6점 이내로 방어했습니다¹. 다만 외부 독립 검증 지표인 BenchLM 리더보드 기준으로 본 모델은 194개 모델 중 67위(종합 52.04점)를 기록하고 있어, 평가 체계나 벤치마크 세트의 구성에 따라 체감 성능에는 편차가 존재할 수 있음을 감안해야 합니다⁵.

도입을 검토하는 팀은 다음 기준을 바탕으로 적용 타당성을 검토해야 합니다.

1. 사설 환경 구축 필요성: 민감한 코드베이스 분석, 사내 문서 질의응답, 로컬 도구 호출 루프(예: Cline 연계)를 외부 API 비용 및 데이터 유출 우려 없이 단일 워크스테이션에서 처리해야 하는 개발 환경에 적합합니다¹.

2. 소프트웨어 스택 유지보수 비용: 표준 llama.cpp 리포지토리가 아닌 PrismML-Eng의 포크 버전을 내부 CI/CD 및 배포 파이프라인에 지속적으로 동기화할 수 있는지 점검해야 합니다²³. 커널 미지원 런타임에서는 파일이 거부되거나 비정상 출력이 발생합니다².

3. 샘플링 파라미터 분기 관리: 모델은 사고 모드(Thinking Mode)와 일반 지시 모드(Instruct Mode)에서 요구하는 설정값이 다릅니다³. 추론 모드에서는 temperature=1.0, min_p=0.05가 권장되는 반면 일반 지시 모드에서는 temperature=0.7, presence_penalty=1.5 등을 명시해야 안정적인 출력이 보장됩니다³. 또한 low 추론 강도(reasoning effort)는 공식적으로 지원되지 않으므로 토큰 예산(token budget)으로 응답 길이를 제어해야 합니다³.

4. 멀티모달 배포 리소스 분리: 비전 입력을 처리하려면 텍스트 모델 외에 약 0.63 GB의 mmproj (Q8_0) 투영 가중치를 추가로 메모리에 로드해야 합니다²³. 순수 텍스트 작업 위주라면 해당 가중치를 상주시킬 필요가 없으므로 시스템 구성 시 서비스 분기를 명확히 설계해야 합니다².

참고

¹Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

³Ternary Bonsai 2 27B

⁴Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

⁵Ternary Bonsai 2 27B Benchmarks & Context (September 2026)