로컬 AI에서 가장 먼저 부딪히는 벽은 모델의 지능보다 메모리입니다. 27B급 모델은 충분히 강력한 선택지지만, 16비트 정밀도에서는 약 54GB가 필요합니다. 일반적인 4비트 빌드도 약 18GB로 설명됩니다.1 휴대폰은 물론이고, 많은 노트북에서도 부담스러운 크기입니다.
Bonsai 27B가 눈에 띄는 이유는 여기에 있습니다. PrismML은 27B급 모델을 휴대폰에서 실행하는 것을 목표로 Bonsai 27B를 발표했습니다.1 핵심은 더 작은 모델을 새로 만든 것이 아니라, 기존 27B급 모델의 구조를 유지하면서 가중치 표현을 극단적으로 줄였다는 점입니다.
Bonsai 27B는 무엇인가
Bonsai 27B는 PrismML이 공개한 Qwen3.6-27B의 저비트 표현입니다. 아키텍처는 Qwen3.6-27B와 동일합니다.2 즉, 모델의 기본 구조를 바꾸기보다, 같은 27B급 모델을 훨씬 적은 메모리로 다룰 수 있도록 만든 버전으로 이해하는 편이 정확합니다.
Apache 2.0 라이선스로 제공되는 변형은 두 가지입니다.
Ternary Bonsai 27B: 가중치를
{-1, 0, +1}로 표현합니다. 유효 비트폭은 가중치당 1.71비트이며, 모델 크기는 약 5.9GB로 제시됐습니다.11-bit Bonsai 27B: 가중치를
{-1, +1}이진 값으로 표현하고 FP16 그룹 단위 스케일링을 사용합니다. 유효 비트폭은 가중치당 1.125비트이며, 모델 크기는 약 3.9GB입니다.1
숫자만 놓고 보면 차이는 분명합니다. 16비트 27B 모델이 약 54GB, 일반적인 4비트 빌드가 약 18GB인 상황에서, Bonsai 27B는 27B급 모델을 몇 GB 단위로 낮추는 접근입니다.1
핵심은 “얼마나 줄였나”보다 “어디까지 줄였나”
저비트 모델을 볼 때는 평균 비트 수만 확인해서는 부족합니다. 일부 가중치만 낮은 비트로 만들고, 임베딩이나 출력 헤드 같은 주요 경로를 고정밀도로 남기면 실제 메모리 절감 효과는 제한될 수 있습니다.
PrismML은 Bonsai 27B의 저비트 표현이 임베딩, 어텐션, MLP, LM 헤드까지 언어 네트워크 전반에 적용된다고 설명합니다.1 또한 고정밀도로 우회하는 별도 경로 없이 저비트 표현을 끝단까지 적용한다고 밝힙니다.1
이 점이 Bonsai 27B를 볼 때 가장 중요한 판단 기준입니다. 단순히 “1-bit” 또는 “ternary”라는 라벨이 중요한 것이 아니라, 모델의 주요 구성 요소 전체에서 저비트 표현을 유지한다는 점이 메모리 절감의 근거입니다.
1-bit와 ternary를 어떻게 이해할까
두 변형은 같은 목표를 공유하지만, 우선순위가 다릅니다.
1-bit Bonsai 27B는 휴대성을 극단적으로 밀어붙인 선택지입니다. 약 3.9GB라는 크기는 휴대폰 실행을 목표로 한 발표의 핵심과 맞닿아 있습니다.1 로컬 에이전트, 개인 문서 처리, 기기 내 보조 기능처럼 클라우드 호출을 줄이고 싶은 상황에서 의미가 큽니다.
Ternary Bonsai 27B는 상대적으로 더 많은 표현력을 남기는 방향입니다. 크기는 약 5.9GB로 1-bit보다 크지만, 여전히 일반적인 4비트 27B 빌드보다 훨씬 작게 제시됩니다.1 휴대폰보다 노트북이나 로컬 워크스테이션에서 품질과 메모리 절감을 함께 고려할 때 먼저 검토할 만한 선택지입니다.
따라서 실무적으로는 이렇게 나눠볼 수 있습니다.
최우선 기준이 휴대폰 실행과 최소 메모리라면 1-bit
조금 더 큰 파일 크기를 감수하고 품질 여지를 보고 싶다면 ternary
그래도 “모델 파일 크기”만 보면 안 된다
Bonsai 27B의 수치는 인상적이지만, 실제 실행 가능성을 판단할 때는 모델 파일 크기만으로 결론을 내리면 안 됩니다. 앱에서 LLM을 돌릴 때는 모델 가중치 외에도 KV 캐시, 활성값, 런타임 버퍼가 메모리를 사용합니다.
특히 긴 컨텍스트를 다루거나, 여러 차례 도구를 호출하는 에이전트 형태로 사용할 경우 추가 메모리와 지연이 커질 수 있습니다. 따라서 “3.9GB 모델” 또는 “5.9GB 모델”이라는 숫자는 출발점일 뿐입니다. 실제로는 내 기기에서 원하는 컨텍스트 길이와 사용 패턴을 감당할 수 있는지 확인해야 합니다.
Bonsai 27B가 보여주는 방향
Bonsai 27B의 의미는 단순히 “27B 모델이 작아졌다”에 그치지 않습니다. 더 큰 메시지는 로컬 AI의 경쟁축이 바뀌고 있다는 점입니다. 앞으로는 모델 파라미터 수만큼이나, 같은 급의 모델을 얼마나 작은 메모리와 전력 안에 넣을 수 있는지가 중요해집니다.
개발자 입장에서는 Bonsai 27B를 다음 기준으로 보면 됩니다.
로컬 실행 가능성을 보려면 모델 크기뿐 아니라 전체 메모리 사용량을 확인한다.
저비트 모델을 비교할 때는 어떤 구성 요소까지 저비트가 적용되는지 확인한다.
휴대성이 최우선이면 1-bit, 품질 여지를 더 보고 싶으면 ternary부터 검토한다.
결론적으로 Bonsai 27B는 27B급 모델을 기기 안으로 가져오기 위한 실험적이면서도 실용적인 이정표입니다. 로컬 AI를 검토하는 팀이라면, “얼마나 큰 모델인가”보다 “내 기기에서 끝까지 실행 가능한가”를 중심으로 평가해야 합니다.
1Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.