AI 생성 이미지
LLM 효율화는 더 이상 모델 압축만의 문제가 아닙니다. 가중치를 몇 비트로 줄였는지도 중요하지만, 그 모델을 어떤 칩에서 학습했고, 어떤 소프트웨어 스택으로 재현할 수 있으며, 실제 배포 환경에서 비용 절감이 가능한지가 함께 중요해졌습니다.
BitCPM-CANN이 흥미로운 이유도 여기에 있습니다. 이 프로젝트는 1.58비트 삼항 LLM을 Huawei Ascend 910B NPU 기반 학습 파이프라인에서 구현하고, 관련 자료를 공개했다는 점에서 저비트 LLM과 하드웨어 소프트웨어 스택을 함께 봐야 한다는 메시지를 줍니다.1
1.58비트 삼항 LLM이 줄이는 것
1.58비트 삼항 모델은 가중치를 -1, 0, 1 세 가지 상태로 표현합니다. 일반적인 BF16 가중치보다 훨씬 적은 비트로 모델을 표현하려는 방식입니다.
BitCPM4-CANN은 0.5B, 1B, 3B, 8B 모델군으로 공개됐고, 1B 이상 모델은 풀프리시전 MiniCPM4 대비 95.7%~97.2% 성능을 유지했다고 보고됐습니다.1 추론 시 메모리 사용량은 약 6배 줄일 수 있다고 설명합니다.1
다만 여기서 중요한 점은 “1.58비트”라는 숫자만 보고 실제 비용 절감을 단정하면 안 된다는 것입니다. 공개된 모델은 바로 쓰기 쉬운 “가짜 양자화” 형식입니다. 가중치 값은 삼항화되어 있지만 저장은 일반 부동소수점 형식이어서, 특수 커널 없이도 실행할 수 있습니다.1
즉 접근성은 높지만, 실제 메모리 이득은 모델 형식뿐 아니라 런타임, 커널, 배포 환경까지 함께 확인해야 합니다.
BitCPM-CANN의 핵심은 CANN과 Ascend 스택
CANN은 Compute Architecture for Neural Networks의 약자입니다. 고수준 AI 학습 프레임워크와 Ascend 칩 사이를 연결하는 소프트웨어로, 개발자가 칩 수준의 복잡성을 직접 다루지 않고 Ascend의 연산 성능을 활용하도록 돕습니다.2
화웨이는 베이징에서 열린 Ascend 컴퓨팅 산업 서밋에서 Ascend 칩 소프트웨어 생태계를 완전 오픈소스로 공개한다고 발표했습니다.2 CANN은 7년간 개발된 소프트웨어 생태계이며, 학습과 배포 전 과정을 지원하는 방향으로 발전해 왔다고 설명됩니다.2
이 맥락에서 BitCPM-CANN은 단순히 “더 작은 비트의 모델”을 공개한 사례가 아닙니다. NVIDIA CUDA 중심의 AI 개발 환경 밖에서도 저비트 LLM 학습 스택을 구축하고 공개할 수 있는지를 보여주는 사례에 가깝습니다.
무엇을 기준으로 평가해야 하나
BitCPM-CANN 같은 저비트 LLM 프로젝트를 볼 때는 세 가지를 확인해야 합니다.
첫째, 성능 손실이 실제 서비스 기준에서 받아들일 만한 수준인지 봐야 합니다. 벤치마크 수치가 높더라도, 내가 쓰려는 태스크에서 품질이 유지되는지는 별도로 검증해야 합니다.
둘째, 메모리 절감이 실제 런타임에서도 실현되는지 확인해야 합니다. 가짜 양자화 형식은 실행 편의성이 높지만, 파일 형식과 실행 커널에 따라 체감 이득이 달라질 수 있습니다.
셋째, 학습과 배포에 필요한 하드웨어·소프트웨어 스택이 팀의 운영 환경과 맞는지 판단해야 합니다. Ascend 기반으로 학습·배포하려면 CANN과 관련 도구를 이해하고 운영할 수 있어야 합니다.
결론: 모델 파일보다 스택을 보라
BitCPM-CANN의 의미는 “1.58비트가 정답”이라는 데 있지 않습니다. 더 중요한 메시지는 LLM 비용 절감이 모델, 양자화 방식, 학습 프레임워크, 칩 소프트웨어가 함께 맞물릴 때 가능하다는 점입니다.
앞으로 저비트 LLM을 평가할 때는 모델 파일 크기만 보지 말아야 합니다. 어떤 하드웨어에서 학습됐는지, 어떤 소프트웨어 계층이 공개됐는지, 실제 배포 이득이 어디에서 발생하는지를 함께 확인해야 합니다. BitCPM-CANN은 그 판단 기준을 보여주는 사례입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.