Needle 2: 14MB 온디바이스 모델이 바꾸는 기기 제어 방식

한줄 요약: Needle 2는 범용 챗봇이 아니라, 제한된 기기에서 자연어 요청을 구조화된 함수 호출로 변환하는 초소형 실행 모델이다.

온디바이스 AI에서는 모델의 범용 지능보다 제한된 메모리와 전력 안에서 필요한 동작을 안정적으로 수행하는지가 중요하다. Cactus Compute가 2026년 8월 10일 공개한 Needle 2는 이러한 목적에 맞춰 설계됐다.¹

14MB에 무엇이 들어 있나

Needle 2는 4,500만 개의 매개변수로 도구 호출, 기기 사용, 구조화된 정보 추출을 지원하며 Apache 2.0 라이선스로 배포된다.²

여기서 14MB는 가중치만의 크기가 아니다. 단일 바이너리에 추론 엔진, 가중치, 토크나이저, 문법 컴파일러가 함께 들어 있다. 가중치 아카이브 needle2.cact의 실측 크기는 13,737,807바이트이며, 비양자화 학습 체크포인트는 90,426,504바이트다.¹

이러한 크기는 학습을 마친 뒤 모델을 압축해서만 얻은 결과가 아니다. Needle 2는 사전학습 단계부터 CQ2 방식의 2비트 양자화를 적용했으며, 압축된 가중치를 추론 중 RAM에서 완전히 풀지 않는다.²³ 즉, 저장 공간뿐 아니라 실행 시 메모리 사용까지 함께 줄이는 구조다.

약 28MB RAM을 유지하는 방법

Needle 2는 세션 실행에 약 28MB의 RAM을 사용한다. 256토큰 슬라이딩 KV 윈도우가 오래된 내용을 밀어내기 때문에 대화가 길어져도 KV 캐시가 계속 증가하지 않는다.²

다만 오래된 정보가 제거될 때 도구 정의까지 사라지면 함수 호출의 일관성이 무너질 수 있다. 이를 방지하기 위해 도구 선언은 KV 싱크로 고정돼 슬라이딩 윈도우에서 제거되지 않는다.¹

출력 형식도 모델의 생성 능력에만 의존하지 않는다. 선언된 JSON 스키마를 바이트 단위 디코딩 문법으로 컴파일해, 스키마에 맞지 않는 호출이 생성되지 않도록 제약한다.² 이는 형식 오류를 줄이는 데 유용하지만, 올바른 JSON이 곧 올바른 행동을 의미하지는 않는다. 실제 도입 시에는 함수 선택, 인자 값, 거절 판단을 별도로 검증해야 한다.

Needle 2가 적합한 환경

Needle 2의 강점은 긴 대화나 폭넓은 지식 질의가 아니라, 정해진 도구 집합 안에서 요청을 실행 가능한 호출로 바꾸는 데 있다. 따라서 스마트홈, 웨어러블, 로봇처럼 도구 범위가 좁고 오프라인 실행과 적은 메모리 사용이 중요한 환경에 적합하다.

도입 여부를 판단할 때는 단순히 “14MB에서 실행되는가”보다 다음 항목을 확인하는 편이 실용적이다.

• 지원해야 할 명령에서 올바른 도구를 선택하는가

• 필수 인자와 값의 형식을 정확히 생성하는가

• 모호하거나 위험한 요청을 적절히 거절하는가

• 긴 사용 과정에서도 약 28MB 수준의 세션 메모리 특성이 유지되는가

• 슬라이딩 윈도우로 오래된 맥락이 제거돼도 핵심 작업이 안정적으로 이어지는가

Needle 2의 의미는 범용 LLM을 단순히 축소했다는 데 있지 않다. 자연어를 실제 행동으로 연결하는 결정 계층을 작게 설계해, 값싼 기기에서도 로컬로 실행할 수 있음을 보여준다는 데 있다.

¹14MB 온디바이스 AI Needle 2, 스마트홈에 정말 쓸 만한가: 벤치마크 5종이 말하는 위치

²A 45M-Parameter Agentic Model in a 14MB Binary: Inside Cactus Needle 2

³Needle 2 - 스마트폰·웨어러블·스마트홈·로봇을 위한 14MB 에이전틱 LLM