최근 tinygrad 커뮤니티를 중심으로 'Tinybox급 오프라인 AI 기기에서 120B(1200억) 파라미터 모델을 돌린다'는 소식이 돌며 로컬 AI에 다시 불이 붙었습니다1. 요지는 간단합니다. "인터넷 없이도, 내 데이터가 밖으로 안 나가도, 거대한 LLM을 내 손안에서 쓴다"는 가능성이 현실 하드웨어로 내려왔다는 것인데요.
오늘은 그 대표 사례로 자주 언급되는 Tiiny AI Pocket Lab(포켓형 'AI 슈퍼컴')을 기준으로, 120B 오프라인 구동이 왜 특별한지, 어디까지 믿어도 되는지, 그리고 실제로 어떤 사람에게 이득인지까지 한 번에 정리해보겠습니다.
120B 오프라인 AI 디바이스란? "클라우드 없이 박사급"의 의미
120B 모델은 보통 데이터센터급 GPU 여러 장이 떠오르는 급입니다. 그런데 포켓 사이즈 장치가 "120B를 로컬에서 추론(inference)한다"고 말하면, 질문은 두 가지로 갈립니다. 첫째, 진짜로 '모델이 돌아가느냐'. 둘째, '쓸 만한 속도냐'입니다.
Tiiny AI Pocket Lab은 이걸 "기기 안에서 인터넷 없이" 한다고 내세웁니다2. 크기는 14.2×8×2.53cm 수준이라 보조배터리처럼 들고 다닐 만하고, 80GB LPDDR5X 메모리(이 중 48GB를 NPU에 전용) 같은 "메모리로 밀어붙이는" 구성이 핵심입니다2. 120B가 특히 RAM에 민감하다는 걸 생각하면, 이 지점이 왜 강조되는지 감이 오죠.
다만 120B를 '그대로' 돌린다기보다는, 현실적으로는 양자화(예: 4-bit) 같은 최적화가 전제입니다. 실제로 외부에서는 "4-bit로도 쉽지 않을 수 있으니 검증을 기다리자"는 톤이 함께 나옵니다3. 즉, "가능하다"와 "항상 쾌적하다" 사이엔 아직 간격이 있습니다.
Tinybox급 하드웨어 포인트: RAM, NPU TOPS, 그리고 전력
이런 류의 오프라인 AI 장치가 재미있는 건, 전통적인 'GPU 깡패 PC'와 설계 철학이 다르기 때문입니다. Pocket Lab 기준으로는 12코어 ARM 프로세서에 NPU를 얹고, CPU+NPU 합산 약 190 TOPS급 연산 성능을 이야기합니다2. 그리고 TDP는 30W, 전원 어댑터 포함 전력 한계는 65W 선으로 설명됩니다4. "항상 켜두는 AI 백엔드"를 의도했다는 표현도 여기서 자연스럽게 연결되고요4.
스토리로 비유하면 이렇습니다. 예전엔 'AI를 잘 돌리는 컴퓨터'가 목표였다면, 이제는 '내 노트북을 AI 터미널로 만들어주는 작은 엔진'을 따로 들고 다니는 느낌입니다. 실제로 이 기기는 PC나 노트북에 연결해 로컬 AI 단말처럼 쓰는 콘셉트를 강조합니다4.
또 하나의 현실 포인트는 저장장치입니다. 1TB PCIe 4.0 NVMe를 탑재했다는 설명이 있는데5, 120B급 모델 파일과 여러 에이전트/모델을 설치하며 실험해보려면 저장공간이 넉넉할수록 체감이 큽니다.
속도는 어느 정도? TurboSparse·PowerInfer가 만드는 "요령 있는 추론"
"어떻게 그렇게 작은데 120B를?"의 답은 하드웨어만이 아닙니다. Pocket Lab은 TurboSparse, PowerInfer 같은 최적화 기술을 전면에 둡니다24. 쉽게 말해 모델을 매번 '풀로' 쓰지 않고 필요한 부분만 더 영리하게 호출하고, CPU/NPU/GPU(표현에 차이는 있지만)에게 일을 나눠 효율을 끌어올리는 식입니다.
그리고 사용자 입장에서 중요한 건 체감 속도인데, 회사 측은 설정에 따라 초당 18~40 tokens 수준을 언급합니다4. 다른 쪽에서는 GPT-OSS 120B에서 약 21 tokens/s 수치를 거론하기도 합니다3. 물론 이런 숫자는 프롬프트 길이, 컨텍스트 크기, 양자화 방식, 온도/전력 제한에 따라 출렁입니다. 그래서 결론은 하나예요. "된다"는 주장만 보고 판단하기보다, 당신이 쓰려는 작업(코딩, 요약, 에이전트 자동화)에서의 제3자 리뷰를 기다리는 게 안전합니다.
그럼에도 방향성 자체는 꽤 설득력이 있습니다. 토큰 요금이 없는 구조(로컬 추론)라면, '시도해보는 비용'이 크게 내려가거든요4. 많이 돌려볼수록 클라우드 과금과의 차이가 극적으로 벌어집니다.
누가 사면 이득일까: 프라이버시·현장 업무·항상 켜진 에이전트
오프라인 AI 디바이스의 1순위 가치는 프라이버시입니다. 문서, 고객정보, 소스코드처럼 "클라우드로 보내기 찜찜한 것"을 로컬에서 처리한다는 게 핵심이죠. Pocket Lab도 인터넷 없이 120B를 로컬에서 돌려 데이터가 밖으로 나가지 않는 점을 강점으로 내세웁니다2.
두 번째는 연결이 불안정한 현장입니다. 연구선, 비행기, 원격지처럼 네트워크가 끊기는 순간 'AI가 멈추는' 환경에서 로컬 AI는 일종의 보험이 됩니다2.
세 번째는 "항상 켜진 에이전트" 실험입니다. Tiiny AI는 이 카테고리를 AgentBox라는 흐름으로 부르며, 파일 정리·보고서 생성·로컬 지식베이스 같은 반복 업무를 기기 쪽에 상주시켜 돌리는 그림을 강조합니다4. 특히 오픈소스 모델·에이전트를 원클릭 설치로 제공하고, .gguf 같은 사용자 모델 확장까지 예고한 건 '실험하는 사람'에게 매력적인 포인트입니다4.
대신 이런 질문은 꼭 해보세요. 나는 120B가 정말 필요한가? 많은 경우 20B급(또는 그보다 작은) 로컬 모델도 업무 효율은 충분히 올려줍니다. 하지만 "긴 문서+정교한 추론+일관성"이 중요하거나, 에이전트 워크플로를 무겁게 굴리려면 상위급이 체감 차이를 만들 수 있습니다.
시사점: Tinybox 오프라인 120B, 사기 전에 체크할 5가지
로컬 AI는 이제 '취미'에서 '업무 도구'로 넘어오는 중입니다. 다만 포켓형 120B는 특히 기대치 관리가 중요하니, 아래 다섯 가지만 확인하고 접근하면 실패 확률이 줄어듭니다.
첫째, 제3자 리뷰로 속도(토큰/초)와 발열, 소음, 스로틀링을 확인하세요. 스펙은 비슷해도 체감은 여기서 갈립니다3.
둘째, 당신이 쓸 모델이 실제로 "그 기기에서" 잘 도는지 보세요. 특정 모델은 최적화/양자화 궁합을 탑니다.
셋째, 오프라인의 진짜 목적을 적어보세요. 비용 절감(토큰 요금 0), 보안/규정 준수, 현장 업무 중 무엇이 우선인지에 따라 답이 달라집니다42.
넷째, "내 노트북의 확장 장치"로 쓸 건지, "항상 켜진 백엔드"로 둘 건지 정하세요. 전력/휴대/세팅 난이도 기대치가 달라집니다4.
다섯째, 크라우드펀딩/초기 제품군이라면 배송 리스크와 지원 정책(업데이트, A/S)을 보수적으로 보세요34.
오프라인 120B는 단순히 '작은 컴퓨터'가 아니라, 우리가 AI를 소비하는 방식(클라우드→개인 장치)을 바꾸는 신호일 수 있습니다. Tinybox라는 키워드가 더 자주 들릴수록, 내 손안의 AI는 더 강해지고, 동시에 더 "내 것"이 될 가능성이 커집니다.
참고
1Tinybox- offline AI device 120B parameters
3Ultra-compact mini PC with 12-core ARM CPU and 160-TOPS discrete NPU gets pricing update
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.