1. 왜 온디바이스 LLM인가

처음 LLM을 떠올리면 보통 이런 장면이 먼저 생각납니다. 내가 질문을 입력하면 인터넷을 통해 클라우드 서버로 요청이 날아가고, 아주 강력한 GPU가 답을 만든 뒤 다시 내 화면으로 돌아오는 방식입니다. 지금까지는 이 구조가 사실상 표준이었습니다.

그런데 요즘은 다른 선택지가 점점 중요해지고 있습니다. 바로 온디바이스 LLM입니다. 말 그대로, LLM을 내 PC나 노트북, 스마트폰, 임베디드 장치처럼 내가 가진 기기 안에서 직접 실행하는 방식입니다. 보통 여기서 말하는 실행은 학습이 아니라 추론입니다. 즉, 이미 만들어진 모델이 질문에 답하고, 요약하고, 분류하고, 번역하는 일을 로컬에서 처리하는 것입니다.¹

이 장의 목표는 단순합니다. 이 장을 다 읽고 나면, 여러분은 누가 물어봐도 이렇게 설명할 수 있어야 합니다.

"온디바이스 LLM은 모든 상황의 정답은 아니지만, 민감한 데이터를 다루고, 빠른 반응이 필요하고, 인터넷에 의존하기 어렵고, 반복 비용을 줄여야 할 때 아주 강력한 선택지다."

온디바이스 LLM을 한 문장으로 이해하기

먼저 가장 쉬운 정의부터 잡고 가겠습니다.

온디바이스 LLM은 클라우드 서버 대신 사용자 기기에서 직접 돌아가는 언어 모델입니다. 여기서 핵심은 두 가지입니다. 첫째, 계산이 기기 안에서 일어납니다. 둘째, 그 결과 많은 경우 입력 데이터가 기기 밖으로 나가지 않아도 됩니다.²

같은 질문을 던져도 구조는 완전히 달라집니다.

• 클라우드 방식: 내 질문 → 인터넷 → 외부 서버 → 답변 → 내 화면

• 온디바이스 방식: 내 질문 → 내 기기 내부 처리 → 답변

• 하이브리드 방식: 일부는 기기에서, 무거운 부분은 서버에서 처리

초보자 입장에서는 이렇게 생각하면 쉽습니다. 클라우드 LLM은 "원격으로 빌려 쓰는 초대형 두뇌"이고, 온디바이스 LLM은 "조금 더 작지만 내 책상 위에 있는 개인 두뇌"입니다.

1단계: 왜 굳이 로컬에서 돌리려 할까

이 질문이 이 장의 핵심입니다. "클라우드가 더 강력한데, 왜 굳이 내 컴퓨터에서 힘들게 돌리지?"라는 의문은 아주 정상입니다. 답은 성능 그 자체보다 문제의 종류에 있습니다.

온디바이스 LLM이 주목받는 대표 이유는 프라이버시, 지연 시간, 네트워크 독립성, 비용, 개인화입니다.¹³ 하나씩 아주 현실적으로 살펴보겠습니다.

2단계: 온디바이스 LLM의 가장 큰 장점

내 데이터가 밖으로 덜 나간다

가장 먼저 떠올릴 수 있는 장점은 프라이버시입니다. 사내 문서, 고객 상담 기록, 의료 메모, 연구 노트, 계약서 초안처럼 외부 전송이 부담스러운 데이터는 생각보다 많습니다. 클라우드 API를 쓰면 보통 입력과 출력이 네트워크를 지나갑니다. 반면 온디바이스 방식은 적어도 기본 구조상 데이터를 로컬에 머물게 할 수 있습니다.¹³

이 차이는 체감상 꽤 큽니다. 예를 들어, 회의록 요약 도구를 만든다고 해봅시다. 클라우드 방식은 "민감한 회의 내용을 외부로 보내도 되는가?"라는 검토가 먼저 필요합니다. 하지만 온디바이스 방식은 "우리 노트북 안에서만 처리한다"는 전제가 가능해집니다. 보안팀과 이야기할 때도 말이 훨씬 쉬워집니다.

물론 여기서 오해하면 안 되는 점도 있습니다. 로컬에서 돈다고 해서 자동으로 완전한 보안이 보장되는 것은 아닙니다. 기기 자체의 암호화, 접근 권한, 로그 저장 방식, 모델 파일 관리도 여전히 중요합니다. 그래도 출발점 자체가 훨씬 유리한 것은 분명합니다.

반응이 빠르고 손맛이 좋다

온디바이스가 사랑받는 두 번째 이유는 지연 시간, 즉 답변이 시작되기까지의 기다림을 줄일 수 있기 때문입니다.¹³

클라우드 방식에서는 네트워크 왕복 시간이 항상 따라옵니다. 인터넷이 느리거나 불안정하면 답이 늦게 오고, 심하면 끊깁니다. 반면 온디바이스는 적어도 네트워크 구간이 없습니다. 모델이 충분히 가볍고 기기 사양이 받쳐준다면, 입력 후 바로 답이 시작되는 느낌을 줄 수 있습니다.

이 차이는 특히 짧고 자주 쓰는 작업에서 빛납니다.

• 문장 다듬기

• 메일 초안 생성

• 짧은 문서 요약

• 스마트 리플라이

• 앱 안의 보조 명령 처리

이런 작업은 "엄청 똑똑한 한 방"보다 "바로바로 반응하는 손쉬운 보조자"가 더 중요합니다. 사용자는 10점짜리 답변보다 1초 안에 오는 8점짜리 답변을 더 선호할 때가 많습니다.

인터넷이 없어도 쓸 수 있다

세 번째 장점은 오프라인 동작입니다. 온디바이스 LLM은 네트워크 연결 없이도 사용할 수 있다는 점에서 현장 업무, 이동 중 작업, 폐쇄망 환경에 특히 강합니다.¹⁴

예를 들어 이런 상황을 떠올려 보세요.

• 보안상 외부 인터넷이 막힌 사내망

• 기내, 지하, 산간 지역처럼 연결이 불안정한 곳

• 공장, 차량, 키오스크, 엣지 장치처럼 항상 온라인이 아닌 환경

클라우드 전제 서비스는 이 환경에서 쉽게 멈춥니다. 하지만 온디바이스는 느려질 수는 있어도 "완전히 못 쓰는" 상황을 줄여 줍니다. 이 점은 단순한 편의성 문제가 아니라 서비스 가용성 문제이기도 합니다.

많이 쓸수록 비용 구조가 달라진다

클라우드 LLM은 보통 호출량에 따라 비용이 늘어납니다. 처음에는 편하지만, 사용자가 늘고 요청량이 쌓이면 API 비용이 무시하기 어려워집니다. 반면 온디바이스는 하드웨어 준비와 배포가 필요하지만, 이후에는 반복 호출당 비용 구조가 상대적으로 단순해집니다.¹

물론 "로컬이 무조건 싸다"는 뜻은 아닙니다. 기기 성능 확보, 배포, 최적화, 지원 비용이 들어갑니다. 하지만 다음과 같은 경우에는 온디바이스가 매우 매력적입니다.

• 사용자가 많아서 API 호출이 자주 발생하는 경우

• 한 번 배포한 뒤 반복적으로 짧은 작업을 처리하는 경우

• 서버 비용보다 기기 자원을 활용하는 편이 유리한 경우

쉽게 말해, 클라우드는 "쓸 때마다 계산되는 택시"에 가깝고, 온디바이스는 "처음 세팅은 필요하지만 계속 타는 자전거"에 가깝습니다. 어디가 더 이득인지는 이동 거리와 횟수에 따라 달라집니다.

개인화와 제어가 쉬워진다

온디바이스 환경에서는 사용자의 로컬 데이터, 앱 상태, 기기 문맥과 더 밀접하게 연결된 경험을 만들 수 있습니다.¹ 예를 들어 내 파일, 내 메모, 내 캘린더, 내 작업 흐름을 기반으로 더 개인화된 보조 기능을 만들 수 있습니다.

그리고 개발자 입장에서는 통제권도 커집니다. 어떤 모델을 쓸지, 어떤 양자화 버전을 쓸지, 얼마나 빠르게 만들지, 어떤 프롬프트를 기본값으로 넣을지, 어느 운영체제까지 지원할지 직접 선택할 수 있습니다. "서비스 제공자가 정한 규칙"보다 "내 제품의 요구사항"을 중심에 둘 수 있다는 뜻입니다.

3단계: 그런데 왜 모두 온디바이스로 가지 않을까

여기서부터가 중요합니다. 온디바이스 LLM은 장점이 분명하지만, 동시에 현실적인 제약도 아주 분명합니다. 이 제약을 이해해야 다음 장들에서 llama.cpp와 GGUF, 양자화, 모델 선택 이야기가 자연스럽게 연결됩니다.

가장 먼저 막히는 것은 메모리다

LLM은 기본적으로 거대한 모델입니다. 파라미터 수가 많을수록 메모리 사용량도 커집니다. 그래서 수십억 개 파라미터를 가진 모델은 그대로는 대부분의 엣지 기기 RAM에 올리기 어렵습니다.⁵

예를 들어 7B 모델은 정밀도에 따라 수 GB에서 10GB 이상 메모리를 요구할 수 있습니다. 그런데 노트북이나 스마트폰의 메모리는 운영체제와 다른 앱도 함께 써야 합니다. 결국 "이론상 돌아간다"와 "실사용 가능하다"는 완전히 다른 이야기가 됩니다.⁶

그래서 온디바이스 세계에서는 자연스럽게 이런 키워드가 중요해집니다.

• 작은 모델

• 양자화

• 메모리 매핑

• KV 캐시 관리

• CPU/GPU/NPU 분산 사용

지금은 낯설어도 괜찮습니다. 이 책 전체가 바로 그 부분을 차근차근 다룹니다.

속도도 늘 넉넉하지 않다

클라우드 서버는 강력한 GPU 여러 장을 붙여 돌릴 수 있지만, 개인 기기는 그렇지 않습니다. 따라서 온디바이스는 보통 모델 크기와 속도 사이에서 타협해야 합니다.¹⁵

이 말은 곧, "더 똑똑한 큰 모델"을 원할수록 "더 느린 답변"을 감수해야 할 수 있다는 뜻입니다. 특히 초보자가 처음 로컬 LLM을 실행할 때 가장 많이 놀라는 부분이 이것입니다.

"어? 돌아가긴 도는데, 생각보다 느리네?"

맞습니다. 그래서 온디바이스에서는 무작정 큰 모델을 고르는 것이 아니라, 내 문제를 해결하는 데 충분히 좋은 작은 모델을 찾는 감각이 중요합니다.

배터리와 발열이 숨어 있는 적이다

모바일이나 노트북에서는 배터리와 발열도 무시할 수 없습니다. LLM 추론은 계산량과 메모리 접근량이 크기 때문에 기기를 오래, 세게 사용하게 만듭니다. 그 결과 배터리가 빨리 닳고, 발열이 심해지고, 심하면 성능 제한까지 걸릴 수 있습니다.⁶

즉, 온디바이스는 "돌아가기만 하면 끝"이 아닙니다. 오래 안정적으로, 너무 뜨겁지 않게, 사용자가 참을 수 있는 속도로 돌아가야 합니다.

품질은 클라우드 최상위 모델보다 낮을 수 있다

이것도 솔직하게 인정해야 합니다. 온디바이스에서 주로 다루는 모델은 대개 더 작고, 더 많이 압축되어 있습니다. 따라서 어떤 작업에서는 클라우드 최상위 모델보다 답변 품질, 긴 문맥 처리, 복잡한 추론 능력이 떨어질 수 있습니다.¹

하지만 중요한 건 "절대 성능"이 아니라 업무 적합성입니다. 회의록 5문장 요약, 짧은 답변 추천, 로컬 문서 검색 보조, 폐쇄망 Q&A 같은 일은 최상위 초거대 모델이 아니어도 충분히 실용적일 수 있습니다.

즉, 온디바이스의 질문은 "세상에서 가장 똑똑한가?"가 아니라, "내가 해결하려는 문제에 충분히 쓸 만한가?"입니다.

4단계: 어떤 문제에 온디바이스 LLM이 잘 맞을까

이제 감이 조금 올 것입니다. 온디바이스는 모든 문제를 해결하는 만능열쇠가 아니라, 특정 조건에서 유독 강한 도구입니다.

특히 잘 맞는 경우는 다음과 같습니다.

• 민감한 데이터가 많아 외부 전송을 줄여야 할 때

• 답변이 짧고, 빠른 반응이 중요할 때

• 인터넷 연결이 없거나 불안정한 환경에서 써야 할 때

• 동일한 작업이 반복되어 API 비용이 부담될 때

• 개인 기기 맥락과 강하게 연결된 기능이 필요할 때

조금 더 구체적으로 바꾸면 이런 예시가 있습니다.

사내 문서 요약기, 로컬 메모 정리 도우미, 폐쇄망 챗봇, 코드 보조 도구, 현장 점검용 질의응답 앱, 브라우저 안에서 도는 텍스트 보조 기능이 여기에 들어갑니다.⁴⁷

반대로 이런 경우는 아직 클라우드가 더 적합한 편입니다.

• 매우 긴 문맥과 복잡한 추론이 필요한 작업

• 최고 수준의 정답률이 꼭 필요한 업무

• 이미지, 음성, 검색, 툴 호출이 대규모로 얽힌 무거운 파이프라인

• 사용자 기기 성능 편차가 너무 큰 서비스

• 중앙 통제로 품질을 일관되게 유지해야 하는 서비스

쉽게 요약하면, 온디바이스는 짧고, 빠르고, 민감하고, 자주 쓰는 작업에서 강합니다. 반면 클라우드는 크고, 깊고, 무겁고, 통합된 작업에서 여전히 강력합니다.

5단계: 초보자를 위한 판단 기준

여기까지 읽었는데도 아직 "그래서 나는 로컬로 가야 하나?"가 헷갈릴 수 있습니다. 그럴 때는 아래 질문에 순서대로 답해 보세요.

질문 1: 데이터가 밖으로 나가면 곤란한가

만약 "그렇다"라면 온디바이스의 우선순위가 급격히 올라갑니다. 특히 사내 문서, 고객 데이터, 연구 자료처럼 유출 리스크가 큰 경우 그렇습니다.

질문 2: 인터넷이 없어도 돌아가야 하는가

오프라인 요구사항이 있다면 온디바이스는 거의 필수 후보가 됩니다. 폐쇄망과 현장 장비는 특히 그렇습니다.

질문 3: 최고 성능보다 빠른 체감 반응이 더 중요한가

짧은 답변, 문장 보정, 스마트 리플라이처럼 즉각성이 중요한 작업이라면 작은 로컬 모델이 오히려 더 만족스러울 수 있습니다.

질문 4: 내 하드웨어가 감당 가능한가

이 질문은 냉정해야 합니다. 로컬 LLM은 낭만만으로 돌아가지 않습니다. RAM, 저장공간, GPU 또는 NPU 지원 여부, 발열, 운영체제 호환성까지 따져야 합니다.⁵⁶

질문 5: 모델 품질이 약간 낮아져도 업무가 굴러가는가

온디바이스는 대개 약간의 성능 손실과 맞바꾸는 선택입니다. 그 대가가 허용 가능한지 판단해야 합니다.

이 다섯 질문에 여러 개가 "예"라면, 여러분 문제는 온디바이스와 잘 맞을 가능성이 큽니다.

6단계: 이 책이 llama.cpp를 중심으로 가는 이유

이 책의 구현 목표는 llama.cpp를 이용한 실전 구축입니다. 이유는 명확합니다. llama.cpp는 C/C++ 기반의 경량 추론 엔진으로, 최소한의 설정으로 다양한 하드웨어에서 로컬 LLM을 실행하도록 설계되었고, GGUF 형식과 폭넓은 양자화 옵션, CPU/GPU 하이브리드 실행, OpenAI 호환 서버 기능까지 제공해 실제 배포 실습에 매우 적합합니다.⁷

초보자 관점에서 특히 좋은 점은 이렇습니다.

• Python 거대 생태계를 전부 이해하지 않아도 시작할 수 있다

• CPU만으로도 첫 실험이 가능하다

• 양자화된 GGUF 모델을 바로 다뤄 보기 좋다

• CLI, 서버, 바인딩 등 확장 경로가 분명하다

한마디로 말하면, llama.cpp는 "온디바이스 LLM을 공부하는 장난감"이 아니라 실제로 제품과 도구를 만들어 볼 수 있는 작업대에 가깝습니다.

물론 이 장에서는 아직 설치하지 않습니다. 지금 단계에서 중요한 것은 "왜 이 길을 가는가"를 납득하는 것입니다. 설치와 실행은 다음 장들에서 정말 step-by-step으로 다뤄 보겠습니다.

정리: 왜 온디바이스 LLM인가

이제 이 장의 질문으로 돌아가 보겠습니다. 왜 굳이 로컬에서 LLM을 돌릴까요?

답은 간단합니다. 어떤 문제들은 클라우드보다 로컬이 더 잘 맞기 때문입니다.

온디바이스 LLM은 프라이버시를 지키기 쉽고, 빠르게 반응할 수 있고, 오프라인에서도 동작하며, 반복 사용 시 비용 구조를 유리하게 만들 수 있습니다.¹³ 대신 메모리, 속도, 발열, 품질이라는 현실적인 한계를 받아들여야 합니다.⁵⁶

그래서 중요한 결론은 이것입니다.

온디바이스 LLM은 "클라우드를 대체하는 만능 해답"이 아니라, 제약이 분명한 환경에서 아주 실용적인 정답이다.

이 관점을 머리에 넣고 다음 장으로 넘어가면 훨씬 편해집니다. 다음 장에서는 이 가능성과 한계를 감으로만 보지 않고, 메모리·연산·저장공간·배터리 같은 실제 제약 조건부터 제대로 이해해 보겠습니다.

참고

¹On-Device Language Models: A Comprehensive Review

²온디바이스 AI 기술 동향: 초경량 모델에서 LLM 적용까지

³On-Device LLMs: What They Are, Why They Matter, and How to Ship Them

⁴On-Device AI: 브라우저에서 LLM 실행하기

⁵A Review on Edge Large Language Models: Design, Execution, and Applications

⁶LLM : On-Device LLM