이 책은 "로컬 LLM이 좋다더라" 수준의 호기심을, 직접 구축하고 운영할 수 있는 실전 감각으로 바꿔 주는 책입니다. 클라우드 API를 쓰는 대신, 내 PC와 노트북, 미니 PC, 모바일 같은 실제 기기에서 LLM을 어떻게 실행하고 다듬고 활용할지 초보자 눈높이에서 차근차근 안내합니다. 특히 llama.cpp와 GGUF를 중심에 두고, 모델 선택부터 첫 실행, 품질 개선, 성능 최적화, RAG 연결, 운영 점검까지 한 흐름으로 엮었습니다.
좋은 입문서는 단순히 명령어를 많이 보여 주는 책이 아니라, 왜 이 선택을 하는지 이해하게 만드는 책이어야 합니다. 이 책은 바로 그 지점을 겨냥합니다. 메모리와 발열, 컨텍스트와 KV 캐시, 양자화와 오프로딩처럼 처음엔 낯선 개념도 실제로 부딪히는 문제와 연결해 설명합니다. 그래서 독자는 단순히 따라 치는 사람에 머물지 않고, 자기 장비와 목적에 맞게 판단할 수 있는 사람으로 넘어가게 됩니다.
또한 이 책은 "실행된다"에서 멈추지 않습니다. 폐쇄망 문서 요약 도구, 사내 로컬 챗봇 API 서버, 모바일·엣지 실험, RAG 연결, 운영·보안 체크리스트까지 담아, 개인 실습에서 팀 서비스와 실무 운영으로 확장되는 길을 보여 줍니다. 즉, 이 책은 로컬 LLM 데모를 구경하는 책이 아니라, 작지만 진짜로 쓸 수 있는 시스템을 만드는 책입니다.
만약 여러분이 온디바이스 LLM을 한 번쯤 제대로 해 보고 싶었지만, 정보가 흩어져 있어 어디서부터 시작해야 할지 막막했다면, 이 책이 가장 현실적인 출발점이 되어 줄 것입니다. 이제 1장부터, 내 장비에서 돌아가는 LLM을 단순한 신기한 기술이 아니라 내가 통제할 수 있는 도구로 바꿔 보세요.
