AI를 쓰고는 싶은데, 내 문서와 코드가 어디로 가는지 불안하셨나요? 클라우드 AI는 편리하지만, 모든 작업이 늘 외부 서버에 있어야 하는 것은 아닙니다. 이제는 개인 PC와 노트북, 사내 장비에서도 꽤 실용적인 LLM을 직접 돌릴 수 있는 시대가 되었습니다. 이 책은 바로 그 변화의 한가운데에서, 초보자도 로컬 LLM을 이해하고 직접 써볼 수 있도록 돕기 위해 쓰였습니다.
책은 단순히 설치법만 나열하지 않습니다. 먼저 LLM이 무엇인지, 왜 토큰·파라미터·컨텍스트 같은 개념이 중요한지, 모델이 어떻게 답을 만드는지부터 차근차근 설명합니다. 그런 다음 온디바이스와 로컬 LLM의 구조, 내 컴퓨터에서 가능한 모델 규모, 양자화와 경량화의 의미를 짚으며, 독자가 스스로 장비와 목적에 맞는 모델을 고를 수 있게 안내합니다.
이론을 이해한 뒤에는 바로 손을 움직입니다. Ollama로 첫 모델을 실행하고, Open WebUI를 붙여 브라우저 채팅 환경을 만들고, 나아가 문서 요약 도우미와 작은 지식 챗봇 같은 실전형 로컬 AI 서비스를 직접 구성해 봅니다. 책의 후반부에서는 속도·품질·안정성 튜닝과 실제 활용 사례, 그리고 로컬과 클라우드를 언제 어떻게 나눠 써야 하는지까지 현실적인 기준으로 정리합니다.
즉, 이 책은 "로컬 LLM이 뭔가요?"라는 질문에서 출발해, "내 환경에서 실제로 잘 쓰려면 어떻게 해야 하나요?"라는 단계까지 데려가는 입문서입니다. 신기한 데모를 보는 데서 끝나지 않고, 내 데이터·내 장비·내 업무 흐름 안에서 AI를 다루는 감각을 얻고 싶다면, 이 책이 좋은 출발점이 되어 줄 것입니다.
