2. LLM이란 무엇인가

LLM을 한 문장으로 말하면

LLM은 Large Language Model의 줄임말로, 우리말로는 보통 대규모 언어 모델이라고 부릅니다. 이름이 조금 어려워 보이지만, 뜻을 잘게 나누면 생각보다 단순합니다. 아주 많은 글을 읽고, 사람처럼 자연스러운 문장을 만들어 내도록 학습된 프로그램이라고 이해하면 됩니다.

여기서 중요한 점은 LLM이 사람처럼 "이해한다"기보다, 언어의 패턴을 매우 잘 익힌다는 것입니다. 예를 들어 누군가가 "비 오는 날엔 뜨끈한…"이라고 말하면 우리는 자연스럽게 "국물"이나 "라면" 같은 말을 떠올릴 수 있습니다. LLM도 비슷합니다. 엄청나게 많은 문장을 학습하면서, 어떤 말 다음에 어떤 말이 나올 가능성이 큰지를 배웁니다.

그래서 LLM은 질문에 답하고, 글을 요약하고, 번역하고, 코드를 쓰고, 문체를 바꿔 주는 등 다양한 일을 할 수 있습니다. 겉으로 보면 똑똑한 비서 같지만, 그 바탕에는 결국 언어 패턴을 예측하는 능력이 있습니다.

이름을 뜯어보면 더 쉽다

LLM이라는 이름은 세 단어로 이루어져 있습니다.

• Large: 아주 크다는 뜻입니다. 여기서 크다는 것은 몸집이 아니라, 학습한 데이터의 양이나 모델의 규모가 크다는 의미입니다.

• Language: 언어를 다룬다는 뜻입니다. 한국어, 영어 같은 자연어뿐 아니라 코드, 문서 형식, 대화체도 넓게는 언어로 볼 수 있습니다.

• Model: 어떤 규칙이나 패턴을 배워서 입력에 맞는 출력을 만들어 내는 수학적 구조를 말합니다.

즉 LLM은 방대한 언어 데이터를 학습해서, 언어를 다루는 능력을 갖춘 큰 모델입니다.

초보자 눈높이에서 비유하자면, LLM은 도서관 책을 한 권 한 권 외운 천재가 아니라, 도서관에 있는 글의 흐름과 말투, 연결 방식, 자주 함께 등장하는 표현을 몸에 익힌 언어 장인에 가깝습니다.

LLM은 무엇을 할 수 있을까

사람들이 LLM에 놀라는 이유는 한 가지 능력만 잘해서가 아닙니다. 같은 모델이 여러 일을 해낼 수 있기 때문입니다.

예를 들어 LLM은 다음과 같은 일을 할 수 있습니다.

• 질문에 답하기

• 긴 문서를 짧게 요약하기

• 글의 말투를 정중하게 바꾸기

• 한국어와 영어 사이를 번역하기

• 회의록이나 이메일 초안 만들기

• 간단한 코드나 SQL 쿼리 작성하기

이런 능력은 따로따로 심은 기능이 아니라, 대부분 언어를 다루는 능력이 확장된 결과입니다. 요약도 언어, 번역도 언어, 코딩도 넓게 보면 언어 패턴입니다. 그래서 LLM은 "한 가지 도구"라기보다, 언어를 기반으로 여러 작업을 처리하는 범용 엔진이라고 볼 수 있습니다.

LLM을 이해하는 첫 번째 핵심: 토큰

LLM을 공부할 때 가장 먼저 만나게 되는 단어가 토큰(token)입니다. 토큰은 LLM이 글을 읽고 쓸 때 사용하는 작은 단위입니다.

사람은 문장을 보며 단어와 의미를 한 번에 파악하는 느낌이 있지만, LLM은 문장을 통째로 삼키지 않습니다. 문장을 더 잘게 쪼갠 뒤, 그 조각들을 바탕으로 계산합니다. 그 조각이 바로 토큰입니다.

토큰은 꼭 "한 단어"와 같지는 않습니다. 어떤 경우에는 한 단어가 하나의 토큰이 되기도 하고, 어떤 경우에는 단어가 여러 조각으로 나뉘기도 합니다. 짧은 조사나 기호, 숫자, 공백이 토큰 처리에 영향을 줄 수도 있습니다. 한국어에서는 특히 한 단어가 여러 토큰으로 쪼개지는 일이 자주 있습니다.

예를 들어 "안녕하세요. 반갑습니다."라는 문장이 있다고 해 봅시다. 사람은 이를 두 문장으로 읽지만, LLM은 내부적으로 몇 개의 토큰 묶음으로 나누어 처리합니다. 그리고 답을 만들 때도 토큰을 하나씩 이어 붙이는 방식으로 문장을 생성합니다.

토큰 개념이 중요한 이유는 아주 많습니다. 앞으로 배우게 될 문맥 길이, 속도, 비용, 메모리 사용량 같은 것들이 대부분 토큰과 연결되기 때문입니다. 쉽게 말해, LLM 세계에서 토큰은 연료이자 작업 단위입니다.

LLM을 이해하는 두 번째 핵심: 파라미터

다음으로 중요한 단어는 파라미터(parameter)입니다. 파라미터는 모델이 학습을 통해 얻은 숫자 형태의 기억이라고 생각하면 됩니다.

이 표현이 조금 낯설 수 있으니 비유로 설명해 보겠습니다. 어떤 요리사가 수천 번 요리를 하면서 "이 재료와 저 재료를 함께 쓰면 잘 어울린다", "이 상황에서는 간을 조금 줄이는 게 좋다" 같은 감각을 몸에 익혔다고 해 봅시다. LLM의 파라미터도 비슷합니다. 다만 사람처럼 감각으로 기억하는 것이 아니라, 엄청나게 많은 숫자 조합으로 그 패턴을 저장합니다.

모델 소개에서 자주 보이는 7B, 8B, 70B 같은 숫자는 대개 파라미터 수를 뜻합니다. 여기서 B는 billion, 즉 10억 단위입니다. 예를 들어 7B 모델은 대략 70억 개 수준의 파라미터를 가진 모델이라는 뜻입니다.

파라미터가 많다고 무조건 좋은 것은 아니지만, 보통은 모델이 더 많은 언어 패턴을 담을 가능성이 커집니다. 대신 그만큼 메모리도 더 필요하고 실행 속도도 느려질 수 있습니다. 그래서 로컬 LLM을 다룰 때는 "성능이 좋은 큰 모델"과 "내 컴퓨터에서 무리 없이 돌아가는 적당한 모델" 사이에서 균형을 잡아야 합니다.

정리하면, 파라미터는 LLM의 지능을 떠받치는 핵심 자산입니다. 토큰이 입력과 출력의 단위라면, 파라미터는 그 입력과 출력을 가능하게 하는 내부의 학습된 숫자 구조입니다.

LLM을 이해하는 세 번째 핵심: 학습 데이터

LLM은 처음부터 똑똑하지 않습니다. 당연하지만, 처음에는 그냥 숫자 덩어리에 가깝습니다. 여기에 방대한 텍스트 데이터를 넣고 학습시키면서 언어 패턴을 익히게 됩니다. 이때 사용되는 자료를 학습 데이터라고 합니다.

학습 데이터에는 책, 기사, 웹 문서, 기술 문서, 질문과 답변, 코드, 대화 예시처럼 다양한 형태의 텍스트가 포함될 수 있습니다. 모델은 이런 데이터를 통해 문장이 어떻게 이어지는지, 어떤 표현이 어떤 맥락에서 자주 나오는지, 질문에 어떤 형식으로 답하는지가 무엇인지를 배웁니다.

하지만 여기서 꼭 알아야 할 점이 있습니다. LLM은 학습 데이터를 복사해서 통째로 보관하는 검색창이 아닙니다. 일반적으로는 데이터를 그대로 저장하기보다, 그 안에 담긴 패턴과 경향을 파라미터 안에 녹여 넣는 방식으로 학습합니다.

그래서 LLM은 배운 내용을 바탕으로 새로운 문장을 만들 수 있습니다. 반면에, 최신 뉴스처럼 학습 이후에 생긴 정보는 모를 수도 있고, 드물거나 틈새인 사실은 부정확하게 답할 수도 있습니다. 이 점은 나중에 로컬 LLM을 실무에 쓸 때 아주 중요해집니다.

학습과 추론은 다르다

초보자가 가장 자주 헷갈리는 개념 중 하나가 학습과 추론입니다. 두 단어는 전혀 다른 단계입니다.

학습은 모델이 데이터를 보며 내부 파라미터를 조정하는 과정입니다. 쉽게 말해 공부하는 단계입니다. 이 과정에는 많은 시간, 데이터, 계산 자원이 필요합니다.

반면 추론은 이미 학습된 모델이 실제로 답을 만드는 단계입니다. 우리가 채팅창에 질문을 입력하고 답을 받는 순간, 모델은 학습을 새로 하는 것이 아니라 추론을 하고 있는 것입니다.

이 차이는 로컬 LLM을 이해할 때 특히 중요합니다. 우리가 Ollama나 Open WebUI로 로컬 모델을 실행할 때 대부분 하는 일은 "모델을 학습시키는 것"이 아니라, 이미 학습된 모델을 내 컴퓨터에서 추론용으로 돌리는 것입니다.

즉, 책 후반부에서 하게 될 실습은 거대한 AI 회사를 세우는 일이 아니라, 잘 만들어진 모델을 내 환경에서 불러와 똑똑하게 사용하는 일에 가깝습니다.

추론이란 무엇인가

그렇다면 추론은 정확히 무엇일까요? 아주 단순하게 말하면, 입력된 문맥을 바탕으로 다음에 올 토큰을 계속 예측해 나가는 과정입니다.

예를 들어 사용자가 "감기에 걸렸을 때 따뜻하게 마실 수 있는 음료를 추천해 줘"라고 입력하면, 모델은 이 문장을 토큰 단위로 해석하고, 그다음에 어떤 답이 자연스러울지 계산합니다. 처음 한 토큰을 고르고, 그다음 토큰을 고르고, 이런 일을 매우 빠르게 반복하면서 한 문장, 두 문장, 하나의 답변을 만들어 냅니다.

겉으로 보면 한 번에 술술 답하는 것처럼 보이지만, 실제 내부에서는 이런 작은 예측의 연속이 일어나고 있습니다.

여기서 중요한 것은 추론이 단순 복붙이 아니라는 점입니다. 모델은 학습 때 익힌 패턴과 지금 받은 문맥을 함께 고려하여 답을 생성합니다. 그래서 같은 질문이라도 표현 방식이나 설정에 따라 답이 조금씩 달라질 수 있습니다.

프롬프트는 왜 중요한가

LLM을 사용할 때 입력하는 지시문이나 질문을 보통 프롬프트(prompt)라고 부릅니다. 프롬프트는 모델에게 "지금 어떤 역할을 하고, 어떤 방식으로 답해야 하는지"를 알려 주는 안내문입니다.

초보자 입장에서는 프롬프트를 그냥 질문 정도로 생각해도 괜찮습니다. 다만 조금 더 정확히 말하면, 프롬프트는 질문뿐 아니라 맥락, 조건, 예시, 답변 형식까지 포함할 수 있습니다.

예를 들어 "요약해 줘"라고만 하면 짧은 요약이 나올 수도 있고, "중학생도 이해하게 3문장으로 요약해 줘"라고 하면 훨씬 더 원하는 결과에 가까워질 수 있습니다. 즉, LLM의 품질은 모델 자체에도 달려 있지만, 어떻게 묻느냐에도 크게 달려 있습니다.

이 책에서 뒤로 갈수록 프롬프트는 점점 더 중요해집니다. 같은 로컬 모델이라도 프롬프트를 다듬으면 훨씬 쓸 만한 도구가 됩니다.

문맥 길이란 무엇인가

또 하나 알아 둘 개념은 문맥 길이(context length)입니다. 이것은 모델이 한 번에 참고할 수 있는 입력과 출력의 총 토큰 범위를 뜻합니다.

쉽게 말해, 모델의 작업 책상 크기라고 생각하면 됩니다. 책상이 너무 작으면 긴 문서 일부만 올려놓을 수 있고, 앞에서 했던 대화를 많이 잊어버릴 수 있습니다. 반대로 문맥 길이가 길면 긴 문서나 긴 대화를 더 넓게 참고할 수 있습니다.

로컬 LLM에서는 이 문맥 길이가 성능과 자원 사용량에 직접 영향을 줍니다. 너무 길게 잡으면 메모리를 많이 쓰고 속도가 떨어질 수 있습니다. 그래서 단순히 "클수록 좋다"가 아니라, 내 목적에 맞는 적당한 문맥 길이를 선택하는 감각이 필요합니다.

LLM이 아는 것과 모르는 것

LLM을 처음 접하면 종종 이런 인상을 받습니다. "이 정도면 다 아는 것 아닌가?" 하지만 실제로는 그렇지 않습니다.

LLM은 놀라울 만큼 자연스럽게 말할 수 있지만, 그렇다고 해서 항상 사실만 말하는 것은 아닙니다. 모르는 내용을 그럴듯하게 지어내기도 합니다. 이런 현상을 흔히 환각(hallucination)이라고 부릅니다. 어렵게 들리지만 뜻은 단순합니다. 자신감 있게 말하지만 틀릴 수 있다는 뜻입니다.

왜 이런 일이 생길까요? LLM의 기본 임무는 진실 판별기가 아니라, 문맥에 어울리는 다음 토큰을 생성하는 것이기 때문입니다. 물론 잘 학습된 모델은 사실에 가까운 답을 많이 내놓지만, 언제나 보장되지는 않습니다.

그래서 실무에서는 LLM을 사용할 때 다음 태도가 중요합니다.

• 중요한 사실은 반드시 다시 확인하기

• 숫자, 날짜, 법률, 의료 정보는 검증하기

• 최신 정보가 필요한 경우 외부 자료와 연결하기

이 점은 로컬 LLM이라고 해서 달라지지 않습니다. 로컬에서 돌린다고 더 안전하거나 더 정확해지는 것이 아니라, 어떻게 검증하고 활용하느냐가 중요합니다.

LLM은 검색 엔진과 무엇이 다를까

많은 초보자가 LLM을 검색 엔진과 비슷하게 생각합니다. 둘 다 질문하면 뭔가를 알려 주기 때문입니다. 하지만 작동 방식은 꽤 다릅니다.

검색 엔진은 주로 관련 문서를 찾아 보여 주는 도구입니다. 반면 LLM은 문서를 찾기보다, 자신이 학습한 패턴과 현재 문맥을 바탕으로 답변 문장 자체를 생성합니다.

그래서 검색 엔진은 "근거 문서 찾기"에 강하고, LLM은 "설명 정리하기, 표현 바꾸기, 대화 이어가기"에 강합니다. 물론 요즘은 두 방식을 섞어서 쓰는 경우도 많습니다. 예를 들어 문서를 검색해 온 뒤 그 내용을 바탕으로 LLM이 대답하게 만들 수 있습니다. 나중에 다룰 지식 챗봇이 바로 이런 방향으로 발전합니다.

로컬 LLM을 위해 꼭 알아야 하는 관점

이 책의 주제는 단순한 LLM 소개가 아니라 온디바이스 로컬 LLM입니다. 그래서 여기서 한 걸음 더 나아가 생각해 볼 필요가 있습니다.

클라우드 AI 서비스에서는 모델이 어디서 돌아가는지 잘 보이지 않습니다. 하지만 로컬 LLM에서는 상황이 다릅니다. 모델 파일의 크기, 메모리 사용량, CPU와 GPU의 역할, 속도, 응답 품질이 모두 체감됩니다.

이때 오늘 배운 기초 개념이 바로 기준점이 됩니다.

• 토큰은 얼마나 긴 입력을 넣을 수 있는지와 속도에 연결됩니다.

• 파라미터는 모델 크기와 성능, 자원 사용량에 연결됩니다.

• 학습 데이터는 모델의 기본 지식과 말투, 강점에 영향을 줍니다.

• 추론은 실제로 내 컴퓨터에서 답을 만들어 내는 순간과 연결됩니다.

즉, 이 네 가지를 이해하면 앞으로 나올 "왜 어떤 모델은 빠르고, 어떤 모델은 무겁고, 어떤 모델은 더 똑똑해 보이는가?"라는 질문들이 훨씬 쉽게 풀립니다.

초보자를 위한 한 번 더 정리

이 장의 핵심을 아주 짧게 다시 묶어 보겠습니다.

LLM은 많은 텍스트를 학습해 언어 패턴을 익힌 대규모 언어 모델입니다. 글을 읽고 쓰는 기본 단위는 토큰이고, 학습을 통해 쌓인 내부의 숫자 기억은 파라미터입니다. 모델이 배움을 얻는 재료는 학습 데이터이며, 우리가 실제로 질문을 던져 답을 받는 과정은 추론입니다.

그리고 이것만큼은 꼭 기억하면 좋겠습니다. LLM은 마법 상자가 아니라, 언어 패턴을 놀라울 정도로 잘 다루는 계산 시스템입니다. 원리를 알고 나면 덜 신기해지지만, 오히려 더 잘 다룰 수 있게 됩니다.

다음 장으로 이어서

이제 "LLM이 무엇인가"라는 이름표는 붙였습니다. 다음으로 궁금한 것은 자연스럽습니다. 그렇다면 이 모델은 실제로 어떻게 답을 만들어 낼까?

다음 장에서는 토큰이 이어지고, 문맥이 반영되고, 모델이 한 글자 한 글자처럼 답을 생성해 가는 흐름을 조금 더 가까이 들여다보겠습니다. 거기까지 이해하고 나면, 이후의 로컬 실행, 모델 선택, 속도 조절, 품질 개선이 훨씬 선명하게 보이기 시작할 것입니다.