LLM의 작동 원리와 파인튜닝의 위치

언어모델은 문장을 바로 읽지 않는다

LLM은 문장을 사람처럼 그대로 읽지 않습니다. 먼저 텍스트를 작은 조각으로 나눕니다. 이 조각을 토큰이라고 합니다. 토큰은 단어일 수도 있고, 단어의 일부일 수도 있으며, 기호 하나일 수도 있습니다. "파인튜닝"이라는 단어도 모델에 따라 하나의 토큰이 아니라 여러 조각으로 나뉠 수 있습니다.

토큰은 다시 숫자 벡터로 바뀝니다. 이를 임베딩이라고 합니다. 임베딩은 토큰을 모델이 계산할 수 있는 숫자 공간에 배치한 표현입니다. 비슷한 맥락에서 자주 쓰이는 표현은 가까운 방향의 벡터로 표현되는 경향이 있습니다. 모델은 이 숫자들을 입력으로 받아 다음 계산을 진행합니다.

어텐션은 중요한 문맥을 고르는 장치다

트랜스포머 기반 LLM의 핵심은 어텐션입니다. 어텐션은 현재 토큰을 해석할 때 문맥 안의 어떤 토큰을 더 중요하게 볼지 계산합니다. 예를 들어 "은행에서 대출을 받았다"와 "은행나무 잎이 노랗다"는 '은행'이라는 글자가 들어가지만 의미는 전혀 다릅니다. 모델은 주변 표현과의 관계를 계산하면서 해당 토큰이 어떤 의미로 쓰였는지 조정합니다.

많은 생성형 LLM은 주로 디코더 구조를 사용합니다. 디코더 기반 모델은 이미 주어진 토큰들을 바탕으로 다음 토큰을 하나씩 예측합니다. 긴 답변도 한 번에 만들어지는 것이 아니라, 다음에 올 가능성이 높은 토큰을 반복해서 선택한 결과입니다. 그래서 LLM의 답변은 확률적입니다. 같은 질문에도 추론 설정값이나 문맥에 따라 조금씩 다른 답이 나올 수 있습니다.

여기서 주의할 점이 있습니다. BERT처럼 문장 전체를 이해하는 데 초점을 둔 모델은 양방향 문맥을 활용하지만, 일반적인 생성형 LLM은 답변을 생성할 때 앞서 나온 토큰을 기준으로 다음 토큰을 예측합니다. 이 차이를 이해하면 "왜 모델이 앞에서 한 말을 이어받아 답하는가", "왜 컨텍스트에 넣은 정보가 답변에 영향을 주는가"를 더 쉽게 이해할 수 있습니다.

다음 토큰 예측이 지시 수행으로 이어지는 방식

LLM의 기본 훈련 목표는 단순합니다. 주어진 문맥 다음에 올 토큰을 맞히는 것입니다. 하지만 대규모 텍스트를 학습하면 문법, 지식, 문체, 추론 패턴이 함께 압축됩니다. 여기에 "질문-답변", "명령-응답" 형태의 데이터를 추가로 학습하면 모델은 사용자의 지시를 따르는 패턴을 더 잘 익힙니다.

즉, 지시 수행 능력은 별도의 마법이 아닙니다. "이런 요청 뒤에는 이런 형식과 내용의 답변이 이어진다"는 확률 분포가 강화된 결과입니다. 파인튜닝은 바로 이 분포를 원하는 방향으로 밀어주는 작업입니다. 고객 상담처럼 정중한 말투를 강화할 수도 있고, 의료 문서 요약처럼 특정 형식의 답변을 안정적으로 내도록 만들 수도 있습니다.

컨텍스트 윈도우, 파라미터 수, 추론 비용

컨텍스트 윈도우는 모델이 한 번에 참고할 수 있는 토큰의 범위입니다. 길이가 크면 더 많은 문서를 넣을 수 있지만, 모든 문제가 해결되는 것은 아닙니다. 입력이 길어질수록 비용과 지연 시간이 늘고, 중요한 정보가 긴 문맥 속에 묻힐 수 있습니다.

파라미터는 모델이 학습 과정에서 조정한 숫자입니다. 파라미터 수가 많으면 더 복잡한 패턴을 담을 가능성이 커지지만, 추론 비용도 커집니다. 실무에서는 가장 큰 모델이 항상 정답은 아닙니다. 응답 품질, 속도, GPU 메모리, 동시 요청 수, 운영 비용을 함께 봐야 합니다. 작은 모델을 잘 튜닝하고 좋은 검색 시스템과 결합하는 편이 더 안정적인 경우도 많습니다.

파인튜닝은 가중치의 방향을 바꾸는 일이다

파인튜닝은 이미 학습된 모델의 가중치를 추가 데이터로 다시 조정하는 과정입니다. 전체 파인튜닝은 모델의 대부분 또는 모든 가중치를 업데이트합니다. 효과가 클 수 있지만 비용이 높고, 기존 능력이 일부 약해지는 망각 문제가 생길 수 있습니다.

부분 파인튜닝은 전체 모델을 크게 건드리지 않고 일부 가중치만 학습합니다. LoRA 같은 방식은 기존 가중치는 고정한 채 작은 보조 행렬을 학습해 필요한 변화만 반영합니다. 이렇게 하면 메모리와 비용을 줄이면서도 특정 업무에 맞는 행동을 만들 수 있습니다.

중요한 점은 파인튜닝이 지식을 파일처럼 넣는 작업이 아니라는 것입니다. 모델 내부의 확률적 경향을 바꾸는 일입니다. 그래서 결과를 해석할 때도 "정답을 외웠는가"보다 "원하는 상황에서 원하는 답변 경향이 안정적으로 강화되었는가"를 봐야 합니다. 이 관점을 이해해야 이후 데이터 설계, 학습 방식, 평가 기준을 제대로 정할 수 있습니다.