LLM을 말할 때 “암기”는 흔히 부정적인 의미로 쓰입니다. 훈련 데이터에 있던 문장을 그대로 출력하거나, 민감한 정보를 재현하는 장면을 떠올리기 쉽기 때문입니다. 실제로 그런 암기는 개인정보 유출, 저작권, 보안 문제로 이어질 수 있습니다.
하지만 암기를 전부 결함으로만 보면 LLM이 어떻게 작동하는지 이해하기 어렵습니다. LLM은 수많은 문장 구조, 코드 패턴, 문제 풀이 형식, 개념 간 연결을 학습합니다. 이 축적된 패턴이 있어야 새로운 질문에도 답을 구성하고, 익숙하지 않은 문제에도 그럴듯한 추론을 시도할 수 있습니다.
암기는 추론의 반대가 아니다
사람도 아무것도 모르는 영역에서는 잘 추론하지 못합니다. 기본 개념, 사례, 공식, 표현을 어느 정도 기억하고 있어야 응용이 가능합니다. LLM도 마찬가지입니다. 완전히 빈 상태에서 답을 만드는 것이 아니라, 훈련 과정에서 익힌 패턴을 바탕으로 현재 입력에 맞는 출력을 조합합니다.
따라서 중요한 구분은 “암기냐 아니냐”가 아니라 “어떤 방식의 암기냐”입니다.
그대로 복사하는 암기: 훈련 데이터의 문장이나 정보를 거의 그대로 재현하는 경우입니다. 민감 정보 노출이나 저작권 문제로 이어질 수 있습니다.
패턴을 재조합하는 암기: 여러 사례에서 공통 구조를 학습한 뒤, 새로운 입력에 맞게 변형해 적용하는 경우입니다. 언어 이해, 코드 작성, 문제 풀이의 기반이 됩니다.
LLM의 추론은 암기와 분리된 능력이라기보다, 저장된 패턴을 현재 문맥에 맞게 선택하고 변형하는 과정에 가깝습니다.
좋은 모델은 많이 외우는 모델이 아니라 잘 쓰는 모델이다
암기량이 많다고 항상 좋은 모델은 아닙니다. 핵심은 모델이 무엇을 저장했는지보다, 그것을 언제 꺼내고 어떻게 변형하느냐입니다.
예를 들어 특정 문장을 반복적으로 그대로 출력한다면 위험 신호입니다. 반대로 여러 예시에서 공통 구조를 뽑아 새로운 문제에 적용한다면 일반화가 잘 된 것입니다. 겉으로는 둘 다 “기억”처럼 보이지만, 실제 가치는 크게 다릅니다.
그래서 LLM을 평가할 때 단순 정답률만 보는 것은 부족합니다. 훈련 데이터에 있던 문제를 맞힌 것인지, 비슷하지만 새로운 문제에도 원리를 적용한 것인지 구분해야 합니다. 암기와 일반화를 나누어 보는 테스트가 중요한 이유입니다.
활용할 때는 “기억”보다 “통제”가 중요하다
LLM을 제품이나 업무에 적용할 때는 “이 모델이 무엇을 알고 있나”보다 “알고 있는 것을 어떻게 다루나”를 봐야 합니다.
출처가 중요한 업무에서는 모델 내부 지식만 믿어서는 안 됩니다. 검색 증강, 인용, 검증 절차를 붙여야 합니다. 모델은 자신 있게 말할 수 있지만, 그 확신이 항상 사실을 보장하지는 않습니다.
반대로 반복 형식이 많은 업무에서는 암기가 강점이 됩니다. 고객 응대 문안, 코드 패턴, 문서 요약, 표준 절차 작성처럼 정형화된 작업에서는 LLM이 학습한 패턴을 빠르게 변형해 생산성을 높일 수 있습니다.
결국 암기는 LLM의 약점이면서 동시에 작동 조건입니다. 문제는 암기 자체가 아니라 통제되지 않은 암기입니다. 좋은 활용법은 모델의 기억을 부정하는 것이 아니라, 필요한 곳에서는 활용하고 위험한 곳에서는 검증하는 것입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.