LLM에게 “생각하라”고 시키는 이유는 보통 복잡한 문제를 풀기 위해서다. 수학, 코딩, 다단계 추론처럼 중간 계산이 필요한 작업에서 생각의 가치가 뚜렷해 보인다.
그런데 Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs는 조금 다른 질문을 던진다. 단순한 사실 질문에서도 왜 생각하기가 도움이 될까?1
연구진은 Gemini-2.5 Flash, Gemini-2.5 Pro, Qwen3-32B를 SimpleQA Verified와 EntityQuestions로 평가했다.1 여기서 중요한 점은 모델이 외부 검색으로 새 정보를 찾은 것이 아니라, 이미 가중치 안에 저장된 파라메트릭 지식을 더 잘 꺼냈다는 해석이다.
즉, 이 논문의 핵심은 “LLM이 더 똑똑하게 추론했다”라기보다 “생각하는 과정이 기억을 호출하는 방식에 영향을 준다”는 데 있다.
생각은 답변 전 계산 시간을 만든다
첫 번째 효과는 계산 완충 효과다. 모델이 바로 답하지 않고 토큰을 더 생성하면, 그만큼 내부적으로 답을 형성할 시간이 생긴다.
연구진은 이를 확인하기 위해 실제 추론 흔적을 의미 없는 반복 문자열인 “Let me think”로 대체했다. 흥미롭게도 이런 문자열만 반복해도 추론을 끈 경우보다 정답 회상이 좋아졌다.1
이 결과는 생각의 일부 효과가 내용 자체가 아니라 답변을 미루며 생기는 추가 계산 기회에서 나온다는 점을 보여준다. 다만 의미 없는 반복은 자연스러운 추론 흔적의 성능을 완전히 따라가지는 못했다.1 따라서 “시간을 버는 효과”는 중요하지만, 전체 설명은 아니다.
관련 사실을 먼저 꺼내면 기억이 연결된다
두 번째 효과는 사실 프라이밍이다. 모델은 단순 사실 질문에 답할 때도 곧바로 정답을 말하기보다, 질문 주변의 관련 사실을 먼저 생성할 수 있다. 이 중간 사실들이 정답을 떠올리는 의미적 단서가 된다.
예를 들어 어떤 인물, 장소, 사건에 대한 질문에서 모델이 관련 배경 정보를 먼저 떠올리면, 최종 답에 도달할 가능성이 높아질 수 있다. 이때 생각은 논리 증명이라기보다 기억을 활성화하는 경로에 가깝다.
하지만 이 방식에는 위험도 있다. 중간에 생성한 관련 사실이 틀리면, 최종 답변도 잘못된 방향으로 끌려갈 수 있다. 논문은 중간 사실에 환각이 섞이면 최종 답변의 환각 가능성도 커진다고 보고한다.1
그래서 실무적으로 중요한 기준은 “길게 생각하게 했는가”가 아니다. 더 중요한 것은 중간에 생성된 사실이 검증 가능한가, 그리고 그 사실이 최종 답과 실제로 관련 있는가다.
기억은 감이 아니라 조건의 문제다
이 관점은 LLM의 기억을 다루는 다른 연구와도 맞닿아 있다. LoRA는 동적 환경에서 LLM의 지식을 업데이트하는 데 널리 쓰이는 저랭크 적응 방식이다.2 LoRA 기반 기억 연구는 LoRA를 통제된 기억 용량 프로브로 사용해, 정확한 파라메트릭 메모리를 정량화했다.2
특히 Parametric Memory Law는 손실 감소량 ΔL을 유효 파라미터 수와 시퀀스 길이에 연결하는 거듭제곱 법칙으로 설명한다.2 이는 모델의 기억을 막연한 능력이 아니라, 파라미터와 데이터 조건에 따라 달라지는 측정 가능한 현상으로 보게 만든다.
토큰 수준 분석도 실용적인 힌트를 준다. 예측 확률이 0.5를 넘으면 그리디 디코딩에서 축어적 회상이 가능하다는 충분조건이 제시됐다.2 또 MemFT는 임계값보다 낮은 토큰에 학습 예산을 동적으로 재분배해 기억 충실도와 효율을 높일 수 있음을 보였다.2
이 흐름에서 보면 Thinking to Recall의 의미가 더 분명해진다. 지식은 가중치 안에 “있다/없다”로만 판단할 수 없다. 어떤 조건에서, 어떤 생성 경로를 통해, 얼마나 안정적으로 꺼낼 수 있는지가 중요하다.
정답률만으로는 생각의 품질을 알 수 없다
추론을 평가할 때도 같은 문제가 생긴다. 최종 답 정확도나 토큰 수만 보면 서로 다른 추론 구조가 같은 점수로 보일 수 있다.3
Reasoning Structure 연구는 비정형 추론 흔적을 주장과 의존관계로 된 검증 가능한 추론 그래프로 변환하는 파이프라인을 제안한다.3 이렇게 하면 모델의 생각을 단순한 텍스트가 아니라, 위상적으로 정량 분석 가능한 구조 객체로 볼 수 있다.3
이는 Thinking to Recall을 실제로 활용할 때 특히 중요하다. 모델이 정답을 맞혔더라도 우연히 맞힌 것인지, 관련 사실을 올바르게 연결한 것인지, 중간 환각을 거쳐 운 좋게 도달한 것인지는 다르다. 생각의 가치는 길이가 아니라 구조와 검증 가능성에서 드러난다.
실무에서의 결론
LLM의 “생각”은 단순한 추론 엔진이 아니다. 답변 전 계산 시간을 제공하고, 관련 사실을 활성화하며, 가중치 안의 파라메트릭 지식을 꺼내는 기억 인터페이스로도 작동한다.
따라서 실제 적용에서는 긴 Chain-of-Thought를 무조건 요구하는 전략보다 다음 기준이 더 유용하다.
답변 전 충분한 생성 여유를 주되, 불필요하게 길게 만들지는 않는다.
중간에 나온 사실이 검증 가능한지 확인한다.
여러 추론 경로 중 관련 사실을 정확히 포함한 경로를 선호한다.
최종 정답뿐 아니라, 답에 이르는 구조와 중간 주장도 평가한다.
결국 Thinking to Recall이 주는 메시지는 명확하다. LLM에게 생각은 “문제를 푸는 과정”일 뿐 아니라, 이미 알고 있는 것을 더 잘 떠올리게 만드는 방법이다.
참고
1Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs
2How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.