인간은 구체적으로, LLM은 다르게 추론한다

LLM이 “사람처럼 생각하는가”라는 질문은 너무 넓습니다. 더 실용적인 질문은 이것입니다. 어떤 조건에서 인간과 LLM의 판단 방식이 달라지는가.

최근 연구는 이 차이를 단순히 “인간이 더 낫다”거나 “AI가 더 낫다”로 결론내리지 않습니다. 대신 같은 과제에서 나타나는 행동 패턴을 비교합니다. 그중 행동게임이론은 단순한 게임 속 선택을 통해 인간의 사회적 행동과 전략적 판단을 분석하는 연구 틀입니다.¹

왜 하필 가위바위보인가

반복 가위바위보는 가벼운 게임처럼 보이지만, 전략 행동을 관찰하기에 좋은 실험장입니다. 상대의 선택 패턴을 읽고, 자신의 선택을 바꾸고, 이전 승패를 다음 행동에 반영하는 과정이 드러나기 때문입니다.

이론적으로 가위바위보의 내시균형은 예측 가능한 패턴을 피하기 위해 무작위로 행동하는 것입니다.¹ 하지만 인간은 실제로 완전히 무작위로 행동하지 않는 것으로 보고됐습니다.¹ 이긴 뒤 같은 선택을 반복하거나, 진 뒤 다른 선택으로 바꾸는 식의 습관과 편향이 나타납니다.

그래서 반복 가위바위보는 인간의 전략 행동, 인지 편향, 상대 모델링을 연구하는 통제된 테스트베드로 쓰입니다.¹ 단순한 게임이지만, “상대를 어떻게 예측하는가”라는 핵심 문제를 분리해 볼 수 있습니다.

연구가 보여준 차이: LLM은 때로 더 깊게 모델링한다

한 연구는 AlphaEvolve를 사용해 인간과 LLM의 행동을 설명하는 해석 가능한 모델을 데이터에서 직접 발견했습니다.¹ 즉, 연구자가 미리 정한 단순한 규칙에 맞춰 비교한 것이 아니라, 실제 선택 데이터를 설명하는 행동 모델을 찾아낸 것입니다.

그 결과 반복 가위바위보 분석에서 프런티어 LLM은 인간보다 더 깊은 전략 행동을 보일 수 있는 것으로 나타났습니다.¹ 연구는 프런티어 LLM이 별도 에이전트 스캐폴드 없이도 인간보다 더 높은 승률을 보였고, 더 복잡한 상대를 상대로도 더 높은 성과를 냈다고 설명합니다.¹

특히 AlphaEvolve가 발견한 Gemini 2.5 Pro의 행동 모델은 인간 모델보다 더 정교한 상대 모델링을 포함했습니다.¹ 이는 적어도 이 실험 조건에서는 최신 LLM이 단순히 다음 수를 찍는 것이 아니라, 상대의 행동 구조를 더 복잡하게 반영할 수 있음을 시사합니다.

그렇다고 “LLM이 더 잘 추론한다”는 뜻은 아니다

여기서 중요한 것은 결론을 과장하지 않는 것입니다. 반복 가위바위보에서 높은 성과를 냈다는 사실이 곧 모든 추론 과제에서 LLM이 인간보다 우월하다는 뜻은 아닙니다.

전략 게임은 규칙이 명확하고, 가능한 행동이 제한적이며, 반복을 통해 패턴을 학습하기 좋습니다. 이런 환경에서는 LLM의 넓은 패턴 탐색과 상대 모델링 능력이 강점으로 드러날 수 있습니다.

반대로 언어와 맥락이 중요한 과제에서는 다른 문제가 생깁니다. 조건문 전제 추론 연구에서는 인간이 확률적 단서와 화용적 맥락을 함께 반영한 반면, LLM은 인간과 비슷한 답을 내더라도 그 설명이 얕은 패턴 매칭에 가까울 수 있다고 보고했습니다.²

따라서 핵심은 “누가 더 똑똑한가”가 아닙니다. 어떤 과제에서, 어떤 방식의 추론이 요구되는가입니다.

실무적으로 봐야 할 기준

LLM의 약점은 항상 낮은 정확도가 아닙니다. 더 중요한 문제는 맞힌 이유를 신뢰할 수 있는가입니다.

전략 게임처럼 규칙이 분명하고 반복 가능한 환경에서는 LLM이 강한 상대 모델링을 보일 수 있습니다. 하지만 언어적 판단, 사회적 맥락, 암묵적 전제가 중요한 과제에서는 그럴듯한 답변이 실제 이해를 보장하지 않습니다.

중요한 업무에 LLM을 사용할 때는 답만 확인하지 말고 다음을 함께 점검해야 합니다.

• 근거가 구체적인가

• 반례나 예외를 검토했는가

• 맥락과 전제를 제대로 반영했는가

• 설명이 결과를 사후적으로 꾸민 것은 아닌가

인간은 구체적 경험과 상황 판단에 강하고, LLM은 넓은 패턴 탐색과 반복적 비교에 강합니다. 좋은 사용법은 둘 중 하나를 고르는 것이 아니라, 각자의 약점을 서로 보완하게 만드는 것입니다.

참고

¹Discovering Differences in Strategic Behavior between Humans and LLMs

²Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs