LLM이 틱택토도 못 둔다는 말의 의미

LLM은 긴 글을 쓰고 코드를 만들 수 있습니다. 그래서 3×3 보드에서 진행되는 틱택토 정도는 쉽게 할 것처럼 보입니다. 하지만 실제로는 그렇지 않을 수 있습니다.

틱택토는 한 종류의 말을 놓는 2인 완전정보 게임입니다. 완전정보 게임은 양쪽이 현재 상태를 모두 볼 수 있는 게임을 말합니다.¹ 체스 역시 2인 완전정보 게임이지만, 8×8 보드와 여러 종류의 말을 사용한다는 점에서 훨씬 복잡합니다.¹

그래서 틱택토 실패는 더 흥미롭습니다. 문제는 게임이 어렵다는 데 있지 않습니다. 작고 명확한 규칙 안에서도 LLM이 상태를 끝까지 일관되게 추적하지 못할 수 있다는 데 있습니다.

규칙을 아는 것과 잘 두는 것은 다르다

한 실험은 LLM에게 틱택토의 X를 맡겼습니다. 시작 상태는 완벽하게 두면 3수 안에 이길 수 있는 상황이었고, 상대는 거의 완벽하게 두는 간단한 MCTS 구현이었습니다.¹ MCTS는 가능한 수를 탐색해 더 좋은 선택을 찾는 방식입니다.

실험은 같은 시작 상태를 회전한 4가지 형태로 진행했습니다. 해당 상태에서는 완전히 무작위로 둬도 약 11%의 게임에서 이길 수 있었습니다.¹ 그런데 여러 LLM은 이처럼 유리한 조건에서도 완벽한 플레이와 거리가 있었습니다. 일부는 무작위보다 조금 나았고, 일부는 거의 차이가 없었습니다.¹

이 결과를 “LLM이 틱택토 규칙을 모른다”로만 해석하면 핵심을 놓칩니다. 더 중요한 문제는 보드 상태를 읽고, 합법적인 다음 수를 고르고, 몇 수 뒤 결과까지 안정적으로 이어가는 능력입니다. LLM은 그럴듯한 답을 생성할 수 있지만, 그것이 항상 규칙을 만족하는 최선의 행동이라는 뜻은 아닙니다.

간단한 게임은 추론의 약점을 드러낸다

보드게임은 LLM의 한계를 확인하기 좋은 작은 실험실입니다. 상태가 공개되어 있고, 가능한 행동이 제한되어 있으며, 승패가 명확하기 때문입니다. 그래서 답변이 그럴듯한지보다 실제로 맞는지를 검증하기 쉽습니다.

이런 환경에서 LLM은 불법 수를 두거나, 막아야 할 수를 놓치거나, 패배한 뒤에도 이겼다고 주장할 수 있습니다. 더 넓은 게임 실험에서도 LLM은 여러 결정적 2인 완전정보 게임에서 안정적으로 이기지 못했고, 비격자 게임에서도 약한 모습을 보였습니다.²

반대로 LLM에 검색과 계획을 결합하면 결과는 달라집니다. 한 연구는 외부 탐색이나 내부 탐색 방식을 붙여 체스, 체스960, 커넥트포, 헥스에서 성능을 높였고, 체스에서는 그랜드마스터급 성능까지 보고했습니다.³

즉 게임 실패가 말해주는 결론은 “LLM은 쓸모없다”가 아닙니다. LLM만으로는 상태 추적과 최적 행동 선택을 안정적으로 처리하기 어려울 수 있으며, 필요한 경우 탐색·검증·시뮬레이션 같은 별도 장치가 필요하다는 뜻입니다.

실무에서 얻을 교훈

틱택토 실패는 장난스러운 사례처럼 보이지만, 실무에도 직접적인 시사점이 있습니다. 일정 관리, 재고 계산, 권한 승인, 워크플로 자동화처럼 상태와 규칙이 중요한 업무에서는 작은 오류가 곧 잘못된 결정으로 이어질 수 있습니다.

따라서 LLM을 설계에 넣을 때는 모델의 답변만 믿기보다 다음 장치를 함께 고려해야 합니다.

• 규칙 위반을 잡는 검증기

• 가능한 선택지를 탐색하는 알고리즘

• 결과를 미리 확인하는 시뮬레이터

• 반복적으로 오류를 잡는 테스트 코드

LLM은 설명자, 조언자, 인터페이스로는 강력합니다. 하지만 승패를 가르는 판단이나 규칙 준수가 중요한 영역에서는 검증 가능한 시스템과 함께 써야 합니다. 간단한 게임에서의 실패는 그 설계 원칙을 작고 명확하게 보여줍니다.

¹Current LLMs Apparently Cannot Play Tic-Tac-Toe in One Forward Pass

²LLMs Still Bad At Simple Games

³Mastering Board Games by External and Internal Planning with Language Models