알파고가 바둑판을 뒤흔들다

서울의 바둑판 위에 놓인 질문

2016년 3월, 서울의 한 호텔 대국장에 전 세계의 시선이 모였다. 상대는 이세돌 9단. 인간 바둑의 최정상에 오래 서 있던 기사였다. 맞은편에는 사람이 앉아 있었지만, 실제 상대는 구글 딥마인드가 만든 알파고였다. 다섯 번의 대국 결과는 알파고의 4대 1 승리였다.¹

이 사건이 큰 충격을 준 이유는 단순히 컴퓨터가 게임을 이겼기 때문이 아니었다. 체스에서는 이미 1997년 IBM의 딥블루가 가리 카스파로프를 꺾었다. 그러나 바둑은 달랐다. 많은 사람은 바둑을 계산보다 직관의 영역으로 여겼다. 한 점이 지금 당장 이득인지 손해인지 알기 어렵고, 수십 수 뒤에야 의미가 드러나기도 한다.

AI 생성 이미지

왜 바둑은 어려웠을까

바둑판은 19줄과 19줄이 만나는 361개의 교차점으로 이루어져 있다. 첫 수부터 둘 곳이 매우 많고, 한 수가 만들어 내는 변화도 넓다. 체스처럼 말마다 정해진 움직임이 있는 것도 아니다. 검은 돌과 흰 돌은 모두 똑같이 생겼지만, 놓이는 위치에 따라 전혀 다른 힘을 갖는다.

AI에게 이것은 난감한 문제였다. 가능한 수를 모두 따라가며 계산하는 방식은 금세 한계에 부딪혔다. 경우의 수가 너무 빨리 불어나는 '조합 폭발'이 일어났기 때문이다. 더 큰 문제는 형세 판단이었다. 체스에서는 말의 가치나 왕의 안전처럼 비교적 뚜렷한 단서가 있지만, 바둑에서는 두터움, 세력, 삭감 같은 흐릿한 감각이 중요했다. 오랫동안 컴퓨터 바둑이 최고수의 벽을 넘지 못한 이유가 여기에 있었다.

알파고의 세 가지 도구

알파고는 이 벽을 한 가지 기술로 넘지 않았다. 딥러닝, 강화학습, 몬테카를로 트리 탐색을 결합했다.²

먼저 딥러닝은 이전 장에서 본 것처럼 여러 층의 신경망이 데이터 속 패턴을 배우는 방식이다. 알파고의 정책망은 수많은 바둑 기보를 보며 "이 장면에서 강한 기사라면 어디에 둘까"를 배웠다. 정책망은 넓은 바둑판에서 그럴듯한 후보 수를 좁혀 주는 눈 역할을 했다.

가치망은 현재 판세에서 이길 가능성을 추정했다. 사람 기사로 치면 "지금 흑이 좋은가, 백이 좋은가"를 감각적으로 판단하는 능력에 가깝다. 여기에 강화학습이 더해졌다. 강화학습은 정답지를 계속 받는 공부가 아니라, 직접 해 보고 보상을 통해 나아지는 방식이다. 알파고는 자신과 수없이 대국하며 이기는 방향으로 조금씩 조정되었다.

마지막으로 몬테카를로 트리 탐색은 가능한 미래를 무작정 전부 보는 대신, 유망한 길을 중심으로 여러 번 가상 대국을 해 보는 방법이다. 안개 낀 숲에서 모든 길을 다 걷는 대신, 좋아 보이는 길을 먼저 살피며 지도를 그리는 셈이다.

37수와 78수

두 번째 대국에서 알파고가 둔 37수는 많은 해설자를 당황하게 했다. 처음에는 이상한 수처럼 보였다. 인간 기사들이 익숙하게 선택하던 감각과 달랐기 때문이다. 그러나 시간이 지나자 그 수의 의미가 드러났다. 알파고는 인간이 자주 보지 않던 방향에서 판을 바라보고 있었다.

반대로 네 번째 대국에서는 이세돌 9단의 78수가 빛났다. 알파고도 흔들렸다. 이 한 판은 중요한 사실을 보여 주었다. 알파고는 강했지만 전능하지 않았다. 인간의 창의적 한 수도 여전히 존재했다. 그래서 이 대결은 인간의 패배담만이 아니었다. 인간이 만든 도구가 인간의 직관을 비추는 이상한 거울이 된 순간이었다.

게임을 넘어선 길

알파고 이후 게임 AI는 단순한 놀이의 승패를 넘어섰다. 알파고 제로는 인간 기보 없이 스스로 대국하며 실력을 키우는 방향을 보여 주었다. 게임은 현실보다 규칙이 분명하다. 그래서 AI가 시행착오를 반복하며 전략을 배우기에 좋은 실험장이 되었다.

이 흐름은 과학 문제로도 이어졌다. 딥마인드의 알파폴드, 특히 2020년에 큰 주목을 받은 알파폴드2는 단백질 구조 예측에서 중요한 진전을 보이며 생명과학과 신약 연구에 새로운 도구가 될 가능성을 보여 주었다.³ 물론 바둑을 잘 둔다고 바로 질병을 치료할 수 있는 것은 아니다. 하지만 알파고가 남긴 질문은 분명했다. 복잡한 선택지 속에서 더 나은 길을 찾는 일, 인간 전문가도 직관에 의존하던 영역을 데이터와 계산으로 탐색하는 일이 가능해진 것이다.

그날 바둑판 위에 놓인 것은 흑돌과 백돌만이 아니었다. "AI는 어디까지 갈 수 있는가"라는 질문이 함께 놓였다. 그리고 그 질문은 다음 시대의 AI를 향해 천천히 굴러가기 시작했다.

참고

¹AlphaGo versus Lee Sedol

²Mastering the game of Go with deep neural networks and tree search

³AlphaFold 3: an unprecedented opportunity for fundamental research and drug development