데이터가 스승이 되는 시대

규칙을 다 쓰기에는 세상이 너무 컸다

두 번째 AI 겨울이 지나간 뒤, 연구실의 분위기는 조금 달라졌다. 사람들은 더 이상 "곧 인간처럼 생각하는 기계가 나온다"고 쉽게 말하지 않았다. 대신 더 조용하지만 단단한 질문을 던졌다.

"사람이 모든 규칙을 써 주지 않아도, 기계가 스스로 규칙을 찾아낼 수 있을까?"

전문가 시스템은 '만약 A라면 B'라는 규칙으로 움직였다. 하지만 현실은 예외투성이였다. 감기 증상 하나만 봐도 사람마다 다르고, 같은 단어도 문맥에 따라 뜻이 달라졌다. 규칙을 하나 추가하면 다른 규칙과 충돌했고, 세상이 바뀌면 규칙도 다시 고쳐야 했다.

머신러닝은 방향을 바꾸었다. 사람이 답을 직접 가르치는 대신, 예시를 많이 보여 주는 방식이었다. 아이가 고양이를 배울 때 "귀가 있고 수염이 있으며 네 발로 걷는 동물"이라는 정의만 외우지 않는 것과 비슷하다. 여러 고양이와 고양이가 아닌 동물을 보며 차이를 익힌다. 기계도 데이터 속에서 반복되는 모양을 찾기 시작했다.

AI 생성 이미지

예시가 규칙을 대신하다

스팸 메일을 떠올려 보자. 예전 방식이라면 사람이 "무료", "당첨", "지금 클릭" 같은 단어가 있으면 스팸으로 분류하라는 규칙을 만들었다. 그러나 스팸을 보내는 사람들도 곧 단어를 바꾸고, 제목을 비틀고, 발신자를 속였다.

머신러닝 방식은 달랐다. 먼저 스팸 메일과 정상 메일을 많이 모은다. 각각에 정답표를 붙인다. 그런 다음 알고리즘이 어떤 단어, 문장 패턴, 발신 정보가 스팸과 자주 함께 나타나는지 계산한다. 규칙은 사람이 한 줄씩 쓰는 것이 아니라, 데이터에서 뽑혀 나온다. 실제 스팸 필터 연구에서도 이런 전환은 손으로 만든 규칙이 빠르게 낡아 버리는 문제를 줄이기 위한 방법으로 설명된다¹.

이때 기계가 '이해'한 것은 아니다. 메일의 속마음을 읽은 것이 아니라, 많은 사례에서 통계적 단서를 찾은 것이다. 하지만 이 차이는 중요했다. AI는 완벽한 상식 없이도 쓸모 있는 판단을 조금씩 해낼 수 있게 되었다.

새 도구들이 등장하다

이 시기에 여러 머신러닝 기법이 주목받았다. 결정트리는 스무고개처럼 질문을 이어 간다. "이 단어가 있는가?", "이 숫자가 어떤 범위에 있는가?" 같은 질문으로 데이터를 갈라 결론에 가까워진다. 구조가 나무처럼 보여 결정트리라고 부른다.

베이즈 방법은 확률로 판단한다. 어떤 메일에 특정 단어들이 들어 있을 때 스팸일 가능성이 얼마나 되는지 계산한다. 특히 나이브 베이즈는 단순하고 빠르다는 장점 때문에 텍스트 분류에서 널리 쓰였다. '나이브'는 순진하다는 뜻인데, 단어들이 서로 독립적이라고 단순하게 가정하기 때문에 붙은 이름이다.

서포트 벡터 머신, 줄여서 SVM은 데이터를 공간 위의 점처럼 놓고 두 무리를 가장 잘 나누는 경계선을 찾는다. 종이 위에 흩어진 점들 사이로 가능한 한 넓은 길을 내는 장면을 떠올리면 된다. 복잡한 데이터에서도 분류 성능이 좋아 1990년대 이후 중요한 도구가 되었다.

인터넷은 거대한 연료였다

머신러닝이 힘을 얻은 이유는 알고리즘만이 아니었다. 인터넷이 퍼지면서 데이터가 폭발적으로 늘었다. 검색어, 클릭, 구매 기록, 별점, 이메일, 웹페이지가 매일 쌓였다. 과거 AI가 전문가 한 명의 지식에 의존했다면, 이제는 수많은 사용자의 흔적이 스승이 되었다.

추천 시스템은 이 변화를 잘 보여 준다. 아마존의 상품 추천은 "이 상품을 산 사람들이 다른 어떤 상품을 함께 샀는가" 같은 행동 데이터를 이용해 상품 사이의 관계를 계산했다². 사람이 "이 책을 산 사람에게는 저 책을 추천하라"고 일일이 쓰지 않아도, 구매 기록이 관계를 알려 주었다.

오늘날 추천 엔진은 클릭, 검색 기록, 장바구니, 구매, 평점 같은 데이터를 분석해 사용자에게 맞을 가능성이 높은 상품이나 콘텐츠를 고른다³. 검색 서비스도 비슷했다. 단어를 단순히 맞추는 데서 나아가, 사람들이 어떤 결과를 클릭하고 오래 머무는지 보며 더 나은 순서를 배웠다.

AI는 조용히 일상으로 들어왔다

이 시대의 AI는 영화 속 로봇처럼 등장하지 않았다. 대신 받은편지함에서 스팸을 치우고, 검색 결과를 정렬하고, 온라인 서점과 음악 서비스에서 다음 선택지를 보여 주었다. 눈에 잘 띄지 않았지만 사람들은 매일 그 결과를 사용했다.

중요한 변화는 이것이었다. AI는 더 이상 모든 지식을 사람에게 받아 적는 학생만이 아니었다. 데이터라는 연습장을 펼쳐 놓고, 틀리고 고치며 패턴을 찾는 학생이 되었다. 그리고 곧 이 학생은 더 많은 데이터, 더 빠른 컴퓨터, 다시 살아난 신경망을 만나게 된다. 그 만남은 이미지 인식의 세계에서 큰 충격을 일으킨다.

참고

¹Machine learning for email spam filtering: review, approaches and open research problems

²The history of Amazon's recommendation algorithm

³What is a recommendation engine?