딥러닝의 부활과 이미지넷의 충격

오래된 아이디어가 다시 깨어나다

2000년대 후반, 신경망은 완전히 사라진 기술이 아니었다. 다만 주인공 자리에서 밀려나 있었다. 오래전 퍼셉트론은 기대를 모았지만, 단순한 구조로는 복잡한 세계를 다루기 어려웠다. 그러나 이번에는 조건이 달랐다. 인터넷은 엄청난 데이터를 쏟아냈고, 컴퓨터는 훨씬 빨라졌으며, 연구자들은 여러 층의 신경망을 훈련시키는 방법을 더 잘 다루게 되었다.

딥러닝은 말 그대로 '깊은 학습'이다. 여기서 깊다는 말은 신경망의 층이 여러 겹 쌓였다는 뜻이다. 첫 층은 이미지의 선, 색, 모서리 같은 단순한 단서를 잡고, 다음 층은 눈, 바퀴, 털 같은 조금 더 큰 모양을 배운다. 더 높은 층으로 갈수록 고양이, 자동차, 사람처럼 복잡한 대상을 알아보게 된다. 마치 아이가 처음에는 선을 보고, 다음에는 얼굴을 보고, 나중에는 표정을 읽는 것과 비슷하다.

AI 생성 이미지

틀린 만큼 거꾸로 고치는 법

다층 신경망이 힘을 얻은 데에는 역전파가 중요했다. 역전파는 정답과 예측의 차이를 계산한 뒤, 그 책임을 뒤쪽 층에서 앞쪽 층으로 거꾸로 나누어 보내며 연결 강도를 조정하는 방법이다. 시험지를 채점한 뒤 "어디서부터 잘못 생각했는지" 되짚어 보는 과정과 닮았다.

이 방법은 1980년대에 널리 알려졌지만, 당시에는 충분한 데이터와 계산 능력이 부족했다. 깊은 신경망을 훈련시키려면 수많은 곱셈과 덧셈을 반복해야 한다. 종이와 연필로 도시 전체의 교통량을 계산하는 것처럼 시간이 오래 걸렸다. 그래서 아이디어는 있었지만 폭발하지 못했다.

세 조건이 한곳에서 만나다

부활의 조건은 세 가지였다. 첫째, 대규모 데이터셋이었다. 페이페이 리가 이끈 연구진은 수많은 이미지를 모아 ImageNet을 만들었다. 이 데이터셋은 웹에서 모은 방대한 사진에 사람이 라벨을 붙인 거대한 학습장에 가까웠다.¹

둘째, GPU였다. GPU는 원래 게임 그래픽을 빠르게 그리기 위해 발전한 칩이다. 하지만 많은 계산을 동시에 처리하는 데 강했다. 신경망 학습에 필요한 행렬 계산은 줄을 길게 세워 하나씩 처리하기보다, 여러 계산대를 열어 한꺼번에 처리하는 편이 유리했다. GPU가 바로 그 역할을 했다.

셋째, 알고리즘 개선이었다. 합성곱 신경망은 작은 창으로 이미지를 훑으며 중요한 특징을 찾아낸다. 여기에 ReLU 같은 계산이 쉬운 활성화 함수, 과적합을 줄이는 드롭아웃 같은 기법이 더해졌다. 과적합은 학생이 원리를 이해한 것이 아니라 문제집 답만 외워 새 문제에 약해지는 현상과 비슷하다.

2012년, 이미지넷의 충격

2012년 이미지넷 대회에서 토론토대학교의 알렉스 크리제프스키, 일리야 수츠케버, 제프리 힌턴 팀은 AlexNet이라는 깊은 합성곱 신경망을 내놓았다. 이 모델은 두 개의 NVIDIA GPU로 훈련되었고, 기존 방식보다 훨씬 낮은 오류율을 기록했다. 당시 결과는 단순한 개선이 아니었다. 가장 가까운 경쟁자를 큰 차이로 앞섰고, 컴퓨터 비전 연구자들에게 "이제 방식이 바뀐다"는 신호를 주었다.²

그전까지 이미지 인식은 사람이 직접 만든 특징에 많이 의존했다. 연구자가 "모서리를 보라", "질감을 보라" 하고 단서를 설계했다. AlexNet은 달랐다. 데이터에서 특징을 스스로 배웠다. 사람이 모든 규칙을 적어 주는 AI에서, 기계가 많은 예시를 보며 표현을 만들어 내는 AI로 중심이 이동한 것이다.

딥러닝이 번져 간 길

이미지넷 이후 변화는 빨랐다. 사진 속 물체를 알아보는 기술은 스마트폰 앨범, 검색, 의료 영상 분석으로 이어졌다. 음성 인식은 사람의 말소리를 더 정확히 글자로 바꾸기 시작했고, 번역 시스템도 규칙 중심에서 신경망 중심으로 옮겨 갔다. 자율주행 연구에서는 카메라 영상에서 차선, 보행자, 표지판을 인식하는 데 딥러닝이 쓰였다.

물론 딥러닝이 모든 문제를 해결한 것은 아니다. 많은 데이터와 전력이 필요하고, 왜 그런 판단을 했는지 설명하기 어려운 경우도 있다. 그러나 2012년의 충격은 분명했다. 오래전 잠시 밀려났던 신경망은 데이터, GPU, 알고리즘이라는 세 바람을 만나 현대 AI의 중심으로 돌아왔다.

참고

¹AlexNet and ImageNet: The Birth of Deep Learning

²ImageNet Classification with Deep Convolutional Neural Networks