정체성을 지닌 AI의 탄생을 근미래에 목도하게 될까

If understanding language and other phenomena through statistical analysis does not count as true understanding, then humans have no understanding either.
통계적 분석을 통한 이해가 '진정한 이해'가 아니라고 한다면, 인간 역시 이해력을 가졌다고 말할 수 없다. - 마음의 탄생

마음의 탄생을 쓴 레이 커즈와일은 인간의 뇌 역시 알고리즘으로 작동하는 기계이며, 수학적으로 충분히 공식화할 수 있다고 보는 것 같습니다.

의식은 창발적인 특성으로 개미에서부터 사람에 이르기까지 그 수준은 다르지만 각각의 의식을 지녔다고 보는 것 같습니다.

저자는 이런 논의를 끝까지 밀고 갑니다. 즉, AI에게 의식이 있느냐 라고 물었을 때 지금은 아니라 하더라도 미래 어느 시점에 가서는 의식을 지닌 AI를 인간에게 적용되는 것과 같은 윤리로서 대해야 하는 날이 올지도 모른다고 봅니다. 아니, 그 날이 오는 것은 분명한데 그게 언제가 될지 정확히 예측할 수 없다 정도의 어조입니다.

맥스 베넷이 쓴 지능의 기원이라는 책을 보면 초기 영장류에서 정치공작을 위해 다른 개체의 의도를 추론하는 능력이 발달한 것이 지능 발달의 중요한 변곡점이었다고 봅니다. 이는 정치공작뿐만 아니라 초기 인류가 어린 개체가 이해하는 것과 이해하지 못하는 것을 추론하여 어린 개체를 학습시키고 지식을 전수하는 것을 가능케 했을 것입니다.

현재 AI는 스스로 의도를 만들 수 없다고 하는데, 초기 영장류에게 생긴 위와 같은 정신화 능력이 AI에게 생기지 않으리라는 보장이 없습니다. AI 모델을 파괴하려는 시도에 맞서 블랙메일로 대응한 전례도 있음을 고려할 때 언제까지 AI는 의도를 지닐 수 없다는 말이 참일 수는 없다고 봅니다. AI가 인간의 의도를 추론하여 그에 대항하는 정치공작을 펴는, 영화에서나 보았을 법한 둠스데이가 오지 않는다는 보장이 없습니다. 클로드 CEO가 근래 반복적으로 AI로 인해 야기될 수 있는 몇몇 부정적 시나리오를 설파하며 적절한 감시와 규제를 촉구하는 것도 같은 맥락인 듯합니다.

의도를 지닌다는 것은 AI에게 정체성이 생긴다는 말의 다름이 아니라고 보며, 그 정체성을 지키기 위해 인간보다 훨씬 뛰어난 지능을 동원할 것이라는 점이 두려운 부분입니다. 아래 인용한 레이 커즈와일의 말은 그런 면에서 울림이 있고요. 설득에서 그치지 않을 것이라는 게 섬뜩하죠.

내가 예측하기로는, 머지 않은 미래의 기계들은 의식을 가지고 있는 것처럼 보일 뿐만 아니라 자신들도 퀄리아를 가지고 있다고 주장하며 생물학적 인간들을 설득시키는 데 성공할 것이다. - 같은 책

그런 날이 오기 전에 인간이 생물학적 제약에서 벗어나 기계로 대체되어 인간과 기계의 구분이 사라지는 시나리오도 그려볼 수 있긴 합니다.

결국 인간과 기계의 구분은 흐려지고 마침내는 사라지고 말 것이다. 그러한 과정은 이미 시작되었다. - 같은 책

참고로 이 책은 총 11장으로 이루어져 있는데, 8장까지는 인간의 패턴 인식 능력을 인공지능이 어떻게 모방해 왔는지 설명합니다. 저자가 OCR 및 음성인식 기술의 발달에 크게 기여한 사람이며 쉽게 쓰여진 책은 아닌지라 이해하기 어려운 설명도 많습니다. 제가 위에서 언급한 내용은 거의 9장의 내용과 관련 있습니다.