hallucination은 인공지능이 사실과 일치하지 않는 확신 있는 응답을 내놓는 현상이다.

예를 들어 세종대왕 맥북프로 던짐 사건이 존재하지 않았음에도 불구하고 인공 지능이 이를 지어내어 거짓말로 자신있게 대답하는 현상이다.

이를 인공지능의 환각이라고 부른다. 인공지능 언어 모델은 다음 토큰을 확률적으로 예측하여 논리적으로 가장 맞아 보이는 대답을 하기 때문에 벌어지는 일이다.

그래서 인공지능이 대답한 내용을 잘 걸러서 듣거나 팩트 체크를 해서 사용해야 한다. 예를 들어 인공지능이 만들어 주는 코드는 매우 편하지만 이를 반영할 때는 이게 맞는지 인간이 판단할 수 있어야 한다. 그렇기 때문에 나는 기초 지식을 이해하는 게 중요하다고 생각한다.

또 인공지능이 모든 것을 알 수는 없다. 보편적인 논리는 학습했다고 하더라도 새로운 정보는 계속 발생하고 이를 반영하려면 비용과 인력이 필요하다. 그래서 당분간 나는 파인튜닝 쪽에 기회가 있다고 생각한다.

인공지능은 우리의 시간과 에너지를 매우 줄여줄 수 있는 편리한 도구이다. 하지만 한계도 있다는 점을 알아야 한다.