AI, 특히 LLM(대형언어모델)과 에이전트가 가져올 변화에 대해선 기대와 과도한 예측이 넘칩니다. Andrej Karpathy는 유명한 AI 연구자답게, "올해의 에이전트"라는 유행어에 쓴웃음을 짓고, "에이전트의 10년"이 필요하다는 신중한 시각을 내놓습니다. 인간처럼 배우는 기계, 자동화된 프로그래밍, 지속적 학습의 한계까지—이 글에서는 Karpathy의 통찰을 엿보며 앞으로의 AI가 어디로 가고 무엇이 남았는지 쉽고 흥미롭게 이야기해보겠습니다.

"올해의 에이전트"는 너무 빠르다: 왜 10년이 필요한가?

최근 AI 분야는 대화형 에이전트가 무섭게 발전 중이지만, Karpathy는 "이건 단순히 한 해의 붐이 아니라, 앞으로 10년을 걸쳐 천천히 진화할 문제"라고 단언합니다. 아직 우리가 매일 쓰는 Claude나 Codex같은 에이전트들은 "인상적이지만 미완성"이며, 지능의 한계와 멀티모달성, 컴퓨터 사용능력, 지속적 학습 등에서 장애물을 안고 있습니다.

Karpathy는 "에이전트가 진짜로 인간 직원(또는 인턴)처럼 쓸 수 있으려면, 아직 갈 길이 멀다"고 강조합니다. 실제로 여러분이 지금 AI에게 업무를 맡기지 않는 이유, 즉 "아직 작동하지 않는다"는 사실이 이 10년의 숙제를 잘 보여줍니다.

AI 학습 방식: 인간과 동물의 본질적인 차이

동물은 태어나자마자 복잡한 행동(예: 얼룩말 새끼가 곧장 달려다니기 등)을 '타고난 하드웨어' 덕분에 합니다. 하지만 AI는 인터넷 데이터로 인간을 모방할 뿐, 그런 진화 과정에 따르지 않습니다.

Karpathy는 "우린 동물을 만드는 게 아니라 디지털 유령(ghost), 즉 인간 행동을 흉내내는 영적 존재를 만들고 있다"고 비유합니다. AI가 인간처럼 직접 세상을 '경험'하며 배우는 것이 아니라, 데이터에서 지식과 학습 알고리즘을 압축해 뽑아내는 방식이란 것이죠. 앞으로 AI가 더 동물 같아질 수도 있지만, 근본적으로 그 출발점이 다르다는 점을 명확히 합니다.

현재 LLM의 부족한 점: 기억, 추론, 그리고 진짜 '지능'의 미묘함

대형언어모델(LLM)은 인터넷의 방대한 텍스트를 압축해 "모호한 기억"을 저장하는 데 그칩니다. 반면 사람이 책을 읽거나 대화를 나눌 때는, '작업 기억(working memory)'에 매우 직접적으로 정보를 다루며, 문맥에 따라 순발력 있게 사고방식을 바꿉니다.

Karpathy는 LLM이 "장기 지식은 희미하고, 작업중인 짧은 문맥만 뚜렷하게 처리한다"는 인간 두뇌와의 흥미로운 유사점도 지적합니다. 그럼에도 불구하고, LLM은 아직 주어진 맥락 밖에서는 의미 있는 응답을 하지 못하는 등 명백한 인지 결함을 드러냅니다.

코드 작성과 AI 자동화: 아직 '완전 자동화'는 멀었다

AI가 프로그래밍을 자동화할 거라는 기대에 대해, Karpathy는 실제로 "코드의 90%는 복붙 및 자주 쓰는 패턴에서만 잘 작동한다"고 일축합니다. 혁신적인 신규 레포지토리에서, LLM은 기존 방식(예: PyTorch DDP)을 계속 고집하거나, 코드 스타일을 제대로 이해하지 못하는 등 한계를 보입니다.

Autocompletion처럼 이미 잘 정형화된 작업엔 도움이 되지만, 새로운 구조나 세심한 커스텀 코드 통합에선 인간 개발자가 여전히 핵심 역할을 수행합니다. 결국 "더 나은 코드 에디터와 툴링의 진화"에 가까울 뿐, 진짜 혁신은 아직 멀었다는 현실을 보여주죠.

강화학습(RL): 효과적이지만 '어설프다'고?

강화학습은 여러 시도를 하고, 마지막 결과에 따라 전체 과정을 일괄적으로 학습하지만, 이 과정이 "매우 시끄럽고 비효율적"이라고 Karpathy는 비판합니다. 실제로 한 문제를 여러 방식으로 풀다가 맞히면, 그중 잘못된 과정까지 모두 '올바른 답'으로 업웨이트해버리죠. "빨대로 감독 신호를 빨아들인다"는 그의 재치있는 표현처럼, 우리는 과정의 세밀한 평가보다 결과 위주로만 학습시키는 한계에 봉착한 셈입니다.

그는 앞으로 "단계별(과정기반) 감독"처럼 더 섬세한 피드백이 도입되어야 한다고 봅니다. 하지만 LLM 같은 자동화된 채점 시스템은 여전히 '꼼수'와 '게임화'에 쉽게 노출되어, 완전 자율 학습은 쉽지 않아 보입니다.

인간의 학습: 꿈꾸고 반성하는 두뇌의 강점은 어떻게 AI에 적용할까?

인간은 책을 읽거나, 밤에 잠을 자거나, 멍 때릴 때 '내적 반성'을 통해 정보를 정리하고 새롭게 연결합니다. 하지만 LLM은 단순히 주어진 데이터를 직렬로 예측할 뿐, '내적 숙고'나 '다양한 변주'를 능동적으로 생성하지 못합니다.

Karpathy는 특히 "모델이 계속해서 똑같은 생각만 반복(데이터 붕괴)"하는 증상이 치명적이라 지적합니다. 인간처럼 풍부하고 다양한 생각을 "유지하는 방법"은 아직 AI 연구에서 핵심 과제로 남아 있습니다.

미래 기술의 흐름: 알고리즘, 데이터, 하드웨어 모두가 발전해야

마지막으로, Karpathy는 컴퓨터 비전 발전 역사를 예로 들며 "알고리즘, 훈련 데이터, 컴퓨팅 자원, 전체 시스템이 동시에 발전해야 진짜 변화가 가능하다"고 강조합니다. 단일 기술의 발전만으론 한계가 분명하다는 것. 앞으로도 대형 신경망과 그 기반이 되는 기술들은 꾸준히 바뀔 것이지만, 모든 요소의 개선이 꾸준히 병행되어야 AGI(범용 인공지능)로 진화할 수 있습니다.

에이전트와 AGI, AI의 미래: 느리지만 꾸준한 혁신이 답

Karpathy의 깊은 실제 경험을 통해, AI 자동화와 AGI에 이르는 길이 "단일 기술의 급진적 혁명이 아니라, 수많은 세부 요소의 점진적인 발전"임을 확인할 수 있습니다. 프로그래밍 자동화는 이미 부분적으로만 유용하며, 강화학습 역시 세심한 감독이 더 필요합니다. 인간처럼 경험을 반성하고, 다양성을 유지하는 AI를 만들기 위해선 학습 구조 전체를 새롭게 고민하는 연구가 절실하죠.

실용적 조언을 하자면—AI에 과도한 기대보다, 직접 코드를 짜고, 작은 자동화 도구부터 적극적으로 활용해보세요. LLM이나 에이전트가 완전히 인간의 일을 넘겨받는 시대는 아직 멀었지만, 그 진화의 한 가운데서 제대로 활용할 줄 아는 사람에게 더 큰 기회가 열릴 것입니다!

출처 및 참고 : Andrej Karpathy — AGI is still a decade away