딥러닝이 잘 못하는 것들
딥러닝을 오래 공부하지 않은 사람일수록 모델을 과대평가하고, 조금 써 본 사람일수록 모델을 과소평가하는 일이 생깁니다. 전자는 너무 믿고, 후자는 너무 빨리 실망합니다. 둘 다 반쯤만 맞습니다. 딥러닝은 분명 강력하지만, 그 힘은 특정한 방식에서만 발휘됩니다. 신경망은 세상을 사람처럼 이해하는 존재라기보다, 대규모 데이터에서 입력과 출력 사이의 복잡한 관계를 학습한 함수에 가깝습니다. 그래서 훈련 데이터 근처에서는 놀라울 만큼 잘하지만, 상식 추론, 장기 계획, 완전히 새로운 상황으로의 일반화에서는 쉽게 흔들릴 수 있습니다.1
잘하는 것과 못하는 것의 경계
딥러닝의 핵심 강점은 패턴을 압축하는 능력입니다. 이미지에서 고양이의 형태를 잡아내고, 문장 속 다음 단어의 가능성을 계산하고, 음성에서 발화 패턴을 읽어 냅니다. 문제는 이 능력이 곧바로 이해, 진실, 추론을 뜻하지는 않는다는 점입니다.
사람은 낯선 상황을 만나도 상식과 배경지식을 끌어와 대응합니다. 반면 딥러닝 모델은 대개 훈련 중 자주 본 패턴 주변에서는 강하지만, 그 경계를 조금만 벗어나도 이상하게 무너질 수 있습니다. 어떤 사진에서는 사물을 정확히 맞히다가도 조명, 각도, 배경이 바뀌면 갑자기 엉뚱한 판단을 내리는 이유가 여기에 있습니다. 언어 모델도 마찬가지입니다. 글을 유창하게 쓰는 능력과 사실을 정확히 아는 능력은 같은 것이 아닙니다.1
이 차이를 이해하면 중요한 사실이 보입니다. 딥러닝의 한계는 성능이 낮아서 생기는 것이 아니라, 작동 방식 자체에서 나옵니다. 모델은 세계를 직접 다루지 않습니다. 데이터를 통해 세계의 흔적을 배울 뿐입니다. 그러니 우리는 모델을 만능한 지성으로 대하기보다, 잘 쓰면 엄청나게 유용하지만 통제 없이 믿으면 위험한 확률 시스템으로 봐야 합니다.
환각: 그럴듯함과 사실은 다르다
생성형 AI의 대표적인 한계는 환각입니다. 환각이란 문장이 문법적으로 자연스럽고 자신감 있어 보이지만, 사실은 틀리거나 근거가 없거나 아예 지어낸 경우를 말합니다.2 문제는 환각이 엉성한 오답의 얼굴로 오지 않는다는 데 있습니다. 오히려 너무 매끈해서 사람을 속입니다.
왜 이런 일이 생길까요. 언어 모델의 기본 목표는 세계의 참거짓을 판정하는 일이 아니라, 주어진 문맥 다음에 올 가능성이 높은 토큰을 예측하는 일입니다. 여기에 훈련 데이터의 빈틈, 오래된 지식, 애매한 프롬프트, 잘못된 검색 결과, 긴 문맥 속 잡음까지 겹치면 모델은 모르는 부분을 침묵으로 남기기보다 그럴듯한 문장으로 메워 버리기 쉽습니다. 최근 연구들은 환각이 프롬프트 설계 문제만으로 생기는 것이 아니라, 모델 내부의 확률 구조와 학습 데이터의 한계에서도 함께 나온다고 설명합니다.23
실무에서 더 중요한 사실은 이것입니다. 환각은 모델 하나만 더 좋게 만든다고 완전히 사라지지 않습니다. 그래서 사실성이 중요한 서비스는 별도의 검증 계층이 필요합니다. 예를 들어 제품 가격은 데이터베이스에서 직접 조회하고, 의학 정보는 신뢰 가능한 문서를 검색해 근거를 붙이고, 계산은 계산기나 코드 실행기로 넘기고, 민감한 답변은 사람이 최종 검토해야 합니다. 즉 사실성은 모델의 문장력으로 보장하는 것이 아니라, 시스템의 구조로 보장해야 합니다.5
RAG를 붙였다고 끝도 아닙니다. 검색이 틀리면 생성도 틀립니다. 관련 없는 문서가 끼어들거나, 서로 충돌하는 문맥이 함께 들어오거나, 정답 문서가 빠지면 모델은 그 빈틈을 다시 추정으로 채웁니다. 검색은 환각을 줄이는 강력한 도구이지만, 진실의 자동 보증서는 아닙니다.5
최근에는 모델의 불확실성을 읽어 환각 가능성을 탐지하려는 시도도 나옵니다. 의미 수준의 불확실성을 계산해 수상한 응답을 표시하는 방식이 대표적입니다.4 다만 이런 방법도 어디까지나 경고등이지, 참거짓 판정기 그 자체는 아닙니다. 결국 중요한 업무에서는 검증 가능한 외부 근거가 반드시 필요합니다.
추론의 불안정성: 같은 질문인데 답이 흔들린다
딥러닝과 LLM은 종종 똑같은 문제 앞에서도 안정적으로 같은 품질을 내지 못합니다. 질문의 표현을 조금 바꾸거나, 예시를 하나 더 넣거나, 출력 형식을 바꾸는 것만으로도 답의 품질이 흔들릴 수 있습니다. 이를 프롬프트 민감성이라고 부를 수 있습니다. 실제 연구에서도 어떤 환각은 프롬프트 방식에 크게 좌우되지만, 어떤 환각은 프롬프트를 정교하게 바꿔도 줄지 않는 모델 내부의 한계에서 비롯된다고 분석합니다.3
이 현상은 실무에서 꽤 골칫거리입니다. 예를 들어 고객 문의 분류 모델이 월요일에는 환불 문의를 잘 가려내다가, 질문 표현이 조금 달라진 화요일에는 배송 문의로 잘못 보내는 식의 문제가 생길 수 있습니다. 보고서 요약 도구도 어떤 날은 조심스럽게 답하다가, 비슷한 입력에선 지나치게 단정적으로 결론을 낼 수 있습니다. 사용자는 같은 시스템을 쓴다고 생각하지만, 내부적으로는 문맥과 표현 차이에 따라 전혀 다른 경로가 열릴 수 있는 셈입니다.
특히 여러 단계를 거치는 추론에서는 중간 한 걸음이 삐끗한 뒤, 그 오류를 끝까지 끌고 가는 경우가 많습니다. 수학 풀이, 계약서 비교, 긴 문서 요약, 복잡한 질의응답처럼 중간 판단이 누적되는 작업일수록 흔들림이 커집니다. 그래서 중요한 시스템에서는 단순히 모델 하나를 호출하고 끝내지 않습니다. 프롬프트를 고정하고, 출력 스키마를 제한하고, 자동 평가 세트를 두고, 같은 입력에 대한 일관성을 주기적으로 측정합니다. 딥러닝을 서비스에 붙이는 일은 정답을 뽑아내는 일이 아니라, 흔들림을 관리하는 일에 가깝습니다.
데이터 편향과 분포 이동: 훈련 때의 세상과 운영 중의 세상은 다르다
모델은 데이터로부터 배웁니다. 이 말은 아주 아름답게 들리지만, 동시에 아주 냉정한 경고이기도 합니다. 데이터가 왜곡되어 있으면 모델도 왜곡됩니다. 인터넷 텍스트에는 성별 고정관념, 지역 편향, 언어권 불균형, 특정 직업군에 대한 편견이 섞여 있습니다. 모델은 그것을 비판적으로 읽지 않습니다. 그저 패턴으로 흡수합니다. 그래서 편향된 데이터로 학습된 모델은 특정 집단에 불리한 예측을 내리거나, 어떤 사람들을 덜 보이게 만들 수 있습니다.67
여기에 분포 이동이라는 문제가 더해집니다. 분포 이동은 훈련 때 보던 데이터와 실제 운영 중 들어오는 데이터의 성격이 달라지는 현상입니다. 예를 들어 의료 모델이 한 병원의 장비와 환자군에 맞춰 학습됐는데 다른 지역 병원에 배포되면 성능이 떨어질 수 있습니다. 고객센터 분류 모델이 작년 정책과 상품군에 맞춰 학습됐는데 올해 새로운 상품과 새로운 사용자 표현이 등장하면 갑자기 오분류가 늘어날 수도 있습니다. 모델은 훈련 당시의 세계를 압축해 둔 것이지, 변화한 세계를 자동으로 이해하는 존재가 아닙니다.
이 두 문제가 무서운 이유는 오류가 평균적으로 보이지 않을 수 있기 때문입니다. 전체 정확도는 그럴듯해 보여도, 특정 집단에서만 성능이 크게 떨어질 수 있습니다. 즉 평균 점수는 괜찮은데 실제로는 불공정한 시스템이 만들어질 수 있습니다.7 그래서 배포 전 정확도만 보는 평가는 충분하지 않습니다. 집단별 성능, 시간에 따른 성능 변화, 새로운 입력 유형에서의 실패율을 함께 봐야 합니다.
내부는 강력하지만 불투명하다
딥러닝의 또 다른 한계는 설명하기 어렵다는 점입니다. 전통적인 규칙 기반 프로그램은 왜 그런 판단을 했는지 비교적 추적하기 쉽습니다. 규칙 A가 발동했고, 조건 B를 만족했으니, 결과 C가 나왔다고 말할 수 있습니다. 그러나 대규모 신경망은 수많은 가중치에 분산된 표현 속에서 판단을 만듭니다. 한 뉴런이나 한 층만 떼어 보고 전체 결정을 이해하기는 어렵습니다.6
물론 설명 가능성 연구가 없는 것은 아닙니다. 어떤 입력 부분이 예측에 크게 작용했는지 시각화하거나, 특정 특징이 출력에 미친 영향을 근사적으로 보여 주는 방법들이 있습니다. 이런 도구는 매우 유용합니다. 다만 여기서 조심해야 할 것이 있습니다. 설명 도구가 주는 그림은 판단의 진짜 원인을 완벽히 보여 주는 창이 아니라, 내부를 이해하기 위한 번역본에 가깝다는 점입니다. 번역본은 도움이 되지만 원문과 같지는 않습니다.
이 불투명성은 책임 문제와 직결됩니다. 의료, 금융, 채용, 보험 같은 영역에서는 결과만 맞으면 되는 것이 아닙니다. 왜 그런 결정이 내려졌는지도 설명할 수 있어야 합니다. 해석 가능성이 부족한 모델은 높은 성능을 내더라도 실제 채택에서 제약을 받을 수 있습니다. 그래서 현실에서는 성능이 아주 조금 낮더라도 더 설명 가능한 모델이나, 설명 보조 시스템을 함께 쓰는 경우가 많습니다. 강한 모델과 이해 가능한 시스템 사이에서 균형을 잡는 일이 중요합니다.
공격에 약할 수 있다: 작은 교란, 큰 오판
딥러닝은 똑똑해 보이지만 의외로 연약합니다. 컴퓨터 비전에서는 사람이 거의 알아차리지 못할 정도로 입력을 살짝 바꿨는데도 모델이 전혀 다른 대상을 인식하는 적대적 예제가 오래전부터 알려져 있습니다.18 이것은 모델이 세상을 사람처럼 본다고 착각하면 안 되는 이유를 잘 보여 줍니다. 인간에게는 분명한 판다가 모델에게는 갑자기 긴팔원숭이가 될 수 있습니다.
LLM에서는 공격의 형태가 조금 다릅니다. 여기서는 픽셀보다 문장이 공격 벡터가 됩니다. 악의적인 사용자가 시스템 지시를 무시하게 만드는 문장을 넣거나, 숨겨진 규칙을 끌어내려 하거나, 도구 호출을 잘못 유도하는 방식의 공격이 가능합니다. 흔히 프롬프트 인젝션, 탈옥, 데이터 유출 유도 같은 문제가 여기에 속합니다.9
이 위험은 모델이 도구와 연결될수록 커집니다. 단순 챗봇이 틀리면 이상한 문장을 내놓고 끝날 수도 있습니다. 그러나 검색, 메일, 파일 시스템, 데이터베이스, 결제 API와 연결된 에이전트가 공격을 받으면 잘못된 답이 잘못된 행동으로 이어질 수 있습니다. 그래서 보안은 모델의 예의 바른 답변만으로 해결되지 않습니다. 권한 분리, 입력 검증, 민감한 작업의 인간 승인, 실행 로그, 샌드박스 같은 전통적인 보안 원칙이 여전히 핵심입니다.9
그래서 우리는 AI를 어떻게 믿어야 할까
딥러닝의 한계를 안다고 해서 비관할 필요는 없습니다. 오히려 그 반대입니다. 한계를 아는 사람만이 모델을 제대로 믿을 수 있습니다. 과신은 위험하고, 과소평가는 아깝습니다. 필요한 것은 현실적인 신뢰입니다.
현실적인 신뢰는 대체로 네 가지 원칙에서 시작됩니다.
사실성은 모델의 말솜씨가 아니라 검색, 데이터베이스, 계산기, 인용, 인간 검토 같은 외부 검증으로 보강한다.
품질은 한 번의 데모가 아니라 프롬프트 변화, 사용자 변화, 시간 변화 속에서도 유지되는지 평가한다.
공정성은 평균 정확도로 숨기지 말고 집단별 성능과 실패 패턴까지 본다.
안전성은 모델에게 착하기를 기대하는 것이 아니라 권한, 가드레일, 로그, 승인 절차로 설계한다.
이제 우리는 딥러닝을 조금 더 정확히 볼 수 있습니다. 딥러닝은 마법이 아닙니다. 세상을 완전히 이해하는 지성도 아닙니다. 하지만 패턴을 학습하고, 표현을 만들고, 언어와 이미지와 행동을 연결하는 데서는 엄청난 힘을 발휘합니다. 중요한 것은 그 힘이 닿는 범위와 닿지 않는 범위를 구분하는 일입니다.
좋은 엔지니어, 좋은 기획자, 좋은 실무자는 모델이 어디서 빛나고 어디서 미끄러지는지 압니다. 그리고 바로 그 감각이 다음 장으로 이어집니다. 한계를 알았다면, 이제는 그 한계를 다루기 위한 원칙이 필요합니다. 안전하고 책임 있는 AI는 성능의 반대말이 아니라, 성능을 오래 유지하기 위한 운영 방식입니다.
참고
1The limitations of deep learning
2Large Language Models Hallucination: A Comprehensive Survey
4Detecting hallucinations in large language models using semantic entropy
5Hallucination Mitigation for Retrieval-Augmented Large Language Models: A Review
6Deep Learning and Beyond: Innovations, Limitations, and the Road Ahead
7Responsible AI: Ethical policies and practices
8What are the limits of deep learning?
9The Comprehensive LLM Safety Guide: Navigate AI regulations and Best Practices for LLM Safety
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.