대형 언어 모델의 창발 능력은 인공지능을 도입하려는 기업과 개발자에게 단순한 학술 논쟁이 아닙니다. 특정 규모를 넘어서야만 보이는 능력이 있다면, 모델 선택은 비용 최적화 문제가 아니라 위험 관리 문제가 됩니다. 반대로 창발이 과장된 표현이라면, 무조건 큰 모델을 쓰는 전략은 낭비가 될 수 있습니다.
따라서 핵심 질문은 “큰 모델이 정말 더 똑똑한가”가 아닙니다. 더 정확한 질문은 이것입니다. 어떤 종류의 능력이 작은 모델에서는 사라지고, 큰 모델에서는 남는가?
창발을 둘러싼 실무적 오해
대형 언어 모델은 대규모 텍스트를 학습해 다음 토큰을 예측하는 방식으로 작동합니다.1 겉으로 보면 모델 크기가 커질수록 번역, 추론, 코딩, 수학 문제 풀이 같은 능력이 어느 순간 갑자기 나타나는 것처럼 보일 때가 있습니다. 이 현상을 흔히 창발 능력이라고 부릅니다.
문제는 ‘창발’이라는 표현이 쉽게 신비화된다는 점입니다. 마치 일정한 매개변수 규모를 넘으면 모델 내부에서 새로운 능력이 자연발생하는 것처럼 이해되기도 합니다. 하지만 실제 서비스 관점에서는 그런 설명만으로 충분하지 않습니다. 운영자는 더 구체적인 판단 기준이 필요합니다.
예를 들어 고객 상담 자동화, 문서 검토, 코드 보조, 규정 준수 점검처럼 실패 비용이 다른 업무에서는 같은 모델 성능표도 다르게 해석해야 합니다. 평균적인 질문에는 작은 모델이 충분할 수 있지만, 드문 예외와 복잡한 규칙이 중요한 업무에서는 평균 점수보다 ‘놓치지 않는 능력’이 더 중요할 수 있습니다.
모델 규모는 능력의 ‘발견’보다 ‘보존’에 영향을 준다
최근 연구 흐름에서 주목할 만한 관점은 창발을 초자연적인 도약이 아니라 학습 신호의 보존 문제로 보는 것입니다.2 모델은 학습 과정에서 다양한 패턴을 동시에 압축합니다. 이때 자주 등장하는 패턴, 단순한 패턴, 더 강한 통계적 신호를 가진 과제가 내부 표현을 먼저 차지할 가능성이 큽니다.
작은 모델은 내부 용량이 제한되어 있기 때문에 모든 신호를 같은 수준으로 유지하기 어렵습니다. 드물게 등장하는 과제나 다른 패턴과 충돌하는 과제는 학습 데이터 안에 있어도 안정적인 능력으로 남지 않을 수 있습니다. 반면 큰 모델은 더 많은 표현 공간을 갖기 때문에, 빈도가 낮은 과제의 신호가 다른 학습 신호에 밀려 사라질 가능성이 상대적으로 줄어듭니다.
이 관점은 창발 능력을 이해하는 방식을 바꿉니다. 중요한 것은 “능력이 없던 모델이 갑자기 능력을 얻었다”가 아니라, “데이터 속에 있던 약한 신호를 어느 규모부터 유지할 수 있었는가”입니다.
검증된 연구 사실이 주는 단서
Anthropic, Stanford 등 기관의 연구자들은 대형 언어 모델과 소형 언어 모델이 과제를 학습하는 방식에서 어떤 차이가 나타나는지 살펴봤습니다.2 연구팀은 400만~40억 개 매개변수 규모의 OLMo 모델을 사용했고, 이 모델들은 Dolma 코퍼스의 최대 2,100억 토큰으로 훈련됐습니다.3
실험에서는 숫자 비교와 모듈러 덧셈이라는 두 가지 인공 과제를 훈련 데이터에 섞었습니다. 특히 훈련 데이터의 0.25%를 차지한 과제는 충분히 큰 모델에서만 학습됐습니다.3
이 결과가 흥미로운 이유는 단순히 “큰 모델이 이겼다”는 데 있지 않습니다. 작은 모델도 해당 과제의 데이터를 전혀 보지 못한 것은 아닙니다. 차이는 노출 여부가 아니라, 제한된 모델 용량 속에서 그 신호가 다른 학습 내용과 경쟁한 뒤에도 남아 있었는지에 있습니다.
왜 이 차이가 제품 설계에서 중요한가
LLM을 실제 시스템에 넣을 때는 대부분 비용, 지연시간, 정확도 사이에서 타협해야 합니다. 큰 모델은 더 비싸고 느릴 수 있으며, 작은 모델은 빠르고 배포가 쉽습니다. 그래서 모든 요청을 가장 큰 모델로 처리하는 것은 항상 좋은 전략이 아닙니다.
하지만 창발 능력 논의는 작은 모델 활용의 한계를 분명히 보여줍니다. 작은 모델이 잘하는 일은 대체로 반복적이고 분포가 안정적인 작업입니다. 형식 변환, 짧은 요약, 정형화된 분류, 익숙한 질의응답처럼 학습 데이터에서 강하게 반복되는 패턴은 작은 모델에서도 충분히 작동할 수 있습니다.
반면 문제가 되는 영역은 긴 꼬리입니다. 드문 규칙, 예외적 입력, 복합 조건, 낮은 빈도의 지식, 여러 단계를 거치는 판단이 필요한 과제에서는 작은 모델이 겉보기보다 취약할 수 있습니다. 테스트셋의 평균 성능은 괜찮아 보여도, 실제 운영 중에는 드물지만 중요한 사례에서 차이가 벌어질 수 있습니다.
이 때문에 모델 선택은 “가장 높은 점수를 받은 모델”을 고르는 일이 아니라, 업무를 빈도와 위험도에 따라 나누는 일에 가까워집니다.
자주 반복되고 실패 비용이 낮은 작업은 작은 모델이 적합할 수 있습니다.
드물지만 실패 비용이 큰 작업은 큰 모델이나 별도 검증 절차가 필요합니다.
예외 처리가 많은 업무는 평균 성능보다 꼬리 사례 성능을 봐야 합니다.
자동화 수준이 높을수록 모델 규모뿐 아니라 라우팅, 재검증, 도구 결합이 중요해집니다.
창발을 평가할 때의 함정
창발 능력을 이야기할 때 또 하나 조심해야 할 점은 평가 방식입니다. 어떤 능력이 실제로 갑자기 생긴 것처럼 보이는 현상이 모델 내부 변화 때문인지, 아니면 측정 지표가 임계값을 가진 방식으로 설계됐기 때문인지는 구분해야 합니다. 일부 연구는 창발처럼 보이는 현상이 평가 방식 때문에 더 급격하게 나타날 수 있다고 지적합니다.4
예를 들어 연속적으로 조금씩 나아지는 능력도, 정답률이 특정 기준을 넘는 순간에만 성공으로 기록된다면 갑작스러운 도약처럼 보일 수 있습니다. 따라서 창발을 논할 때는 모델 크기만 볼 것이 아니라 과제 구성, 지표 설계, 데이터 빈도, 실패 유형을 함께 봐야 합니다.
이 점은 기업 벤치마크에도 그대로 적용됩니다. 공개 벤치마크에서 높은 점수를 받은 모델이 특정 조직의 내부 업무에서도 같은 방식으로 잘 작동한다고 보장할 수 없습니다. 특히 내부 문서, 전문 용어, 예외 규정처럼 빈도가 낮고 맥락 의존적인 요소가 많다면 별도의 검증이 필요합니다.
앞으로 봐야 할 것
LLM의 창발 능력 논의는 앞으로 “큰 모델이냐 작은 모델이냐”라는 이분법에서 벗어나야 합니다. 더 중요한 것은 어떤 능력이 데이터 빈도와 모델 용량의 영향을 크게 받는지, 그리고 그 능력을 제품 환경에서 어떻게 안정적으로 끌어낼지입니다.
독자가 앞으로 주목할 지점은 세 가지입니다.
첫째, 모델 규모가 커질 때 어떤 과제가 새롭게 가능해지는지보다, 어떤 드문 과제가 안정적으로 유지되는지를 봐야 합니다. 둘째, 벤치마크 평균 점수보다 실패 사례의 분포를 확인해야 합니다. 셋째, 하나의 모델에 모든 요청을 맡기기보다 작은 모델, 큰 모델, 검색 도구, 검증 로직을 조합하는 구조가 더 현실적인 해법이 될 수 있습니다.
창발 능력은 대형 모델을 신비화하는 단어가 아니라, 모델이 제한된 용량 안에서 무엇을 잃고 무엇을 보존하는지를 묻는 개념으로 이해하는 편이 더 유용합니다. 실무적으로는 결국 같은 결론에 도달합니다. 큰 모델이 필요한 순간은 평균적인 질문을 잘 처리할 때가 아니라, 드물지만 중요한 신호를 놓치면 안 될 때입니다.
참고
1Large language model - Wikipedia
2Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention
3Researchers pinpoint why larger language models pick up skills that small ones miss
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.