트랜스포머는 아직 왕좌에서 내려오지 않았다. 하지만 이제는 누구나 안다. 다음 시대의 핵심 질문이 더 이상 "모델을 얼마나 크게 만들 수 있는가"만은 아니라는 사실을 말이다. 이제 중요한 것은 같은 성능을 더 싸게 낼 수 있는가, 더 긴 맥락을 다룰 수 있는가, 기기 위에서 바로 돌아갈 수 있는가, 그리고 텍스트를 넘어 세계 자체를 이해할 수 있는가이다. 현재를 이해하는 마지막 단계는, 이미 시작된 다음 물결을 읽는 일이다.
트랜스포머 이후라는 말의 진짜 뜻
먼저 오해부터 풀자. "트랜스포머 이후"는 트랜스포머가 갑자기 쓸모없어졌다는 뜻이 아니다. 오히려 반대다. 트랜스포머는 너무 성공했기 때문에, 이제 그 한계가 더 선명하게 보이기 시작했다. 자기어텐션은 강력하지만 입력 길이가 길어질수록 계산량과 메모리 부담이 빠르게 커진다. 긴 문서, 긴 코드 저장소, 장시간 영상, 로봇 센서 스트림처럼 길고 복잡한 입력을 다루려면 비용이 급격히 올라간다.12
그래서 오늘의 연구는 "트랜스포머를 버릴까?"보다 "트랜스포머의 무엇을 남기고 무엇을 바꿀까?"에 더 가깝다. 이 흐름을 한 문장으로 요약하면 이렇다. 하나의 만능 구조가 모든 문제를 해결하던 시대에서, 여러 구조를 조합해 문제에 맞게 쓰는 시대로 가고 있다.
왜 새로운 아키텍처가 필요한가
트랜스포머가 부딪힌 벽은 단순히 논문 속 수식의 문제가 아니다. 아주 현실적인 문제다. 학습에는 막대한 GPU가 들고, 서비스 단계에서는 KV 캐시처럼 과거 정보를 기억하기 위한 메모리 비용이 커진다. 모델이 길게 생각할수록, 더 많이 기억할수록, 더 많은 돈이 든다. 그래서 모델 성능의 경쟁은 점점 더 "지능의 경쟁"인 동시에 "경제성의 경쟁"이 되었다.13
또 하나는 데이터의 성격이 바뀌었다는 점이다. 텍스트는 일렬로 흐르지만, 현실 세계는 그렇지 않다. 로봇은 카메라, 라이다, IMU, 행동 기록처럼 서로 다른 감각을 동시에 처리해야 한다. 물리 세계는 순서만 있는 것이 아니라 공간 구조와 시간 연속성을 함께 가진다. 이런 문제에서는 언어용 구조를 그대로 늘리는 것만으로는 한계가 드러난다.2
다시 말해, 다음 세대 AI는 더 큰 사전학습 모델이 되는 것만으로 충분하지 않다. 더 길게 보고, 더 싸게 계산하고, 더 다양한 감각을 묶고, 더 안정적으로 행동해야 한다.
효율의 시대: 더 크게보다 더 똑똑하게 켜기
트랜스포머 이후의 첫 번째 키워드는 효율이다. 여기서 효율은 성능을 포기하자는 말이 아니다. 같은 자원으로 더 많은 능력을 끌어내자는 뜻이다.
MoE: 거대한 모델을 부분적으로만 쓰는 발상
MoE(Mixture of Experts)는 이 흐름을 대표하는 아이디어다. 직역하면 "전문가들의 혼합"이다. 하나의 거대한 모델을 항상 전부 켜는 대신, 입력에 따라 일부 전문가만 선택해서 계산한다. 마치 대형 병원에서 모든 의사가 한 환자를 동시에 보지 않고, 필요한 전문의만 호출하는 방식과 비슷하다.
이 구조의 매력은 분명하다. 전체 파라미터 수는 크게 늘리면서도, 실제로 매 토큰마다 활성화되는 파라미터 수는 제한할 수 있다. 그래서 모델의 잠재 용량은 키우되, 매번 지불하는 계산비는 상대적으로 억제할 수 있다.1 최근 대형 모델 생태계에서 MoE가 자주 등장하는 이유도 여기에 있다.
물론 공짜 점심은 없다. 어떤 전문가를 고를지 결정하는 라우터가 필요하고, 특정 전문가에게 일감이 몰리는 문제도 생긴다. 분산 환경에서는 전문가가 여러 장비에 흩어져 있어 통신 비용이 커질 수도 있다. 그러니 MoE는 "무조건 빠른 구조"라기보다, 잘 설계하면 규모와 비용의 균형을 크게 바꿀 수 있는 구조라고 보는 편이 맞다.
흥미로운 점은 이 아이디어가 데이터센터에만 머물지 않는다는 것이다. 희소 활성화라는 특성 덕분에, 전문가 가중치를 외부 저장소에 두고 필요할 때만 불러오는 방식의 온디바이스 서빙 연구도 등장했다. 이는 MoE가 단순한 학술적 장난이 아니라, 실제 배치 방식까지 바꾸고 있음을 보여준다.5
소형 고성능 모델: 작아졌는데 왜 더 유능해졌을까
한동안 AI 업계는 "큰 모델이 강하다"는 사실에 매료되어 있었다. 지금도 그 말은 대체로 맞다. 하지만 이제는 다른 문장도 함께 성립한다. 작은 모델도 꽤 강해질 수 있다.
그 이유는 세 가지다. 첫째, 데이터 품질이 좋아졌다. 무작정 많이 넣는 것보다, 더 정제된 데이터와 더 좋은 커리큘럼이 중요해졌다. 둘째, 증류와 후처리 학습이 발전했다. 큰 모델이 배운 행동 양식을 작은 모델에게 전수하는 기술이 정교해졌다. 셋째, 아키텍처와 추론 최적화가 함께 발전했다. 양자화, 캐시 최적화, 작은 컨텍스트에서의 지연 시간 개선 같은 요소들이 실제 체감 성능을 크게 끌어올린다.
그래서 이제 제품 관점에서는 "최고 성능 모델 하나"보다 "작지만 충분히 좋은 모델 여러 개"가 더 현실적인 선택이 된다. 채팅은 3B급, 분류는 더 작은 모델, 기기 내 개인정보 처리는 온디바이스 모델처럼 역할을 나눌 수 있기 때문이다.
오픈 웨이트 모델이 생태계를 바꾸는 방식
트랜스포머 이후를 이해할 때 빼놓을 수 없는 축이 오픈 웨이트 모델이다. 오픈소스와 완전히 같은 말은 아니지만, 적어도 모델 가중치를 공개해 연구자와 개발자가 직접 내려받고 실험할 수 있게 한 흐름은 AI 생태계를 급격히 넓혔다.
이 변화의 의미는 단순히 "무료 모델이 많아졌다"가 아니다. 비교 실험이 쉬워졌고, 파인튜닝과 로컬 배치의 진입장벽이 낮아졌으며, 특정 산업에 맞춘 특화 모델을 빠르게 만들 수 있게 되었다. 결국 오픈 웨이트는 성능 경쟁만 바꾼 것이 아니라, 누가 AI를 만들 수 있는가의 범위를 바꾸었다.
하나의 후계자는 없다: SSM, 재귀 모델, 하이브리드 구조
트랜스포머의 다음 왕좌를 차지할 단 하나의 구조가 바로 등장할 것이라고 기대하면 실망하기 쉽다. 지금 더 설득력 있는 그림은, 여러 대안이 각자의 문제를 푸는 쪽으로 분화되는 모습이다.
대표적인 흐름이 상태공간모델(SSM, State Space Model) 계열이다. 이 계열은 과거 정보를 거대한 주의 행렬로 모두 보관하기보다, 압축된 상태로 들고 가며 갱신한다. 직관적으로 말하면 트랜스포머가 "읽었던 모든 메모를 책상 위에 펼쳐놓는 방식"이라면, SSM은 "중요한 내용을 작은 노트에 계속 요약해 적는 방식"에 가깝다. 그래서 긴 시퀀스나 스트리밍 입력에서 메모리와 계산 비용 측면의 장점이 크다.23
Mamba 같은 선택적 상태공간모델은 여기서 한 걸음 더 나간다. 무엇을 기억하고 무엇을 흘려보낼지를 입력 내용에 따라 조절한다. 과거의 RNN이 무조건 순서대로 흘려보내며 잊어버리기 쉬웠다면, 최신 계열은 "무엇을 남길지"를 더 영리하게 선택하려고 한다.23
이와 맞닿아 있는 흐름이 RWKV, xLSTM 같은 재귀 모델의 부활이다. 한동안 RNN은 구시대 유물처럼 여겨졌지만, 실제 서비스 관점에서는 여전히 매력적인 속성이 있다. 상태 크기가 일정하고, 스트리밍에 강하고, 긴 입력에서 메모리 증가가 완만하다는 점이다. 최근의 재귀 모델들은 예전 RNN의 단점을 현대적인 학습 기법으로 완화하며 다시 돌아오고 있다.24
하지만 여기서 중요한 결론은 "이제 모두 SSM으로 갈아탄다"가 아니다. 오히려 더 유력한 방향은 하이브리드 구조다. 정밀한 참조와 즉각적 상호작용이 필요한 구간에서는 어텐션을 쓰고, 긴 흐름을 저렴하게 유지해야 하는 구간에서는 SSM이나 재귀 블록을 쓴다. 실제로 최근 모델들 중에는 트랜스포머 블록과 Mamba 계열 블록을 섞어 쓰는 사례가 등장하며, 긴 컨텍스트와 추론 효율의 균형을 노리고 있다.4
결국 앞으로의 설계는 "무엇이 최고인가"보다 "어떤 계산을 어디에 배치할 것인가"의 문제가 된다. 딥러닝 모델이 하나의 건물이라면, 다음 세대 모델은 하나의 대형 홀보다 여러 기능이 나뉜 복합 단지에 가까워진다.
온디바이스 AI: AI가 클라우드 밖으로 내려온다
딥러닝의 다음 확장은 더 큰 데이터센터만이 아니라, 더 작은 기기이기도 하다. 스마트폰, 노트북, 자동차, 이어버드, 산업 장비처럼 사용자의 가까운 곳에서 바로 추론하는 온디바이스 AI는 더 이상 부차적 주제가 아니다.
왜 중요한가? 이유는 단순하다. 지연 시간이 짧고, 네트워크가 없어도 동작하며, 민감한 데이터를 기기 밖으로 보내지 않아도 되기 때문이다. 특히 개인 비서, 키보드 보정, 회의 요약, 카메라 기능, 차량 보조처럼 즉시성과 프라이버시가 중요한 기능에서는 온디바이스가 매우 강력하다.6
물론 기기 위에서 AI를 돌린다는 것은 제약과의 싸움이다. 메모리는 작고, 배터리는 한정되어 있고, 발열도 무시할 수 없다. 그래서 소형 모델, 양자화, 희소 활성화, NPU 최적화, 하이브리드 클라우드-엣지 분할이 모두 중요해진다. 어떤 작업은 기기에서, 어떤 작업은 클라우드에서 맡는 하이브리드 AI가 현실적인 기본값이 될 가능성이 크다.56
이 점에서 미래의 모델 경쟁은 "누가 더 큰 모델을 학습했는가"뿐 아니라 "누가 더 다양한 장치에서, 더 안정적으로, 더 싸게 돌아가게 만들었는가"의 경쟁이기도 하다.
월드 모델: 다음 토큰을 넘어서 다음 상태를 예측하기
지금까지의 생성형 AI는 주로 텍스트, 이미지, 음성처럼 표현을 잘 만들어내는 데 집중해 왔다. 그러나 로봇, 자율주행, 시뮬레이션, 게임 에이전트 같은 영역으로 가면 질문이 달라진다. 여기서는 "다음 단어가 무엇인가?"보다 "내가 이렇게 행동하면 다음 세계 상태는 어떻게 바뀌는가?"가 더 중요하다.
이 문제를 다루려는 흐름이 월드 모델이다. 월드 모델은 세계를 내부에 압축해서 표현하고, 그 안에서 미래를 예측하거나 행동 계획을 세우려는 접근이다. 쉽게 말해, 단순히 문장을 이어 쓰는 모델이 아니라 작은 시뮬레이터를 머릿속에 만든 모델이라고 볼 수 있다.
이 분야에서 중요한 것은 긴 시계열을 효율적으로 다루는 능력, 공간 구조를 잘 반영하는 표현, 그리고 행동과 결과의 관계를 안정적으로 학습하는 능력이다. 그래서 물리적 세계를 다루는 AI에서는 순수한 언어형 트랜스포머만으로는 부족하다는 문제의식이 커지고 있으며, 기하학적 구조나 연속 시간 동역학을 더 잘 반영하는 아키텍처가 주목받고 있다.2
월드 모델이 본격적으로 자리 잡으면, AI는 지식을 말하는 기계를 넘어 환경 속에서 가설을 세우고 결과를 예측하는 시스템으로 더 가까이 다가가게 된다. 그것은 챗봇의 연장선이면서도, 동시에 전혀 다른 종류의 지능이다.
뉴로심볼릭 AI: 패턴 인식과 규칙 추론을 다시 연결하기
딥러닝은 패턴을 잘 잡는다. 하지만 규칙을 엄밀하게 다루고, 중간 추론 과정을 검증하고, 명시적 제약을 지키는 일에서는 여전히 약한 면이 있다. 그래서 다시 떠오르는 접근이 뉴로심볼릭 AI다.
이름은 어렵지만 아이디어는 직관적이다. 뉴럴 네트워크의 강점인 인식과 표현 학습, 그리고 심볼릭 시스템의 강점인 논리와 규칙 처리를 결합하자는 것이다. 예를 들어 딥러닝이 문서에서 중요한 사실을 추출하고, 그다음 규칙 엔진이 법률 조항이나 업무 규정을 적용하는 식이다. 또는 모델이 후보 해답을 생성하고, 심볼릭 검증기가 모순을 걸러내는 방식도 가능하다.1
왜 이 접근이 다시 중요해질까? 모델이 더 커질수록, "잘 맞는 것처럼 보이는 답"과 "정말 규칙을 만족하는 답"의 차이가 커지기 때문이다. 특히 의료, 금융, 제조, 공공 영역처럼 틀리면 안 되는 분야에서는 그 차이가 치명적이다. 뉴로심볼릭은 딥러닝을 대체하려는 것이 아니라, 딥러닝이 약한 부분에 안전 레일을 깔아주는 방향으로 이해하는 편이 좋다.
AI for Science와 산업 특화 파운데이션 모델
파운데이션 모델의 다음 확장 축은 일상 대화를 더 잘하는 모델만이 아니다. 과학과 산업으로 깊게 들어가는 모델도 매우 중요하다.
AI for Science의 핵심은 명확하다. 단백질, 분자, 재료, 유전체, 기후, 물리 시뮬레이션 같은 영역에는 방대한 데이터가 있고, 그 안에는 인간이 바로 보기 어려운 복잡한 구조가 숨어 있다. 딥러닝은 이런 구조를 표현으로 압축하고, 예측과 탐색을 가속하는 데 강하다. 여기서 모델은 단순한 생성기가 아니라, 새로운 후보를 제안하고 실험 우선순위를 정하는 연구 도구가 된다.
산업 특화 파운데이션 모델도 같은 맥락에서 이해할 수 있다. 의료 모델, 법률 모델, 반도체 설계 모델, 제조 운영 모델처럼 특정 도메인에 오래 축적된 문서와 로그, 센서, 도면, 규정, 전문가 피드백을 한데 묶어 학습하는 것이다. 이런 모델은 범용 모델보다 좁아 보일 수 있지만, 실제 비즈니스 가치에서는 오히려 더 강력할 수 있다. 이유는 간단하다. 산업 현장에서는 재미있는 답보다 쓸 수 있는 답이 더 중요하기 때문이다.
앞으로 파운데이션 모델은 하나의 초거대 범용 모델만을 뜻하지 않을 가능성이 크다. 범용 기반 모델 위에 산업별 데이터와 평가 체계를 쌓아, 분야별로 깊어지는 방향이 더 현실적이다.
다음 세대 AI를 보는 세 가지 관점
여기까지의 흐름을 정리하면, 딥러닝 이후의 딥러닝은 세 가지 방향에서 동시에 진화하고 있다.
더 적은 비용으로 더 많은 능력을 내는 효율화
더 많은 감각과 더 긴 시간축을 다루는 범용화
더 엄격한 규칙과 현장 문제를 다루는 전문화
이 세 방향은 서로 경쟁하지 않는다. 오히려 함께 움직인다. 작은 고성능 모델은 온디바이스 AI를 밀어 올리고, MoE와 하이브리드 구조는 범용 모델의 경제성을 높이며, 뉴로심볼릭과 산업 특화 모델은 실제 업무 투입의 신뢰성을 높인다. 미래는 한 줄짜리 승리 공식으로 오지 않는다. 여러 축이 동시에 얽힌 채 도착한다.
트랜스포머 이후에도, 핵심은 여전히 표현과 학습이다
겉으로 보면 세상은 매우 빠르게 바뀌는 것 같다. 하지만 더 깊이 들어가면, 딥러닝의 본질은 그대로 남아 있다. 좋은 표현을 배우고, 목적에 맞는 손실을 설계하고, 계산 자원을 어디에 배분할지 결정하는 일이다. 달라진 것은 문제의 크기와 종류, 그리고 시스템 설계의 중요성이다.
트랜스포머는 한 시대를 연 구조였다. 그러나 다음 시대를 여는 것은 단일한 새 영웅이 아닐 가능성이 크다. 더 작은 모델, 더 영리한 라우팅, 더 긴 기억, 더 가까운 디바이스, 더 깊은 도메인 지식이 함께 새로운 지형을 만든다.
그래서 "딥러닝 이후의 딥러닝"이란 딥러닝의 끝이 아니라, 딥러닝이 더 현실에 가까워지는 과정이라고 말할 수 있다. 언어를 잘 다루는 모델에서, 세계를 다루는 시스템으로. 하나의 거대한 뇌에서, 목적에 맞게 구성된 지능의 생태계로. 다음 물결은 이미 시작되었다.
참고
1What comes after transformers? – A selective survey connecting ideas in deep learning
2Beyond Attention: The Post-Transformer Architecture Landscape for Physical AI
3The GPU Wall is Cracking: The Unseen Revolution in Post-Transformer Architectures
42024 in Post-Transformers Architectures (State Space Models, RWKV) [LS Live @ NeurIPS]
5EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.