Arm이 드디어 "완성품 칩"을 들고 나왔습니다. 라이선스(IP)만 팔던 모델에서 벗어나, AI 데이터센터용 첫 자체 CPU 'Arm AGI'를 발표한 건데요. 이 변화는 단순 신제품이 아니라, 앞으로 데이터센터에서 CPU의 역할이 다시 커진다는 신호로 읽힙니다.1
이번 글에서는 "왜 지금 Arm이 직접 칩을 파는지", "Arm AGI CPU가 겨냥하는 진짜 일감은 뭔지", "생태계와 시장에 어떤 파장이 생길지"를 핵심만 정리해볼게요.
Arm AGI CPU란? AI 데이터센터용 '오케스트라 지휘자' CPU
Arm AGI CPU는 GPU처럼 모델을 직접 돌려서 토큰을 찍어내는 주인공이 아닙니다. 대신 GPU/가속기들이 일을 잘하도록 뒤에서 판을 깔아주는 역할에 집중합니다. 대규모 추론 환경에서 작업을 쪼개 배분하고, 메모리·스토리지·네트워크로 데이터를 옮기고, 가속기 활용률이 떨어지지 않게 스케줄링하는 "오케스트레이션"이 핵심이죠.2
스펙도 그 목적에 맞춰 설계됐습니다. 최대 136코어(Neoverse V3), 300W TDP, DDR5 12채널(최대 8800MT/s), PCIe Gen6 96레인과 CXL 3.0을 내세우며, 메모리 대역폭을 800GB/s 이상으로 강조합니다.3 요약하면 "코어 수만 많은 CPU"가 아니라, AI 인프라에서 병목으로 자주 지목되는 메모리/입출력/지속 부하를 정면으로 다루는 방향입니다.
왜 '에이전틱 AI'가 CPU를 다시 주연으로 끌어올렸나
AI가 챗봇을 넘어 "일하는 에이전트(Agent)"로 진화하면, GPU만 빨라서는 속도가 안 나옵니다. 에이전트는 추론만 하는 게 아니라 도구 호출, DB 조회, API 연동, 코드 실행, 작업 분기(서브 에이전트) 같은 CPU 친화적 일을 엄청나게 많이 합니다. 결국 GPU는 대기 중인데 CPU가 바쁘고, 그 사이 토큰 처리량과 서비스 응답이 밀리는 장면이 늘어납니다.
Arm은 이런 흐름이 데이터센터의 CPU 수요를 크게 늘릴 거라고 보고, "기가와트(GW)당 CPU 용량이 지금보다 4배 이상 필요"해질 수 있다고까지 이야기합니다.4 그래서 AGI CPU는 멀티스레딩(SMT) 같은 전통적 '피크 성능 꼼수'보다, 코어당 스레드 1개로 예측 가능한 성능을 내는 쪽에 무게를 둔 설계로 알려졌습니다.3 에이전트 워크로드는 짧고 다양한 작업이 동시에 쏟아지니, "꾸준히 버티는 성능"이 더 중요하다는 판단으로 볼 수 있죠.
라이선스 회사가 칩을 팔면 생태계는 어떻게 흔들릴까
Arm의 정체성은 원래 "설계도(ISA/코어 IP) 제공자"였습니다. 그런데 이제는 IP, CSS(컴퓨트 서브시스템), 그리고 Arm이 직접 설계한 실물 칩까지 '3단 메뉴'를 제시합니다.4 고객 입장에선 선택지가 늘지만, 업계가 예민하게 보는 지점도 분명합니다. Arm의 큰손 고객들(AWS, 구글, MS, 엔비디아 등)은 이미 Arm 기반 자체 CPU를 만들고 있으니까요. Arm이 칩을 팔기 시작하면, 어떤 고객에게는 "공급자이자 경쟁자"가 됩니다.5
그럼에도 Arm이 이 카드를 꺼낸 이유는 명확합니다. 에이전틱 AI로 데이터센터 구조가 바뀌는 타이밍에, "바로 쓸 수 있는 생산 준비된 플랫폼"을 원하는 수요가 커졌다는 것. Arm은 랙 단위 구성(공랭 36kW 랙에 8,160코어, 수랭 구성에 45,000코어 이상)과 "x86 대비 랙당 2배 성능" 같은 메시지로 시장을 흔들고 있습니다.23 물론 이 수치는 자체 추정이니, 향후 독립 벤치마크가 관건입니다.
시사점
첫째, Arm AGI CPU는 'GPU 대체'가 아니라 'GPU를 놀지 않게 만드는 CPU'에 가깝습니다. AI 인프라의 병목이 점점 오케스트레이션·데이터 이동·메모리로 옮겨가면서, CPU가 다시 비용과 성능을 좌우하는 자리에 복귀하고 있습니다.
둘째, 인프라를 운영하거나 AI 서비스를 만드는 팀이라면 "가속기만 고르면 끝"이라는 사고에서 벗어나야 합니다. 추론 파이프라인에서 CPU가 맡는 구간(도구 호출, 전처리/후처리, RAG, 네트워킹, 스케줄링)을 분리해 측정하고, GPU가 CPU 대기 때문에 묶여 있는지부터 점검해보세요. 그게 보이면, 고성능 CPU 도입이 '비용 증가'가 아니라 'GPU 절감'으로 이어질 여지도 생깁니다.
셋째, 칩 시장 관점에선 Arm의 실물 칩 판매가 장기적으로 라이선스 생태계와 어떤 균형을 만들지가 핵심 변수입니다. Arm이 약속한 대로 "고객과 경쟁"이 아니라 "고객의 선택지 확장"으로 정착할지, 혹은 일부 고객의 자체 설계 전략을 더 자극할지는 2026~2027년 실제 대규모 배치 결과가 말해줄 겁니다.
참고
1Arm breaks from its licensing-only model with first in-house chip built for AI data centers
2Announcing Arm AGI CPU: The silicon foundation for the agentic AI cloud era
4Arm expands compute platform to silicon products in historic company first
5Arm jumps 16% as company expects revenue windfall from new chip, a 'significant shift'
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.