CUDA Agent: GPU 커널 최적화를 자동화된 탐색으로 바꾸다
GPU 커널은 딥러닝 연산을 GPU에서 직접 수행하는 작은 프로그램이다. 모델의 실행 속도와 비용을 좌우하지만, 제대로 최적화하려면 메모리 구조와 하드웨어 동작에 대한 깊은 전문성이 필요하다.1
ByteDance Seed와 Tsinghua AIR가 공개한 CUDA Agent는 이 작업을 단순한 코드 생성이 아니라 에이전트형 강화학습 문제로 다룬다. 모델이 커널을 작성하는 데서 끝나지 않고, 직접 실행해 정확성과 성능을 확인하며 더 나은 구현을 반복적으로 탐색하도록 훈련하는 시스템이다.
좋은 코드보다 검증 가능한 개발 루프
CUDA Agent는 데이터 합성, 기술 명세가 결합된 실행 환경, 장기 강화학습 안정화 기법으로 구성된다.2 에이전트의 작업 흐름은 다음과 같다.
CUDA 커널 구현
컴파일
정확성 검증
성능 프로파일링
결과를 바탕으로 반복 최적화3
이 구조의 핵심은 실행 결과가 학습 보상으로 이어진다는 점이다. 문법적으로 그럴듯한 코드가 아니라, 실제로 올바르게 작동하면서 더 빠른 코드가 높은 평가를 받는다. 검증과 프로파일링 도구를 학습 환경에 포함한 이유도 여기에 있다.
6,000개 학습 과제를 설계한 방식
학습 데이터셋 CUDA-Agent-Ops-6K는 torch와 transformers에서 수집한 연산자를 바탕으로 만든 6,000개 샘플로 구성된다. 데이터 합성 과정에서는 최대 5개의 연산자를 순차적으로 결합해 연산 융합 과제를 생성했다.2
생성된 과제는 그대로 사용하지 않고 다음 기준으로 선별했다.
PyTorch eager 모드와 torch.compile에서 모두 정상 실행될 것
확률적 연산자나 퇴화된 출력을 포함하지 않을 것
eager 모드 실행 시간이 1~100밀리초 범위일 것
KernelBench 테스트와 지나치게 유사하지 않을 것2
마지막 기준은 평가 데이터와의 오염 위험을 줄이기 위한 조치다. 나머지 조건은 강화학습에 필요한 안정적인 피드백을 확보한다. 과제가 반복 실행 가능하고 결과를 명확히 검증할 수 있어야 모델도 편법이 아닌 실질적인 최적화 능력을 학습할 수 있다.
벤치마크 수치에서 확인할 점
기본 모델 Seed1.6은 KernelBench에서 74.0%의 통과율을 기록했다. 연구진이 보고한 최종 시스템의 전체 통과율은 98.8%였으며, torch.compile보다 빨랐던 비율은 96.8%, 기하평균 속도 향상은 2.11배였다.2
이 수치는 정확성 검증과 성능 측정을 반복하는 에이전트형 학습이 기본 모델의 능력을 확장할 수 있음을 보여준다. 다만 벤치마크 결과가 모든 실제 서비스에서 같은 성능 향상을 보장하지는 않는다. 도입을 검토할 때는 GPU 세대, 입력 크기, 컴파일 비용, 기존 시스템과의 통합 조건을 함께 확인해야 한다.
CUDA Agent가 보여주는 더 중요한 변화는 커널 최적화를 전문가의 일회성 코딩 작업에서 측정과 피드백을 중심으로 한 자동화된 탐색 과정으로 전환했다는 점이다. 실무적으로도 생성된 코드 자체만 평가하기보다, 정확성 검증과 반복 가능한 성능 측정을 포함한 전체 최적화 루프를 설계하는 것이 핵심이다.
요약: CUDA Agent의 핵심은 코드를 한 번 잘 생성하는 모델이 아니다. 정제된 학습 과제와 실행·검증·프로파일링 환경, 안정적인 강화학습을 하나의 반복 루프로 결합해 GPU 커널 최적화를 자동화한 시스템이다.
1[2602.24286] CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation
2CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation
3CUDA-Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.