NVIDIA는 2026년 9월 30일, 표 형태의 정형 데이터(tabular data)를 전처리나 별도의 추가 학습 없이 바로 예측할 수 있는 개방형 표 형태 기초 모델(Tabular Foundation Model, TFM)인 Kumo Tabular를 출시했습니다2. 정형 데이터는 고객 정보, 금융 거래, 로그 데이터 등 기업 핵심 ML 워크로드의 중심이지만, 그동안은 새로운 문제가 주어질 때마다 매번 수작업으로 피처를 엔지니어링하고 하이퍼파라미터를 튜닝하며 모델을 처음부터 학습해야 했습니다. Kumo Tabular는 거대 언어 모델(LLM)의 인-컨텍스트 러닝(In-Context Learning) 개념을 표 데이터에 적용하여, 레이블이 지정된 행을 문맥(Context)으로 입력받아 별도의 가중치 업데이트 없이 단 한 번의 순방향 패스(Forward Pass)만으로 신규 행의 분류 및 회귀 결과를 예측하는 혁신적인 방식을 제시합니다12.
문맥 내 학습으로 표를 읽는 트랜스포머의 구조
Kumo Tabular가 표 형태의 데이터를 이해하고 인-컨텍스트 러닝을 수행하는 핵심은 셀, 행, 문맥 간의 관계를 유기적으로 파악하는 3단계 트랜스포머 아키텍처에 있습니다1.
첫 번째 단계인 셀 임베딩(Cell Embedding)에서는 수치형 및 범주형 데이터가 학습된 주파수를 갖는 사인 및 코사인 기반의 푸리에 피처(Fourier features)를 거쳐 토큰으로 변환됩니다1. 이 과정에서 누락된 결측치는 별도의 대체(Imputation) 작업 없이 특수 토큰으로 자동 처리되며, 문맥 행의 토큰들에는 개별 레이블 임베딩이 결합됩니다1.
두 번째 단계인 행 임베딩(Row Embedding)에서는 열 어텐션과 행 어텐션이 교대로 수행됩니다1. 열 어텐션(Column attention)은 단일 열을 따라 세로 방향으로 작동하여 특정 수치가 해당 열의 분포 내에서 일반적인 값인지 혹은 극단적인 값인지 파악합니다1. 이때 유도 자기어텐션(Induced self-attention) 구조를 도입하여 연산 비용을 행 수에 비례하는 선형 수준으로 제어합니다1. 교대로 작동하는 행 어텐션(Row attention)은 회전 위치 인코딩(Rotary positions)을 통해 열을 구분해가며 하나의 행 내부 피처들이 어떻게 상호작용하는지 학습합니다1. 최종적으로 행당 네 개의 학습 가능한 CLS 토큰을 활용해 전체 정보를 압축하므로, 이후 단계의 연산 비용은 열의 개수에 영향을 받지 않게 됩니다1.
마지막 문맥 내 학습(In-Context Learning) 단계에서는 압축된 행 임베딩을 바탕으로 트랜스포머가 작동합니다1. 예측 대상인 쿼리(Query) 행은 문맥 행들만을 참조하므로 독립적인 예측이 가능하며, 계산된 문맥의 키(Key)와 밸류(Value)는 캐시로 저장되어 이후 추론에 재사용됩니다1. 또한 추론 시 테이블 규모가 커질 때 어텐션이 흐려지는 현상을 막기 위해 로그 스케일로 키 개수에 맞게 온도를 자동 조절하는 메커니즘을 적용했습니다1. 회귀 모델의 경우 999개의 분위수(quantiles)를 출력하여 단일 예측값뿐만 아니라 불확실성 추정치까지 정밀하게 제공합니다1.
인공 합성 데이터 사전학습과 벤치마크 조건
Kumo Tabular의 강력한 범용성은 현실의 특정 기업 데이터를 수집하여 학습한 것이 아니라, 순수하게 구조적 인과 모델(SCM)을 설계해 생성한 대규모 인공 합성 데이터로만 사전학습을 진행했기 때문에 가능했습니다1. 무작위 인과 그래프에서 노드 간의 선형 변환, 소형 신경망, 가우시안 프로세스 등을 거쳐 데이터를 생성했으며, 현실 세계 데이터의 노이즈를 재현하기 위해 의도적으로 결측치, 이상치, 두터운 꼬리 분포(Heavy-tailed)를 주입했습니다1. 소형, 중형, 대형 변형 모델들은 이처럼 무작위 설계된 인공 표를 각각 약 3,500만 개, 7,100만 개, 1억 3,700만 개씩 학습하며 표 데이터 전반의 보편적 규칙을 습득했습니다1.
출시된 Kumo Tabular 모델 제품군은 파라미터 규모에 따라 소형(Small), 중형(Medium), 대형(Large)의 세 가지 변형 모델로 제공되며, 파라미터 수는 약 2,700만~2,800만 개에서 최대 2억 1,500만~2억 1,600만 개 수준입니다13. 모델 가중치는 상업적 사용이 가능한 OpenMDW-1.1 라이선스로 공개되었습니다13.
NVIDIA의 발표에 따르면 Kumo Tabular는 정형 데이터 기초 모델 성능 비교 벤치마크인 TabArena에서 ELO 레이팅 1950점을 기록하며 종합 1위를 차지했습니다1. 단일 RTX 6000 Pro GPU 평가 환경에서 균일하게 실행할 때, 기존 표 기초 모델인 LimiX-2보다 17배 빠른 실행 속도를 보여주었습니다1. 더불어 BeyondArena(ELO 1418, 개선 가능성 점수 7.78%), TALENT, ScoringBench 등의 벤치마크에서도 최고 성능 수준의 지표를 기록했습니다1. 다만 이러한 벤치마크 점수는 통제된 연구 환경에서의 상대적 성능 지표이므로, 실제 비즈니스 환경의 모든 고유한 데이터셋에서 이와 동일한 성능과 속도가 무조건 보장되는 것은 아닙니다3.
도입 전에 점검해야 할 기술적 제약
Kumo Tabular는 기존의 복잡한 모델 학습 파이프라인을 획기적으로 줄여줄 잠재력을 지니고 있지만, 실제 서비스 시스템에 배포하기 전에 반드시 확인해야 할 세 가지 명확한 제약 조건이 존재합니다3.
첫째, 입력 데이터 형식의 한계입니다. Kumo Tabular는 단일 테이블 내의 수치형 및 범주형 열만 처리할 수 있습니다1. 비정형 텍스트 정보, 이미지 데이터, 혹은 시간의 흐름을 반영해야 하는 타임스탬프 정보는 지원하지 않으므로1, 모델에 입력하기 전에 이를 적절히 변환하거나 정제하는 사전 가공 단계가 여전히 필수적입니다.
둘째, 관련 테이블(Related tables) 간의 관계 학습 미지원입니다. 공개된 KumoTabular API 문서에 따르면, 외래 키 등으로 연결된 다중 테이블 구조를 직접 학습에 활용하는 기능은 제공되지 않습니다3. 따라서 고객, 구매 이력, 상품 테이블 정보 등을 결합해 예측 성능을 극대화하려면 사용자가 직접 데이터를 하나의 평면 테이블(Flat table)로 조인하고 집계하는 엔지니어링 과정을 거쳐야 합니다3. 참고로 관계형 데이터 분석을 위한 모델인 KumoRFM은 Kumo Tabular와 구분되는 별도의 제품군입니다3.
셋째, 인프라 및 운영 비용 검증의 부재입니다. 오픈소스 패키지와 모델 가중치는 Hugging Face를 통해 다운로드할 수 있으나13, 관리형 서비스 형태의 호스팅 API(SLA 보장형)는 별도로 제공되지 않습니다3. CPU 환경에서 극도의 효율성으로 안정적인 배치를 소화하는 LightGBM, CatBoost 등의 트리 기반 모델들과 달리, 기초 모델 추론 방식은 지속적인 GPU 연산 자원과 대규모 GPU 메모리를 요구하므로 실제 구동 환경에서의 비용 대비 가치를 면밀히 따져보아야 합니다3.
실무자를 위한 단계별 파일럿 검증 가이드
현재 비즈니스 트래픽을 처리 중인 안정적인 XGBoost, LightGBM, CatBoost 파이프라인을 무작위로 Kumo Tabular로 전면 대체하는 것은 합리적이지 않습니다3. 대신, 이 모델의 강점인 '제로샷(Zero-shot) 예측'의 가치를 시험해볼 수 있는 신속한 베이스라인 탐색 프로젝트나 소규모 데이터 분석 시나리오에 우선적으로 검증해보는 것이 좋습니다3.
성공적인 기술 검증을 위해 실무자가 수행해야 할 단계별 가이드는 다음과 같습니다3.
엄격한 데이터 격리: 시간 기반 분할(Time-aware split) 혹은 층화 추출을 통해 고정된 테스트셋(Holdout)을 사전에 분리하고, 예측 과정에서 타깃 레이블이 절대 누출되지 않도록 구조적으로 격리합니다.
스키마 및 데이터 유효성 검증: 입력 데이터에 텍스트나 타임스탬프 등 미지원 데이터 형식이 포함되어 있는지 확인하고, 모델이 요구하는 단일 테이블 구조로 알맞게 정렬되었는지 점검합니다.
지표 중심의 비교 테스트:
동일한 데이터셋에서 GBDT 계열 모델(예: CatBoost)을 기준 모델로 삼고, 분류 성능(AUROC, Macro-F1) 및 회귀 성능(MAE, RMSE)을 대조합니다.
문맥으로 입력하는 행의 개수(Context size)를 늘려가며 추론 지연 시간(p95 Latency)과 GPU 메모리 점유율을 정밀히 기록합니다. 문맥 크기가 늘어남에 따라 연산 비용이 임계점을 초과하여 시스템 병목을 유발할 수 있습니다.
도입 결정 조건 수립: 파일럿 프로젝트 진행 전, "기존 트리 모델 대비 성능 최소 3% 이상 개선", "95번째 백분위수(p95) 지연 시간 기준 충족", "배치당 처리 비용 예산 한도 준수"와 같은 구체적인 통과 기준을 수립하고, 이를 만족할 때에만 운영 단계로의 전환을 검토해야 합니다.
참고
1NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular Prediction
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.