표 데이터 머신러닝은 오랫동안 XGBoost, LightGBM 같은 그래디언트 부스팅 트리와 랜덤 포레스트가 주도해 왔다. 신경망은 이미지·언어 분야에서는 강했지만, 숫자·범주·결측치가 섞인 표 형식 데이터에서는 트리 기반 모델의 성능을 안정적으로 넘기 어려웠다.1
TabFM은 이 구도를 바꾸려는 표 형식 데이터용 파운데이션 모델이다. 분류와 회귀를 지원하며, 사용자는 scikit-learn 모델처럼 fit 후 predict 흐름으로 다룰 수 있다.2 중요한 차이는 겉으로 보이는 사용법이 아니라 내부에서 예측을 만드는 방식에 있다.
TabFM의 핵심: 다시 학습하지 않고 문맥으로 예측한다
일반적인 머신러닝 모델은 새 데이터셋마다 파라미터를 학습한다. 반면 TabFM 같은 표 데이터 파운데이션 모델은 새 작업에서 모델 파라미터를 업데이트하지 않고, 추론 시점에 학습 데이터를 함께 입력해 그 문맥을 바탕으로 테스트 샘플을 예측한다.23
즉 fit(X_train, y_train)은 기존 의미의 반복 학습이라기보다 “이 데이터셋의 예시를 모델에 제공한다”에 가깝다. 이 방식은 인컨텍스트 러닝으로 불리며, 하이퍼파라미터 튜닝과 반복 학습 부담을 줄일 수 있다는 점에서 실무적으로 의미가 있다.
왜 표 데이터 파운데이션 모델이 가능해졌나
표 형식 파운데이션 모델은 보통 수천~수백만 개의 합성 데이터셋에서 일반적인 통계 패턴을 사전학습한다.1 TabFM도 수억 개의 합성 데이터셋으로 학습된 모델로, 새로운 데이터셋에 대해 별도 미세조정 없이 사전학습된 패턴을 전이하는 접근을 따른다.
이 흐름은 TabPFN에서 먼저 뚜렷하게 주목받았다. 2022년 7월 공개된 TabPFN v1은 prior-fitted networks 패러다임을 제시했고, 트랜스포머가 표 형식 데이터에서도 인컨텍스트 러닝을 수행할 수 있음을 보였다.1 TabFM은 이러한 계열의 아이디어를 더 넓은 사용 환경으로 확장하려는 사례로 볼 수 있다.
실무자가 확인해야 할 기준
TabFM은 Hugging Face와 GitHub 저장소에서 제공되며, BigQuery ML에도 통합되어 있다.2 따라서 로컬 실험뿐 아니라 데이터 웨어하우스 기반 워크플로에서도 접근할 수 있다는 점이 장점이다.
다만 “파운데이션 모델”이나 “제로샷”이라는 표현이 곧 “항상 최고 성능”을 뜻하지는 않는다. 실제 적용 전에는 다음 기준을 확인하는 편이 안전하다.
기존 XGBoost, LightGBM, 랜덤 포레스트 대비 검증 성능
데이터 크기에 따른 추론 속도와 비용
운영 환경에서의 배포 가능성
해석 가능성 및 규제 요구사항
분류·회귀 문제별 안정성
TabFM 평가는 공개 표 형식 AI 벤치마크인 TabArena에서 이뤄졌으며, 38개 분류 데이터셋과 13개 회귀 데이터셋이 사용됐다. TabArena의 중간 규모 데이터셋은 샘플 수 1만~25만 개 범위로 정의된다.1 이런 벤치마크 결과는 참고할 만하지만, 실제 업무 데이터에서는 반드시 기존 모델과 같은 검증 세트에서 직접 비교해야 한다.
결론: 빠른 베이스라인과 초기 실험 도구로 가치가 크다
TabFM의 의미는 표 데이터 모델링을 “매번 새로 학습하는 문제”에서 “사전학습된 모델에 문맥을 제공하는 문제”로 바꾼다는 데 있다. 이 변화는 초기 실험 속도를 높이고, 튜닝 전 단계에서 강한 베이스라인을 빠르게 확보하는 데 도움이 될 수 있다.
아직 모든 트리 기반 파이프라인을 대체한다고 보기는 어렵다. 그러나 분류와 회귀를 다루는 표 데이터 프로젝트에서 TabFM은 기존 모델과 나란히 평가해 볼 만한 실용적인 선택지다.
참고
1Open science is powering the Tabular Foundation Models revolution
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.