TabPFN-3.5: 표 데이터 모델링의 준비 비용을 줄이는 파운데이션 모델
표 데이터 모델링은 대개 인코딩, 결측값 처리, 특성 선택, 하이퍼파라미터 탐색으로 시작한다. Prior Labs가 공개한 TabPFN-3.5는 이러한 준비 과정을 줄이면서 분류와 회귀의 강력한 기준선을 빠르게 만드는 데 초점을 둔 표 형식 데이터용 파운데이션 모델이다.
TabPFN-3.5는 오직 합성 데이터로 사전 학습됐다. 새로운 데이터셋마다 모델을 처음부터 학습하는 대신, 주어진 훈련 데이터를 문맥으로 활용해 예측한다.1
하나의 체크포인트로 분류와 회귀 지원
TabPFN-3.5는 단일 체크포인트로 분류와 회귀를 모두 처리하는 첫 멀티태스크 TabPFN 모델이다. 지원하는 최대 특성 수는 이전보다 10배 늘어난 2만 개다. 다만 성능을 고려한 권장 상한은 6천 개이므로, 최대 지원 범위와 실용적인 권장 범위를 구분해야 한다.2
입력 준비도 간소화됐다. 문자열 범주, 원시 텍스트, 결측값이 포함된 pandas DataFrame을 직접 사용할 수 있다. 수동 정수·원핫 인코딩, 결측값 대치, 스케일링, 이상치 제거는 필수 단계가 아니다.2 그만큼 전처리 설계보다 검증 전략과 문제 정의에 더 많은 시간을 쓸 수 있다.
벤치마크 결과는 평가 조건과 함께 봐야 한다
공개된 결과에 따르면 TabPFN-3.5는 기본 설정으로 Otto Kaggle 우승 솔루션보다 높은 성능을 기록했다.3 별도의 복잡한 튜닝 없이 얻은 결과라는 점에서, 초기 기준 모델로서의 가치를 보여준다.
다만 벤치마크 결과를 실제 업무 성능과 동일하게 해석해서는 안 된다. 예를 들어 TabArena는 51개 선별 데이터셋과 27개 이상의 기법으로 구성된 IID 벤치마크다.4 IID는 학습 데이터와 평가 데이터가 유사한 분포에서 나온 조건을 의미한다. 시간에 따른 분포 변화나 운영 환경의 데이터 편향이 있다면 별도의 검증이 필요하다.
회귀에서는 보험금이나 고객 지출처럼 값이 한쪽으로 치우치거나 0이 많은 타깃의 예측 분포가 개선됐다. 예측 분포의 품질을 평가하는 ScoringBench에서도 1위를 기록했다.2 이는 단일 예측값뿐 아니라 예측 분포와 불확실성이 중요한 문제에서 확인할 만한 변화다.
실무에서는 강한 출발점으로 활용하자
TabPFN-3 이후 모델은 특성 수와 체크포인트·API 제한에 따라 최대 100만 행을 지원한다. 대규모 데이터셋에서는 추정기별 서브샘플링이 권장된다.2 따라서 지원 가능한 최대 행 수만 보기보다 특성 수, 사용 방식, 리소스 제한을 함께 확인해야 한다.
실무 적용은 다음 순서가 합리적이다.
원본에 가까운 pandas DataFrame으로 기준 성능을 측정한다.
동일한 데이터 분할과 평가 지표로 기존 부스팅 모델 등과 비교한다.
특성이 6천 개를 넘거나 데이터가 매우 크다면 특성 구성과 서브샘플링을 검토한다.
IID 가정이 맞지 않는 업무라면 시간 기반 또는 운영 환경에 가까운 검증을 추가한다.
TabPFN-3.5를 기존 파이프라인의 즉각적인 대체재로 보기보다는, 전처리와 튜닝 부담을 낮추면서 빠르게 성능 기준을 세우는 도구로 접근하는 편이 적절하다.
요약: TabPFN-3.5의 핵심 가치는 최고 성능이라는 주장만이 아니라, 복잡한 전처리 없이 분류와 회귀를 처리하고 넓고 불완전한 표 데이터에서도 강력한 기준선을 빠르게 제공한다는 데 있다.
1Accurate predictions on small data with a tabular foundation model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.