LLM 성능 경쟁은 더 이상 모델 크기나 토큰 수만으로 설명되지 않는다. 같은 규모로 학습해도 어떤 데이터를 넣고, 어떻게 걸러내고, 어떤 형태로 다시 구성했는지에 따라 결과가 크게 달라진다.
Ultra-FineWeb이 눈에 띄는 이유도 여기에 있다. 단순히 웹 데이터를 많이 모은 데이터셋이 아니라, 사전학습 데이터의 품질을 어떻게 검증하고 관리할 것인가를 전면에 내세운 사례이기 때문이다.
Ultra-FineWeb은 무엇인가
Ultra-FineWeb은 OpenBMB가 공개한 고품질 사전학습용 웹 데이터셋이다. 영어 약 1조 토큰, 중국어 약 1,200억 토큰 규모로 소개되며, MiniCPM 계열 모델의 핵심 사전학습 데이터로 쓰인다.1
논문의 초점은 데이터 필터링과 검증이다. 연구진은 좋은 학습 데이터를 고르는 과정에서 두 가지 문제를 줄이려 했다. 하나는 데이터 품질을 확인하는 비용이고, 다른 하나는 분류기 학습에 필요한 좋은/나쁜 샘플 선택의 주관성이다. 이를 위해 저비용 검증 전략과 fastText 기반 경량 분류기를 활용했다.2
즉 Ultra-FineWeb의 핵심은 “웹 데이터를 많이 모았다”가 아니라, 좋은 사전학습 데이터를 더 싸고 일관되게 판별하려 했다는 점이다.
Ultra-FineWeb-L3가 보여주는 다음 단계
Ultra-FineWeb-L3는 Ultra-FineWeb을 한 단계 더 가공한 데이터셋이다. Hugging Face의 openbmb/Ultra-FineWeb-L3에서 공개되어 있으며, 샘플에는 multi_style로 표시된 항목들이 포함돼 있다.3
여기서 중요한 개념은 재표현이다. 원시 웹 문서를 그대로 사용하는 데서 멈추지 않고, Q&A 쌍 생성이나 여러 문체로 다시 쓰는 방식이 포함된다. 모델이 더 다양한 구조와 표현을 접하도록 데이터를 재구성하는 접근이다.
2026년 5월 29일, 면벽지능은 칭화대 및 OpenBMB 오픈소스 커뮤니티와 함께 Ultra-FineWeb-L3와 UltraData-SFT-2605를 공개했다. 보도에 따르면 Ultra-FineWeb-L3는 고품질 중국어와 영어 웹 합성 데이터를 포함한다.4
다만 합성 데이터가 항상 더 좋은 답은 아니다. 표현이 지나치게 정돈되면 실제 웹 문서의 불균형하고 거친 문맥을 덜 배우게 될 수도 있다. 따라서 이런 데이터셋을 볼 때는 규모만 볼 것이 아니라, 생성 방식, 필터 기준, 검증 절차를 함께 확인해야 한다.
데이터셋 하나보다 중요한 것은 파이프라인이다
MiniCPM5 컬렉션에는 Ultra-FineWeb와 Ultra-FineWeb-L3가 함께 포함돼 있다. 같은 컬렉션에는 UltraData-Math와 UltraData-SFT-2605도 포함되어 있어, 사전학습부터 수학 데이터, SFT 데이터까지 이어지는 구성을 확인할 수 있다.5
컬렉션상 Ultra-FineWeb은 1.29B, Ultra-FineWeb-L3는 1.06B 규모로 표시된다. 문서 기준으로 Ultra-FineWeb은 업데이트 3일 전, Ultra-FineWeb-L3는 업데이트 2일 전으로 표시되어 있어 비교적 최근까지 정리되고 있는 데이터 흐름으로 볼 수 있다.5
이 구성이 시사하는 바는 분명하다. LLM 학습 데이터는 더 이상 한 번 모아 끝나는 정적 자산이 아니다. 사전학습 데이터, 재표현된 데이터, 수학 데이터, SFT 데이터가 단계적으로 연결되며 하나의 품질 관리 파이프라인을 이룬다.
여기에 annealing, midtraining, CPT 같은 후속 학습 단계까지 고려하면 판단 기준은 더 명확해진다. 데이터 품질은 사전학습 시작점에서만 결정되는 것이 아니라, 학습 중후반에 어떤 데이터를 어떤 비율로 다시 투입하느냐와도 연결된다.
Ultra-FineWeb에서 배울 점
Ultra-FineWeb을 볼 때 가장 실용적인 질문은 “얼마나 큰가?”가 아니다. 다음 질문이 더 중요하다.
어떤 기준으로 웹 데이터를 걸러냈는가?
필터링 결과를 어떻게 검증했는가?
원문 데이터를 그대로 썼는가, 아니면 재표현했는가?
사전학습 이후 annealing, midtraining, CPT, SFT와 어떻게 이어지는가?
데이터셋이 전체 모델 학습 파이프라인에서 어떤 역할을 하는가?
Ultra-FineWeb의 의미는 고품질 웹 데이터셋 하나를 공개했다는 데서 끝나지 않는다. 데이터 계층, 품질 필터링, 재표현, 후속 학습 단계까지 연결해 LLM 학습 데이터의 품질을 관리하는 방식을 보여준다는 점이 더 중요하다.
결국 좋은 LLM을 만들기 위해 필요한 것은 단순히 더 큰 데이터가 아니다. 검증 가능하고, 목적에 맞게 재구성되며, 학습 단계별로 관리되는 데이터 파이프라인이다. Ultra-FineWeb은 그 방향을 보여주는 대표적인 사례다.
1README.md · openbmb/Ultra-FineWeb at main
2Ultra-FineWeb: Efficient Data Filtering and Verification for High-Quality LLM Training Data
3openbmb/Ultra-FineWeb-L3 · Datasets at Hugging Face
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.