Hugging Face Inference Endpoints, Jobs, and Buckets로 운영 가능한 AI 검색 만들기
AI 검색은 모델 하나를 배포하는 것만으로 완성되지 않는다. 대량 문서를 미리 처리하고, 생성된 데이터를 안정적으로 저장하며, 사용자 질의를 실시간으로 처리해야 한다. Papers with Code는 이 과정을 Hugging Face Jobs, Buckets, Hugging Face Inference Endpoints로 분리해 운영한다.
키워드 검색과 의미 검색을 결합하는 이유
Papers with Code는 arXiv와 Daily Papers에서 수집한 11만 편 이상의 논문 임베딩을 관리한다. 운영 환경에서는 Qwen/Qwen3-Embedding-0.6B의 고정 리비전으로 256차원 L2 정규화 벡터를 생성한다.1 모델 리비전과 벡터 규격을 고정하면 문서와 질의를 동일한 기준으로 임베딩할 수 있다.
검색 결과는 PostgreSQL 전문 검색과 pgvector 의미 검색을 상호 순위 융합(RRF)으로 결합한다.1 전문 검색은 정확한 키워드에 강하고, 의미 검색은 표현이 달라도 내용이 유사한 논문을 찾는 데 유리하다. 두 방식을 결합하면 한 가지 검색 기술에 전체 품질과 가용성을 의존하지 않아도 된다.
계산·저장·실시간 추론의 역할 분리
Hugging Face Jobs: 대량 임베딩 생성
Hugging Face Jobs는 전체 논문 말뭉치처럼 한꺼번에 처리해야 하는 배치 작업을 담당한다. CPU와 GPU를 사용할 수 있는 서버리스 실행 환경이며, 사용 시간에 따라 비용을 지불한다.2 Papers with Code에서는 논문 임베딩 생성이 이 영역에 해당한다.
배치 작업을 사용자 요청 경로와 분리하면 대규모 재처리나 색인 갱신이 실시간 검색에 직접 영향을 주는 것을 줄일 수 있다.
Buckets: 데이터와 결과물 저장
Buckets는 Xet 스토리지 백엔드를 사용하는 S3 유사 객체 저장소다.3 논문 데이터, 생성된 임베딩, 중간 결과물, 로그처럼 Git 이력이 필요하지 않은 대용량 데이터를 저장하는 데 적합하다.
이러한 분리는 저장 위치의 기준도 명확하게 만든다. 모델과 Code는 Hugging Face Hub에서 관리하고, 반복적으로 생성되거나 자주 변경되는 데이터와 결과물은 Storage Buckets에 저장할 수 있다.
Hugging Face Inference Endpoints: 실시간 질의 처리
Hugging Face Inference Endpoints는 사용자 질의를 실시간으로 임베딩한다. Hugging Face Hub의 모델을 전용 오토스케일링 인프라에 배포하며, 생성 시 클라우드 공급자, 리전, 가속기, 인스턴스 유형과 크기를 선택할 수 있다.4
인증형 엔드포인트에 접근하려면 토큰이 필요하다. 기본 제공 이미지 대신 사용자 지정 Docker 이미지를 사용할 수도 있으며, API를 이용하려면 huggingface_hub v0.19.0 이상이 필요하다.4
Papers with Code는 Hugging Face Inference Endpoints에 장애가 발생하면 PostgreSQL 전문 검색만 제공하도록 전환한다.1 의미 검색 품질은 일시적으로 낮아질 수 있지만, 검색 기능 자체는 유지된다.
도입 전에 확인할 운영 기준
비슷한 검색 시스템을 설계할 때는 다음 항목을 먼저 결정해야 한다.
배치와 실시간 경로를 분리한다.
문서 임베딩 생성은 Hugging Face Jobs에서 처리하고, 사용자 질의 임베딩은 Hugging Face Inference Endpoints에서 처리한다.임베딩 규격을 데이터 계약으로 관리한다.
모델 리비전, 벡터 차원, 정규화 방식을 고정해야 문서와 질의 벡터의 불일치를 방지할 수 있다.생성 데이터의 저장 위치를 명확히 한다.
대규모 원본 데이터와 임베딩 결과물은 Buckets에 저장해 계산 환경과 수명 주기를 분리한다.비용과 할당량을 배포 전에 확인한다.
사용 가능한 하드웨어 조합과 시간당 가격은 API나 CLI에서 조회할 수 있다. Hugging Face Inference Endpoints의 가속기 할당량은 네임스페이스 단위로 적용된다.4장애 시 대체 경로를 준비한다.
의미 검색이 중단되더라도 전문 검색으로 전환할 수 있어야 핵심 검색 기능을 유지할 수 있다.
요약: Buckets를 포함한 이 구조의 핵심은 모델 성능보다 역할 분리를 먼저 설계하는 데 있다. Hugging Face Jobs는 대량 계산을 수행하고, Buckets는 데이터와 결과물을 보관하며, Hugging Face Inference Endpoints는 실시간 요청을 처리한다. 여기에 하이브리드 검색과 장애 시 대체 경로를 결합하면 품질뿐 아니라 비용, 확장성, 가용성까지 고려한 검색 시스템을 구축할 수 있다.
1How Hugging Face Inference Endpoints, Jobs, and Buckets Power Search on Papers with Code
2How we OCR'ed 30,000 papers using Codex, open OCR models and Jobs
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.