PapersWithCode의 'closed' 태그가 중요한 이유

AI 모델 리더보드는 더 이상 오픈소스 모델만 비교하는 공간이 아닙니다. 코드나 가중치를 공개하지 않는 비공개 모델도 주요 벤치마크 상위권에 자주 등장합니다. 이때 필요한 것은 비공개 모델을 무조건 배제하거나 동일하게 취급하는 태도가 아니라, 공개 여부를 분명히 구분해 읽는 기준입니다.

PapersWithCode가 비공개 소스 모델 평가를 지원하기 시작한 이유도 여기에 있습니다. 해당 평가는 closed 태그로 표시되며, 사용자는 설정에서 이를 보이게 하거나 숨길 수 있습니다.¹

closed 태그가 말해주는 것

paperswithcode.co는 Hugging Face 오픈소스 팀의 Niels가 다시 선보인 PapersWithCode 사이트입니다. 에이전트, 컴퓨터 비전, 시계열 예측 등 여러 AI 분야의 SOTA를 추적합니다.²

SOTA는 특정 과제에서 현재 가장 좋은 성능을 내는 모델이나 방법을 뜻합니다. 하지만 리더보드에서 “가장 좋다”는 말은 단일 순위만으로 충분히 설명되지 않습니다. 같은 점수라도 모델이 공개되어 재현 가능한지, 어떤 지표에서 강한지, 실제 사용 조건에서 얼마나 빠른지에 따라 해석이 달라집니다.

PapersWithCode의 closed 태그는 이 중 공개성과 검증 가능성을 구분해주는 신호입니다. 비공개 모델은 코드, 가중치, 학습 데이터가 공개되지 않을 수 있어 같은 조건에서 검증하기 어렵습니다. 반대로 리더보드에서 완전히 제외하면 현재 성능 경쟁 구도를 놓칠 수 있습니다.

따라서 closed는 배제의 표시라기보다 해석을 위한 라벨에 가깝습니다. 성능 수치는 보되, 재현 가능성과 공개성은 별도로 판단하라는 의미입니다.

순위보다 지표와 설정을 함께 봐야 한다

재출시된 PapersWithCode는 하나의 벤치마크에 여러 평가 지표를 함께 표시할 수 있습니다. 예를 들어 Open ASR Leaderboard는 Word Error Rate와 Inverse Real-Time Factor를 함께 지원하고, Object Detection 리더보드는 COCO mAP 외에 FPS도 보고합니다.²

이 변화는 closed 태그와 함께 볼 때 더 중요해집니다. 리더보드의 1위 여부만 보면 모델의 실용성을 오해하기 쉽습니다. 음성 인식 모델이라면 오류율뿐 아니라 처리 속도가 중요하고, 객체 탐지 모델이라면 정확도뿐 아니라 FPS도 제품 적용 가능성을 좌우합니다.

여기에 공개 여부까지 더하면 비교 기준은 더 명확해집니다. 연구자는 설정에서 비공개 평가를 숨기고 오픈 모델 중심으로 재현 가능한 결과를 볼 수 있습니다. 반대로 제품 담당자는 비공개 모델까지 포함해 시장의 실제 성능 범위를 파악할 수 있습니다.¹

즉, 같은 리더보드라도 목적에 따라 읽는 방식이 달라져야 합니다.

PapersWithCode는 더 넓은 연구 기록으로 가고 있다

PapersWithCode의 변화는 비공개 모델 평가 지원에만 그치지 않습니다. 재출시된 사이트는 arXiv 외부 논문 제출도 지원합니다. GitHub 저장소, 블로그 글, bioRxiv 같은 자료를 제출할 수 있으며, 제출 경로는 paperswithcode.co/submit입니다.²

또한 제출된 논문에는 태스크 태그, 메서드 태그, GitHub 저장소, 평가 정보가 AI로 자동 보강됩니다. 후속 논문이나 선행 논문이 있는 경우에는 초록 위에 작은 배너로 계보도 표시합니다.²

이는 PapersWithCode가 단순한 논문 링크 모음이나 순위표를 넘어, 모델과 평가 결과를 맥락 속에서 읽게 만드는 연구 기록 시스템으로 확장되고 있음을 보여줍니다.

리더보드를 읽는 실용적인 기준

PapersWithCode의 closed-source 평가 지원은 비공개 모델을 오픈 모델과 똑같이 취급하자는 뜻이 아닙니다. 오히려 성능 비교에 필요한 라벨을 더 명확히 붙이는 변화입니다.

리더보드를 볼 때는 다음 순서로 확인하는 것이 좋습니다.

1. 해당 평가가 closed 태그인지 확인한다.

2. 단일 점수보다 함께 제공되는 지표를 본다.

3. 공개 모델만 볼지, 비공개 모델까지 포함할지 목적에 맞게 설정한다.

4. 순위보다 재현 가능성, 속도, 평가 조건을 함께 판단한다.

결론은 간단합니다. 앞으로 리더보드에서 중요한 것은 “몇 위인가”보다 “어떤 조건에서, 어떤 공개 수준으로, 어떤 지표에서 강한가”입니다. PapersWithCode의 closed 태그는 그 판단을 돕는 작은 표시지만, 리더보드를 더 정확하게 읽게 만드는 중요한 변화입니다.

¹PapersWithCode Adds Support For Closed-Source Model Evaluations

²Relaunching PapersWithCode with new features