메타 AI가 인간 중심 비전 모델군 Sapiens2를 공개했다. 핵심은 "또 하나의 SOTA"가 아니라, 사람을 보는 작업만큼은 일반 비전 스택보다 더 높은 해상도와 더 촘촘한 표현으로 밀어붙이겠다는 방향이다.12
지금 이게 중요한 이유는 분명하다. 많은 제품이 사람을 인식한다고 말하지만, 실제 실패는 "사람을 대충 찾는" 단계가 아니라 머리카락 경계, 손가락·관절 위치, 옷과 몸의 경계, 작은 액세서리, 멀리 있는 인물의 구조 같은 디테일에서 난다. Sapiens2의 가치는 이 손실이 현재 제품 성능의 병목인지 아닌지를 가려내는 데서 시작한다.
범용 비전 파이프라인이 사람에서 자주 무너지는 지점
확인된 사실부터 보자. Sapiens2는 0.1B부터 5B까지의 모델군으로 공개됐고, 기본적으로 1024×768 해상도에서 학습됐으며 일부 계열은 4K 입력을 지원한다. 사전학습은 10억 장의 고품질 인간 이미지로 진행됐고, 포즈, 신체 부위 세그멘테이션, surface normals, pointmap, albedo 같은 인간 중심 작업을 겨냥한다.23
이 구성이 말해주는 건 단순하다. Sapiens2는 "장면 전체 이해"보다 "사람 한 명 또는 여러 명의 구조와 표면을 얼마나 정밀하게 복원하느냐"에 최적화돼 있다. 논문이 내세운 개선 폭도 그 방향과 맞는다. 1세대 대비 포즈는 +4 mAP, 신체 부위 세그멘테이션은 +24.3 mIoU, normal 추정은 각도 오차 45.6% 감소를 보고한다.3
실무적으로는 이런 팀이 먼저 봐야 한다. 피트니스 자세 코칭, AR try-on, 휴먼 아바타, 텔레헬스, 스포츠 분석, 리테일 피팅, 크리에이터 툴처럼 "사람의 형태와 표면 정보"가 기능 그 자체인 제품이다. 반대로 CCTV 수준의 사람 검출, 단순 인원 수 집계, 범용 장면 이해가 중심이면 Sapiens2는 과한 선택일 수 있다.
살 일인가, 붙일 일인가: 범용 스택보다 나은 순간
여기서 더 유용한 질문은 "최고 성능인가?"가 아니라 "일반 모델+여러 헤드 조합보다 운영상 낫나?"다.
Sapiens2의 강점은 한 인간 중심 백본에서 여러 작업을 커버하려는 데 있다. 포즈용 전용 모델, 세그멘테이션 전용 모델, 3D 복원용 별도 모델을 따로 얹는 대신, 같은 계열 체크포인트와 표현 공간으로 묶을 수 있다.24 이런 구조는 멀티태스크 제품에서 특히 매력적이다. 예를 들어 피트니스 앱이 자세 추정만 하다 나중에 체형 분할, 의상 경계, 표면 방향까지 붙이려 할 때 파이프라인 복잡도가 덜 늘어난다.
하지만 반론도 분명하다. Sapiens2는 작지 않다. GitHub 기준 1B 모델은 약 4.7T FLOPs, 5B 모델은 15.7T FLOPs로 제시된다.2 즉, 모바일 실시간, 엣지 배포, 저지연 대량 추론과는 긴장이 크다. 사람 관련 태스크를 한두 개만 하고, 현재 병목이 해상도 부족이 아니라 데이터 라벨 품질이나 검출 단계라면 더 가벼운 전용 모델이 낫다.
또 하나. "인간 중심"은 곧 범용성이 제한된다는 뜻이기도 하다. 공장, 자율주행, 문서, 리테일 선반, 일반 객체 중심 워크로드에는 이 특화가 직접적인 이득으로 이어지지 않는다. 전문화는 강점이자 비용이다.
도입 전에 꼭 해야 할 테스트는 벤치마크 재현이 아니다
논문 수치만 따라가면 판단을 잘못하기 쉽다. Sapiens2를 검토한다면 사내 벤치마크를 이렇게 짜는 편이 낫다.
첫째, 현재 실패 샘플을 유형별로 모아야 한다. 작은 사람, 옆모습, 가림, 복잡한 옷, 머리카락 경계, 손·발 디테일, 원거리 군중, 조명 불안정 장면이 포함돼야 한다. Sapiens2는 바로 이런 고해상도 인간 디테일 문제를 겨냥한다.3
둘째, 탑라인 정확도 외에 후속 지표를 봐야 한다. 예를 들어 포즈 오차가 줄었다는 것보다, 그 개선이 운동 자세 피드백 정확도나 try-on 마스크 품질 개선으로 이어지는지가 더 중요하다. 세그멘테이션이 좋아져도 후처리 비용이 그대로면 실제 ROI는 낮다.
셋째, detector 의존성을 따로 봐야 한다. 저장소를 보면 포즈 파이프라인에 RTMDet 검출기를 함께 둔다.2 즉, 사람 박스가 먼저 흔들리면 백본이 좋아도 전체 품질이 제한될 수 있다. 모델 교체로 해결될 문제인지, 파이프라인 앞단 문제인지 구분해야 한다.
Sapiens2가 보여주는 다음 단계: 인간 이해의 전문화
Sapiens2는 한 가지 흐름을 또렷하게 보여준다. 앞으로의 비전 제품은 "무엇이 이미지에 있나"보다 "사람을 얼마나 정밀하게 재구성하나"로 더 세분화될 가능성이 크다. 메타가 1K 기본 해상도, 4K 변형, 인간 10억 장 데이터, 그리고 포즈·분할·표면·3D 계열 태스크를 한 축으로 묶은 건 우연이 아니다.235
제 판단은 이렇다. 사람 관련 기능이 제품 차별화의 핵심인 팀이라면 Sapiens2는 지금 테스트할 가치가 크다. 하지만 사람을 그냥 "객체 중 하나"로만 다루는 팀에게는 과한 장비일 수 있다. 기준은 간단하다. 당신의 제품이 오늘 잃고 있는 것이 사람의 의미인지, 사람의 디테일인지. Sapiens2는 전자보다 후자에 더 직접적인 답이다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.