이미지를 설명하는 AI는 많습니다. 하지만 “이 사진에 세포가 몇 개야?”, “논에 밀 이삭이 몇 개나 보여?”처럼 특정 대상을 정확히 세는 일은 여전히 어렵습니다. 객체가 작거나 겹치거나 배경과 섞이면 사람에게도 부담스러운 작업입니다.
칭화대학교 등 연구진이 개발한 Count Anything은 이 문제를 단순히 숫자를 맞히는 방식으로 풀지 않습니다. 이미지와 자연어 질의를 함께 받아, 대상 객체가 있는 위치를 점으로 표시하고 그 점의 개수로 최종 수량을 계산합니다.1
즉 Count Anything의 핵심은 “몇 개인가”에 답하는 동시에 “어디에 있는가”까지 보여주는 데 있습니다.
숫자만 내지 않고 위치를 함께 보여준다
Count Anything은 이미지와 텍스트 질의를 입력으로 받습니다. 사용자는 “car”, “bacterial colony”, “wheat ear”처럼 세고 싶은 대상을 자연어로 지정할 수 있습니다. 그러면 모델은 해당 객체들의 위치를 나타내는 점 집합을 반환합니다.1
최종 개수는 이 점 집합의 원소 개수입니다. 예를 들어 모델이 37개의 점을 반환했다면 결과는 37개가 됩니다.1
이 방식은 실무적으로 중요합니다. 단순히 “37개”라는 숫자만 받으면 모델이 무엇을 놓쳤는지 알기 어렵습니다. 반면 위치 점이 함께 제공되면 누락된 객체, 중복으로 센 객체, 잘못 포함된 배경 요소를 사람이 검토할 수 있습니다. 카운팅 AI에서 해석 가능성이 중요한 이유입니다.
왜 영역 기반과 픽셀 기반을 함께 쓰는가
객체 계수 문제는 장면에 따라 성격이 크게 달라집니다. 자동차처럼 비교적 크고 드문드문 있는 대상은 영역 단위로 잡는 방식이 유리합니다. 반대로 세포, 미생물, 군집처럼 작고 빽빽한 대상은 픽셀 수준의 촘촘한 예측이 더 적합합니다.
Count Anything은 이 차이를 반영해 두 종류의 카운터를 결합합니다. Region-level Sparse Counter는 크고 드문 객체를 다루고, Pixel-level Dense Counter는 작고 밀집된 객체를 다룹니다.1 이후 두 결과를 통합하면서 중복 카운트를 줄입니다.2
이 설계의 의미는 명확합니다. 하나의 방식으로 모든 이미지를 처리하려 하기보다, 객체의 크기와 밀도에 따라 서로 다른 관점을 함께 사용합니다. Count Anything이 “anything”을 지향한다는 말은 모든 장면에서 마법처럼 완벽하다는 뜻이 아니라, 다양한 계수 상황을 하나의 프레임으로 다루려는 시도에 가깝습니다.
텍스트 질의가 카운팅 방식을 바꾼다
Count Anything은 Meta의 사전학습 모델인 SAM3를 기반으로 이미지와 텍스트를 함께 처리합니다. 사용자가 세고 싶은 대상을 텍스트로 지정하면, 모델은 이미지 안에서 그 대상에 해당하는 위치를 찾고 점으로 반환합니다.
이 접근은 기존의 분야별 계수 모델과 다릅니다. 과거에는 군중 계수, 차량 계수, 세포 계수처럼 특정 분야에 맞춘 모델이 많았습니다. Count Anything은 “무엇을 셀 것인가”를 텍스트 질의로 지정함으로써 여러 분야의 카운팅 문제를 같은 형식으로 묶으려 합니다.
물론 텍스트 질의가 항상 명확한 것은 아닙니다. 용어가 모호하거나, 이미지 안의 객체 경계가 불분명하거나, 대상이 심하게 겹쳐 있으면 결과 검증이 필요합니다. 그럼에도 자연어로 대상을 지정하고 위치 기반 결과를 받는 방식은 카운팅 AI의 사용성을 크게 높입니다.
CLOC 데이터셋이 보여주는 확장성
연구진은 텍스트 기반 객체 계수를 위한 대규모 데이터셋 CLOC도 공개했습니다. CLOC는 일반 장면, 원격탐사, 병리조직, 세포현미경, 농업, 미생물 등 6개 영역을 포함하며, 약 22만 장의 이미지, 619개 범주, 1,500만 개의 라벨링된 객체로 구성됩니다.1
이 데이터셋이 중요한 이유는 Count Anything의 방향을 보여주기 때문입니다. 목표는 특정 장면에서만 잘 세는 모델이 아니라, 다양한 도메인에서 텍스트 질의로 대상을 지정하고 위치 기반으로 검토 가능한 결과를 내는 모델입니다.
배울 점: 좋은 카운팅 AI는 숫자보다 검증 가능성이 중요하다
Count Anything의 실용적 가치는 “AI가 더 정확히 센다”는 주장에만 있지 않습니다. 더 중요한 변화는 카운팅 결과를 검토 가능한 형태로 만든다는 점입니다.
현장에서 카운팅 AI를 평가할 때는 단순히 최종 숫자만 볼 것이 아니라 다음을 함께 확인해야 합니다.
세고 싶은 대상을 자연어로 명확히 지정할 수 있는가
모델이 숫자뿐 아니라 객체별 위치를 제공하는가
누락, 중복, 오탐을 사람이 쉽게 검토할 수 있는가
크고 드문 객체와 작고 밀집된 객체를 모두 다룰 수 있는가
Count Anything은 이미지 속 객체 수를 “맞히는” 문제에서 “찾고, 표시하고, 검증하는” 문제로 바꿉니다. 앞으로의 카운팅 AI는 단순한 숫자 출력 도구보다, 위치와 근거를 함께 제공하는 분석 도구에 가까워질 가능성이 큽니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.