3D 장면에서 “소파만 선택해 색을 바꾸기”는 보기보다 까다롭습니다. 화면에는 하나의 물체처럼 보이지만, 실제 데이터는 수많은 3D Gaussian splat으로 나뉘어 있기 때문입니다. 사용자가 보는 2D 화면의 객체와 편집해야 할 3D 데이터 사이에는 간극이 있습니다.
segment-3gs는 이 간극을 줄이려는 오픈소스 실험입니다. SpAItial AI 앱에서 만든 월드를 .ply Gaussian splat 파일로 내보내고, PlayCanvas 뷰어에서 장면과 splat 중심 위의 균일한 공간 그리드를 렌더링합니다. 사용자가 특정 객체를 프롬프트로 지정하면 SAM 3가 2D 화면에서 마스크를 만들고, 이 마스크를 카메라 포즈를 이용해 다시 3D splat 집합으로 재투영합니다.1
2D 분할을 3D 선택으로 바꾸는 방식
이 프로젝트의 핵심은 “화면에서 찾은 객체를 3D 데이터의 일부로 고정하는 것”입니다.
사용자는 현재 카메라 시점에서 “sofa” 같은 개념을 입력합니다. 그러면 SAM 3가 렌더된 2D 프레임에서 해당 객체를 분할합니다. 여기까지는 일반적인 이미지 분할과 비슷합니다.
차이는 그다음 단계에 있습니다. segment-3gs는 2D 마스크 안에 들어온 영역을 카메라 포즈와 연결해, 어떤 Gaussian splat들이 그 객체에 해당하는지 추적합니다. 최종적으로 중요한 것은 이미지 마스크 자체가 아니라 “이 객체에 속한 splat 목록”입니다. 이렇게 저장해 두면 이후에는 다시 AI 추론을 반복하지 않고도 선택, 강조, 색 변경, 격리 표시 같은 3D 편집 동작으로 이어갈 수 있습니다.1
SAM 3가 여기에 맞는 이유
SAM 3는 이미지와 비디오에서 프롬프트 기반 분할을 수행하는 통합 파운데이션 모델입니다. 텍스트, 포인트, 박스, 마스크 같은 입력을 사용해 객체를 탐지하고, 분할하고, 추적할 수 있습니다.2
특히 중요한 점은 고정된 라벨 목록에만 의존하지 않는다는 것입니다. SAM 3는 짧은 텍스트 문구나 예시로 지정한 개방형 어휘 개념의 모든 인스턴스를 분할할 수 있습니다. PyPI 설명에 따르면 SA-CO 벤치마크는 27만 개의 고유 개념을 포함하며, SAM 3는 400만 개 이상의 고유 개념을 자동 주석 처리한 데이터 엔진을 기반으로 합니다.2
이 능력 덕분에 segment-3gs는 단순한 3D 뷰어 기능 추가를 넘어섭니다. 2D 비전 모델의 개방형 어휘 분할 능력을 3D 장면 편집 인터페이스로 가져오는 사례에 가깝습니다. 사용자는 내부 데이터 구조를 직접 다루기보다, 보이는 장면에 자연어로 접근할 수 있습니다.
제품보다는 실험 가능한 출발점
segment-3gs는 완성형 제품이라기보다 fork해서 확장할 수 있는 출발점에 가깝습니다.1 실제 사용을 생각하면 제약도 있습니다. SAM 3 사용에는 Hugging Face 접근 승인이 필요할 수 있고, Apple MPS 기준 호출 시간이 길어 실시간 상호작용에는 맞지 않을 수 있습니다.1
그래도 이 프로젝트가 보여주는 방향은 실용적입니다. 3D 장면 이해를 반드시 처음부터 3D 전용 모델로만 풀 필요는 없습니다. 이미 강력해진 2D 분할 모델을 렌더링된 화면, 카메라 포즈, 공간 그리드와 연결하면 3D 편집 도구로 확장할 수 있습니다.
segment-3gs의 가치는 여기에 있습니다. 생성된 3D 월드가 늘어날수록 중요한 질문은 “어떻게 만들 것인가”에서 “만든 공간을 어떻게 이해하고 편집할 것인가”로 옮겨갑니다. 이 프로젝트는 그 문제를 작고 명확한 파이프라인으로 보여줍니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.