Facebook을 만든 메타의 SAM 인공지능 모델

Segment Anything Model

Meta가 공개한 물체를 분할 (segment) 및 선택(Mask)할 수 있는 인공지능 모델이다. 추가적인 데이터 없이 (zero shot) 새로운 이미지의 사물의 선택이 가능하다.

이런 식으로 사진의 물체를 클릭하면 해당 물체 (object)의 윤곽선을 선택할 수 있다. 이래서 이미지 분할이라고 하는 것 같다. segment anything 홈페이지에서 데모를 사용해 볼 수 있다.

블로그 게시물을 통해 텍스트 프롬프트로 물체를 선택 (이를 mask 한다고 한다.) 하는 Text to mask 기술이 가능하게 설계됐다고 밝혔다.

이렇게 텍스트 프롬프트를 입력하면 물체를 선택하는 개념이다. 아직 완벽하게 구현된 것은 아닌 것 같지만 매우 유용하게 쓰일 것 같다. 이미지 임베딩과 텍스트 임베딩을 결합해서 사용하는 것 같다.

연구 목적으로 모델, 데이터셋을 모두 공개했다. 이미지 분할 (image segmentation) 의 기초 모델이라고 한다.

이렇게 이미지, 비디오에서 사물 인식이 가능하면, 비슷한 오브젝트를 모아서 식별도 가능하고, 나중에 오브젝트를 만들 때 사용이 가능할 것도 같다. 현실 세계에서 사물을 인식할 때도 유용하게 활용되어 로봇 같은데에도 쓰일 수 있지 않을까 싶다.

관심 있으신 분들은 데모를 사용해 보면 이해하기가 훨씬 쉬울 것 같습니다.

홈페이지 : Segment Anything (데모)

리서치 페이퍼