메타의 이미지바인드 : 여러 종류의 데이터를 하나의 임베딩 스페이스로 저장

Image bind

메타에서 공개한 기술로 6개의 서로 다른 모달리티를 통합된 임베딩 스페이스에 저장하고 검색할 수 있다. 6개의 데이터 종류는 이미지, 텍스트, 오디오, 깊이(depth), 열(thermal) 그리고 IMU 데이터(관성 측정 장비 : 가속도, 회전속도 등) 이다.

pytorch를 설치해서 사용할 수 있다. 코드와 모델은 모두 CC-BY-NC 4.0 으로 공개.

GitHub - facebookresearch/ImageBind: ImageBind One Embedding Space to Bind Them All