구글 딥마인드의 비디오 게임을 플레이하는 AI - SIMA

DeepMind SIMA (scalable instructable multiworld agent)

딥마인드의 SIMA는 여러 비디오 게임 환경에서 자연어로 지시를 내리면 이를 따를 수 있는 AI 모델입니다.

이미지 출처 : 딥마인드

여러 3D 게임 환경에서 학습이 되었고 자연어로 지시를 내리면 이를 수행할 수 있습니다. 위의 이미지에서는 "Collect wood" (나무를 수집해) 라는 명령어를 내렸을 때 게임 상에서 나무를 수집하는 행동을 하는 것을 볼 수 있습니다.

기존의 리워드 중심의 강화학습에서 벗어나 다양한 게임 세계를 이해하고 그 지시를 따라 태스크를 수행할 수 있는 것을 보여주는 연구입니다.

3D 환경을 위한 제네럴리스트 AI 에이전트(A generalist AI agent for 3D virtual environments)라는 이름이 붙었는데요. 특정 게임만이 아닌 다양한 환경을 이해하고 수행할 수 있음을 보여주는 이름입니다.

지금 SIMA는 "왼쪽으로 돌아라", "사다리를 타라", "지도를 열어라"와 같은 기본 기술들을 평가했다고 합니다. 향후에는 "자원을 찾아 캠프를 짓는다"와 같이 고도의 전략적 계획과 여러 하위 태스크를 완료해야 하는 태스크를 다루고자 한다고 합니다.

물론 모든 게임을 플레이할 수는 없는 것이 각 게임마다 독특한 규칙이나 인터페이스가 있기 때문입니다. 그래도 일반적으로 행동할 수 있는 AI가 나온다는 것이 독특합니다.

이렇게 가상 세계에서 에이전트를 먼저 테스트한다면 현실 세계에서 드는 테스트 비용들을 절감할 수 도 있지 않을까 생각해 봅니다. 어쩌면 메타 버스 월드에서 가장 먼저 존재하는 것은 AI가 아닐까요.

"자동차를 운전해" 라고 입력하면 자동차를 찾아서 운전하는 모습.

출처 : Introducing SIMA, a Scalable Instructable Multiworld Agent