상상으로 배우는 AI, Photon-1: 행동 레이블 없이 컴퓨터를 다루는 법을 익히다
AI가 컴퓨터를 다루는 법을 배우려면 모든 클릭, 모든 키 입력을 정답지처럼 알려줘야 한다는 통념이 있습니다. Induction Labs가 공개한 Photon-1은 그 통념을 정면으로 반박합니다. 이 모델은 라벨링된 행동 데이터 없이, 단지 화면 녹화 영상만 보고 마우스와 키보드를 다루는 법을 스스로 익혔습니다.
어떻게 그게 가능할까요? 핵심은 ‘다음 화면을 얼마나 잘 상상하는가’에 달려 있습니다.
단순한 아이디어, 강력한 압축: 다음 화면을 예측하라
Photon-1의 작동 원리는 단순합니다. 현재 화면 상태를 보고 바로 다음에 어떤 화면이 나타날지 예측하는 것입니다1.
예를 들어 메뉴를 클릭하면 새 창이 열리는 장면을 수백만 번 관찰하면서, 모델은 “클릭”이라는 단어를 배우지 않고도 화면 전환의 인과관계를 내재화합니다. Induction Labs는 이것을 암묵적 정책(implicit policy) 이라고 부릅니다. 행동을 직접 모방하는 대신, 화면의 상태 변화를 이해함으로써 그 변화를 일으키는 행동을 간접적으로 체득하는 셈입니다.
이 방식이 가능하려면 엄청난 압축 기술이 필요합니다. 모든 픽셀을 처리하는 것은 비효율적이기 때문이죠. Photon-1의 비전 인코더는 유한 스칼라 양자화(FSQ)를 사용해 각 화면 프레임을 960개의 이산 토큰으로 압축하는데, 용량은 겨우 2.2KB에 불과합니다. 기존 OCR이나 멀티모달 모델이 표현하는 방식보다 100배 이상 효율적이면서도 텍스트와 레이아웃 같은 핵심 정보는 그대로 보존합니다1. 여기에 프레임 자체가 아닌 연속된 프레임 간의 차이만 인코딩하는 차분 잠재 인코더(differential latent encoder) 를 사용해 중복 정보를 더욱 철저히 제거합니다.
이렇게 설계된 모델의 눈은 18년 분량에 달하는 방대한 데이터로 훈련되었습니다. 사전 훈련 데이터는 공개된 20억 개의 비디오에서 필터링한 약 200만 개의 컴퓨터 화면 녹화본입니다. 중복 프레임을 제거하고 초당 1프레임으로 샘플링해 총 5억 7,500만 프레임(5,520억 토큰) 규모의 ‘컴퓨터 사용 장면’ 데이터베이스를 구축했습니다1. 이 훈련에는 32K 컨텍스트 길이가 사용되었으며, 약 3만 H200 GPU-시간과 4.4×10²² FLOPs의 연산이 소요되었습니다1.
UI를 넘어선 전이: 체커와 당구를 정복하다
Photon-1이 단순히 UI의 생김새를 암기한 것이라면, 훈련 데이터와 전혀 다른 영역에서는 무용지물일 것입니다. Induction Labs는 지식 전이 능력을 시험하기 위해 두 가지 게임 실험을 진행했습니다.
첫 번째는 토너먼트 체커 게임 2만 판을 파인튜닝한 실험입니다. Photon-1은 같은 데이터로 학습한 언어 모델(LLM)과 비전 인코더 기반 모델을 모두 앞질렀습니다1. 컴퓨터 화면을 보고 자란 모델이 보드게임의 규칙과 전략을 추상화하여 학습한 것입니다.
두 번째는 당구 물리 시뮬레이션입니다. 1만 개의 합성 당구 게임 데이터로 파인튜닝한 결과, 공의 위치를 예측하는 평균 절대 오차가 0.47로 LLM 기준선(1.15)과 비전 기준선(1.44)을 크게 상회했습니다1.
이 수치들은 Photon-1이 시각적 패턴을 넘어, 상태 변화의 동역학 자체를 일반화된 지식으로 습득했음을 시사합니다.
상상에서 행동으로: 강화학습을 통한 완성
비디오 관찰만으로는 실제 클릭과 타이핑이라는 물리적 행동을 만들어낼 수 없습니다. 이 간극을 메우기 위해 Induction Labs는 3만 5천 개 미만의 소규모 레이블 데이터로 액션 출력 형식을 먼저 가르친 후, 모델을 온라인 강화학습 환경에 투입했습니다1.
Photon-1은 가상 머신에서 실제로 작업을 수행하고, 성공 여부를 프로그램 방식으로 검증하여 보상을 받습니다. 추론 시의 작동 방식은 2단계로 이루어집니다. 먼저 “목표 달성에 유리한 다음 화면은 무엇일까”를 상상하고, 그 상상된 화면에 도달하기 위한 구체적인 액션을 출력합니다.
Induction Labs의 내부 벤치마크에 따르면, Photon-1은 Gemini 3.1 Flash-Lite보다 높은 성능을 보였으며 사전 훈련 컴퓨팅은 1/30, 추론 비용은 1/3 수준에 불과했습니다1. 다만 이 벤치마크와 비교 대상의 컴퓨팅 추정치는 아직 독립적으로 검증되지 않은 Induction Labs의 자체 결과임을 감안해야 합니다.
무엇이 달라졌나: 행동 추론이라는 병목을 제거하다
기존 방식은 영상에서 행동을 역추론하는 별도의 모델(IDM)에 의존했습니다. 이 IDM이 키 입력이나 마우스 움직임을 제대로 추론하지 못하면, 아무리 방대한 영상 데이터가 있어도 훈련 데이터로 쓸모가 없어집니다. Photon-1은 바로 이 중간 단계, 즉 병목을 완전히 제거했습니다. 액션이 무엇인지 몰라도 상태 변화를 예측할 수만 있다면 배울 수 있는 것입니다.
이 구조는 단순한 UI 자동화를 넘어서는 함의를 갖습니다. 숙련된 육체 노동, 미묘한 사회적 상호작용, 여러 사건이 동시에 벌어지는 복잡한 상황처럼 사람조차 행동 레이블을 붙이기 어려운 영역에도 적용 가능성을 열어두기 때문입니다.
현재 Photon-1은 가중치도, API도 공개되지 않은 연구 단계의 결과물입니다. 하지만 Induction Labs는 이 모델을 통해 “라벨 없이 관찰만으로 배우기”라는 방향성이 실현 가능함을 분명히 증명했습니다. AI가 세상을 배우는 가장 자연스러운 방법이 무엇인지, 그 기준을 다시 생각하게 만드는 모델입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.