동영상 AI를 도입할 때 중요한 것은 얼마나 많은 프레임을 처리하느냐가 아니라, 질문에 필요한 순간을 제대로 찾아내느냐다. 특히 수 시간짜리 영상에서는 모든 구간을 같은 밀도로 읽는 방식이 비효율적일 수 있지만, 무작정 샘플링을 줄이면 짧은 사건이나 빠른 움직임을 놓칠 위험이 있다.
Google Gemini의 에이전트 기반 동영상 분석은 이 문제를 ‘고정된 입력 처리’가 아닌 ‘목표 중심 탐색’으로 다룬다. 모델이 질의에 따라 확인할 구간과 재생 속도를 정하고, 시각 프레임·오디오·자막 가운데 필요한 모달리티를 선택하는 방식이다. 내부 도구를 호출하는 에이전트 루프가 동영상 파일에서 필요한 부분만 가져오므로, 개발자가 별도의 구간 선택 및 재샘플링 로직을 직접 설계해야 하는 부담도 줄일 수 있다.
핵심 가치는 적게 보는 것이 아니라 다시 볼 곳을 고르는 데 있다
기존 Google Gemini 동영상 분석은 기본적으로 초당 1프레임의 고정 속도로 영상을 샘플링했다. 이 방식은 처리 규칙이 단순하지만, 영상 전체에서 정보 밀도가 일정하지 않다는 점을 충분히 반영하기 어렵다.
에이전트 방식은 긴 영상을 탐색한 뒤 의심되는 구간을 더 높은 프레임 속도로 다시 샘플링할 수 있다. 따라서 빠른 움직임이나 미세한 시각적 이상을 검사하거나, 1초 미만의 상태 변화와 촘촘한 장면 전환 경계를 찾는 작업에 적용할 여지가 있다. 여러 시간 분량의 영상에서 복잡한 질의와 관련된 순간을 찾는 장시간 니들인어헤이스택 검색도 같은 구조의 활용 사례다.
이 변화의 의미는 단순한 토큰 절감에 그치지 않는다. 영상 전체를 균등하게 축약하는 대신, 관련성이 높은 구간에는 분석 밀도를 높일 수 있기 때문이다. 자동 편집처럼 정확한 장면 경계가 중요한 작업에서도 탐색과 정밀 검사를 한 흐름 안에서 수행할 수 있다는 점이 중요하다.
성능 수치는 분리해서 해석해야 한다
공개된 결과에 따르면 1H-VideoQA와 LVBench 평가에서는 토큰 사용량이 88% 감소했다. 별도로 제시된 결과에서는 분석 비용이 최대 66% 줄고 정확도가 최대 7% 높아졌다.1
다만 이 수치들을 하나의 보편적인 절감률로 간주해서는 안 된다. ‘최대’ 성과는 영상 길이, 질문의 복잡성, 필요한 시간 정밀도에 따라 실제 환경에서 달라질 수 있다. 또한 토큰 사용량 감소와 분석 비용 감소는 서로 구분해 측정할 필요가 있다. 도입 검증에서는 평균값뿐 아니라 중요한 장면을 놓치는 실패가 발생하는지도 함께 살펴야 한다.
적용 분야마다 검증 기준이 달라진다
장시간 검색에서는 정답 구간을 찾는 능력과 토큰 사용량이 우선 지표가 될 수 있다. 반면 이상 탐지에서는 아주 짧은 변화가 누락되지 않는지가 더 중요하다. 자동 편집에서는 사건의 존재 여부보다 장면 전환 경계를 얼마나 정밀하게 식별하는지가 핵심이 된다.
따라서 실제 평가에서는 다음 항목을 분리하는 편이 적절하다.
영상 길이와 질의 유형별 토큰 및 비용 변화
짧거나 빠른 사건을 놓치는 비율
재샘플링이 필요한 구간을 선택하는 정확도
시각 프레임, 오디오, 자막의 활용 차이
기존의 수동 구간 선택 로직을 대체할 수 있는 범위
에이전트가 처리 경로를 동적으로 결정한다는 점도 고려해야 한다. 같은 길이의 영상이라도 질문이 달라지면 확인하는 구간과 모달리티가 달라질 수 있으므로, 단일 데모보다는 반복 가능한 업무별 평가가 필요하다.
도입 경로와 다음 확인 사항
에이전트 기반 동영상 분석은 Gemini 3.7 Flash, Gemini 3.6 Flash, Gemini 3.5 Flash-Lite에 추가됐다. Google AI Studio의 Gemini API와 Gemini Enterprise Agent Platform에서 동영상 업로드와 YouTube 동영상을 지원하며, 개발자는 API 설정의 처리 모드를 agentic으로 지정할 수 있다. 별도의 기능 요금은 없고 표준 Gemini API 토큰 요금이 적용된다.1
앞으로 확인할 지점은 최대 성능 수치보다 실제 업무에서의 일관성이다. 긴 영상 검색, 짧은 이상 탐지, 정밀 자동 편집처럼 요구 조건이 다른 작업을 나눠 시험하고, 비용 절감과 누락 위험 사이의 균형을 측정해야 한다. Google Gemini의 변화가 실무적인 의미를 가지려면 ‘얼마나 덜 처리했는가’와 함께 ‘어떤 순간을 더 자세히 확인했는가’를 평가해야 한다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.