공개 노트

AI 영상 생성 결과를 비교하기 위한 간단한 테스트 로그 만들기

2026-08-07Views 29약 3분

AI 영상 생성 모델을 테스트하다 보면 결과 파일이 생각보다 빠르게 쌓입니다.

처음에는 영상을 생성한 뒤 마음에 드는 결과만 저장했습니다. 하지만 며칠 뒤 비슷한 영상을 다시 만들려고 하면 문제가 생겼습니다.

어떤 프롬프트를 사용했는지, 어떤 설정을 바꿨는지, 이전 결과와 무엇이 달라졌는지 기억하기 어려웠습니다.

파일 이름도 별 도움이 되지 않았습니다.

video_01.mp4, test_final.mp4, test_final2.mp4 같은 파일만 남아 있으면 영상은 볼 수 있어도 그 결과가 만들어진 과정을 다시 확인하기 어렵습니다.

그래서 최근에는 영상 파일과 함께 간단한 테스트 로그를 남기고 있습니다.

영상과 설정을 함께 저장하기

처음 바꾼 것은 폴더 구조였습니다.

영상만 저장하지 않고 테스트에 사용한 설정 파일을 같은 폴더에 넣었습니다.

예를 들면 다음과 같습니다.

experiments/
 ├── 001/
 │   ├── prompt.yaml
 │   ├── result.mp4
 │   └── notes.md
 ├── 002/
 │   ├── prompt.yaml
 │   ├── result.mp4
 │   └── notes.md

prompt.yaml에는 생성에 사용한 주요 조건을 기록합니다.

subject: running shoes
camera: slow orbit
lighting: studio light
duration: 8
aspect_ratio: 16:9

이렇게 해 두면 몇 주 뒤에도 결과와 설정을 바로 연결해서 확인할 수 있습니다.

실험마다 ID 부여하기

파일 이름도 조금 바꿨습니다.

예전에는 final, new, latest 같은 단어를 많이 사용했는데, 시간이 지나면 의미가 거의 없어졌습니다.

지금은 단순하게 실험 번호를 사용합니다.

exp_001
exp_002
exp_003

그리고 로그에는 무엇을 변경했는지만 기록합니다.

exp_003

changed:
camera: static → slow orbit

result:
subject consistency improved
background motion slightly unstable

복잡한 데이터베이스가 필요한 작업은 아니었습니다.

텍스트 파일 몇 개만으로도 이전 실험을 찾는 시간이 많이 줄었습니다.

비교할 때는 기준을 먼저 정하기

또 하나 바꾼 것은 결과를 보는 방식입니다.

예전에는 영상을 보고 단순히 "좋다" 또는 "별로다" 정도로 판단하는 경우가 많았습니다.

하지만 이런 평가는 며칠만 지나도 기준이 달라집니다.

그래서 테스트 전에 몇 가지 확인 항목을 정해 두었습니다.

피사체 형태가 유지되는가
카메라 움직임이 프롬프트와 일치하는가
배경에 불필요한 변화가 생기는가
첫 프레임과 마지막 프레임의 차이가 지나치게 큰가
같은 설정으로 다시 생성했을 때 비슷한 결과가 나오는가

모든 항목에 점수를 줄 필요는 없었습니다.

stable, acceptable, unstable 정도의 간단한 메모만으로도 충분했습니다.

작은 스크립트로 로그 만들기

반복해서 같은 파일을 만드는 것도 귀찮아져서 간단한 Python 스크립트를 만들었습니다.

from pathlib import Path
from datetime import datetime

experiment_id = "exp_004"
root = Path("experiments") / experiment_id

root.mkdir(parents=True, exist_ok=True)

notes = f"""# {experiment_id}

date: {datetime.now().strftime("%Y-%m-%d")}

changed:

result:

next_test:
"""

(root / "notes.md").write_text(notes, encoding="utf-8")

print(f"Created: {root}")

아주 작은 코드지만 새 테스트를 시작할 때마다 동일한 형식의 기록을 만들 수 있습니다.

실험 횟수가 늘어날수록 이런 작은 자동화가 꽤 편리했습니다.

다른 모델도 같은 조건으로 테스트하기

테스트 로그를 만들기 시작한 뒤에는 새로운 모델을 확인할 때도 같은 구조를 사용하고 있습니다.

새 모델마다 새로운 평가 방식을 만드는 대신 기존 프롬프트와 기록 형식을 그대로 사용합니다.

최근에는 같은 방식으로 Wan 3.0도 몇 가지 테스트에 포함했습니다.

동일한 입력과 비슷한 설정을 유지하니 단순히 결과 영상만 보는 것보다 카메라 움직임, 피사체 유지, 반복 생성 시 차이를 비교하기가 훨씬 쉬웠습니다.

중요한 점은 특정 모델에 맞춰 테스트 방식을 바꾸지 않는 것이었습니다.

그래야 이전 결과와 비교할 수 있기 때문입니다.

결과보다 과정이 더 많이 남았습니다

처음에는 좋은 영상을 찾기 위해 로그를 만들기 시작했습니다.

그런데 몇 달 사용해 보니 실제로 더 유용했던 것은 실패한 결과였습니다.

예전에는 실패한 영상을 바로 삭제했습니다.

지금은 왜 실패했다고 생각했는지 한두 줄이라도 남깁니다.

exp_012

result:
camera movement was correct
subject shape changed after 4 seconds

next_test:
keep prompt, reduce motion

이 기록 덕분에 비슷한 문제가 다시 생겼을 때 처음부터 테스트하지 않아도 됩니다.

영상 파일 하나만 저장했을 때는 알 수 없었던 정보입니다.

마무리

AI 영상 생성 실험을 관리하기 위해 처음부터 복잡한 시스템을 만들 필요는 없었습니다.

실험 번호를 붙이고, 프롬프트와 결과를 같은 위치에 저장하고, 무엇을 변경했는지 짧게 기록하는 것만으로도 충분했습니다.

특히 여러 모델이나 설정을 비교할 때는 결과 영상 자체보다 "어떤 조건에서 이 결과가 나왔는지"를 남겨 두는 것이 더 중요했습니다.

요즘은 영상을 저장할 때 result.mp4 하나만 남기지 않습니다.

그 옆에 작은 notes.md 파일도 함께 남깁니다.

몇 주 뒤 다시 실험 폴더를 열었을 때는 그 파일이 영상보다 더 유용할 때가 많았습니다.