AI 생성 이미지
AI 평가는 대개 특정 시점의 모델을 정해진 테스트셋에 올려놓고 점수를 매깁니다. 하지만 지속 학습(Continual Learning, CL) 시스템에는 이 방식만으로 부족합니다. 지속 학습 모델은 새 데이터를 계속 받아들이며 스스로를 업데이트하기 때문입니다.
따라서 핵심 질문도 달라집니다. “지금 몇 점인가?”보다 “시간이 지나며 어떤 행동으로 이동하는가?”가 더 중요해집니다. 이것이 최근 Lorenzo Pacchiardi가 참여한 논문이 제안하는 행동 궤적(behavioral trajectories) 중심 평가의 출발점입니다.1
행동 궤적은 무엇을 보려는 관점인가
행동 궤적은 모델의 행동이 학습 과정에서 어떻게 변하는지를 추적하는 평가 관점입니다. 단일 성능 점수 대신 다음과 같은 변화의 방향을 봅니다.
새 정보에 얼마나 빠르게 적응하는가
과거에 배운 능력을 얼마나 유지하는가
특정 조건에서 위험하거나 원치 않는 행동으로 이동하는가
시간이 지날수록 가능한 행동의 범위가 어떻게 바뀌는가
Pacchiardi가 참여한 논문은 기존 AI 평가가 지속 학습 시스템에 구조적으로 적합하지 않다고 보고, 평가 목표를 “현재 성능 측정”에서 “가능한 행동을 특성화하고 그 진화를 예측하는 것”으로 옮겨야 한다고 제안합니다.1
이 관점의 실용적 가치는 분명합니다. 운영 중 계속 변하는 AI를 평가하려면, 한 번의 시험 성적보다 변화 패턴과 위험한 전환 가능성을 이해해야 합니다.
왜 기존 벤치마크가 불안정해질 수 있는가
지속 학습 평가가 어려운 이유는 모델만 변하는 것이 아니기 때문입니다. 평가 환경을 구성하는 방식도 결과에 큰 영향을 줍니다.
스트리밍 지속 학습에서는 연속적으로 들어오는 데이터 스트림을 시간 구간으로 나누고, 이를 이산적인 작업 시퀀스로 바꾸는 경우가 많습니다.2 이를 시간 기반 작업화(temporal taskification)라고 볼 수 있습니다. 중요한 점은 이 작업화가 단순한 전처리가 아니라는 것입니다. 어떤 시간 경계로 데이터를 나누느냐가 지속 학습 평가의 구조적 구성 요소가 됩니다.2
같은 데이터 스트림이라도 유효한 시간 분할 방식이 달라지면 서로 다른 지속 학습 체제가 만들어질 수 있습니다.2 그 결과 특정 모델이 더 우수해 보이는지, 더 많이 망각하는지, 새 정보에 더 잘 적응하는지에 대한 결론도 달라질 수 있습니다.
즉 지속 학습 벤치마크에서는 “모델 성능”과 “평가 설계의 영향”을 분리하기 어렵습니다. 그래서 행동 궤적을 보려면 모델의 점수뿐 아니라 데이터가 어떤 순서와 경계로 주어졌는지도 함께 기록해야 합니다.
안정성과 가소성을 함께 읽어야 한다
지속 학습에서 자주 등장하는 핵심 긴장은 안정성과 가소성입니다. 안정성은 이미 배운 것을 유지하는 능력이고, 가소성은 새로운 정보에 적응하는 능력입니다.3
두 능력은 모두 필요합니다. 안정성만 높으면 새 환경에 둔감해질 수 있고, 가소성만 높으면 기존 능력을 쉽게 잃을 수 있습니다. 지속 학습 평가가 단일 점수로는 충분하지 않은 이유도 여기에 있습니다. 좋은 모델은 단순히 높은 점수를 내는 모델이 아니라, 변화하는 조건에서 안정성과 가소성의 균형을 어떻게 유지하는지 설명 가능한 모델이어야 합니다.
Temporal Taskification 연구는 이 문제를 작업화 수준에서 다루며, 가소성 프로파일과 안정성 프로파일을 기반으로 한 평가 프레임워크를 제안합니다.2 이는 행동 궤적 평가와 자연스럽게 연결됩니다. 평가자는 특정 시점의 성능이 아니라, 작업 경계와 시간 조건에 따라 모델이 어떤 적응 경로를 보이는지 봐야 하기 때문입니다.
지속 학습 AI 평가는 무엇을 바꿔야 하나
행동 궤적 중심 평가는 벤치마크를 버리자는 주장이 아닙니다. 오히려 벤치마크가 더 많은 맥락을 포함해야 한다는 주장에 가깝습니다. 지속 학습 AI를 평가하려면 최소한 다음 요소를 함께 다뤄야 합니다.
시간에 따른 성능 변화
한 시점의 점수보다 학습 전후의 변화 방향을 기록해야 합니다.데이터 스트림과 작업 경계
같은 데이터라도 분할 방식에 따라 다른 결론이 나올 수 있으므로, 작업화 방식 자체를 평가 변수로 다뤄야 합니다.안정성·가소성 프로파일
모델이 과거 능력을 유지하는지, 새 정보에 적응하는지를 함께 봐야 합니다.행동 변화의 예측 가능성
현재 안전하거나 유용해 보이는 모델이 앞으로 어떤 행동 범위로 이동할 수 있는지 평가해야 합니다.
결론은 단순합니다. 지속 학습 AI에는 체크포인트 점수표만으로 충분하지 않습니다. 데이터가 들어오는 방식, 시간 구간의 설정, 안정성과 가소성의 균형, 그리고 행동이 이동하는 방향을 함께 봐야 합니다.
앞으로의 AI 평가와 거버넌스는 “현재 성능”뿐 아니라 “시간이 지나며 어떤 행동 궤적을 그릴 수 있는가”를 핵심 판단 기준으로 삼아야 합니다.
2Temporal Taskification in Streaming Continual Learning: A Source of Evaluation Instability
3A Comprehensive Survey of Continual Learning: Theory, Method and Application
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.