학습 중 momentum과 현재 gradient의 코사인 유사도가 낮거나 음수가 될 때가 있다. 직관적으로는 옵티마이저가 누적해 온 “가던 방향”과 현재 손실 지형이 가리키는 방향이 어긋난 상태다. 정의 방식에 따라 부호 해석은 달라질 수 있지만, 핵심은 같다. 저장된 관성과 최신 기울기 사이에 충돌이 생겼다는 뜻이다.
이 값은 단순한 디버깅용 숫자가 아니다. 모멘텀이 지금도 학습을 돕고 있는지, 아니면 과거 방향을 너무 오래 끌고 가며 업데이트를 방해하는지 판단하는 신호가 될 수 있다.
모멘텀은 언제 도움이 되고, 언제 부담이 되는가
모멘텀은 이전 기울기를 누적해 속도처럼 사용하는 장치다. 비슷한 방향의 기울기가 이어지면 업데이트를 더 강하게 밀어주고, 방향이 자주 뒤집히면 상쇄 효과로 진동을 줄인다.1
문제는 현재 그래디언트가 누적된 모멘텀과 계속 어긋날 때다. 이때 cos(momentum, gradient)가 낮거나 음수로 내려간다. 이는 “학습률이 너무 큰가?”보다 조금 더 구체적인 질문을 던진다.
지금의 모멘텀은 현재 기울기와 같은 방향으로 작동하고 있는가?
특히 고정 learning rate 환경에서는 이 신호가 더 중요해진다. 어떤 레이어나 차원은 안정적으로 같은 방향을 유지하지만, 다른 곳에서는 부호가 자주 바뀔 수 있다. 전체 learning rate 하나만 조정하면 가장 불안정한 부분에 맞추느라 나머지 업데이트까지 둔해질 수 있다.
방향 일관성은 손실 감소와 같은 말이 아니다
GONO 논문은 연속된 그래디언트의 코사인 유사도인 cc_t를 사용해 그래디언트 방향의 시간적 일관성을 측정한다.2 여기서 중요한 관찰은 방향 정렬과 손실 수렴이 서로 분리될 수 있다는 점이다.2
즉, 그래디언트 방향이 일관적이라고 해서 손실이 반드시 빠르게 줄어드는 것은 아니다. 논문은 cc_t가 1에 가까워져도 손실이 높게 유지되거나 느리게 감소할 수 있다고 보고한다.2 반대로 손실이나 그래디언트 크기만 보면 현재 상태가 plateau인지, saddle point인지, 실제 수렴에 가까운지 구분하기 어려울 수 있다.2
이 지점에서 방향 기반 신호의 가치가 생긴다. Adam, SGD, RMSprop 같은 기존 옵티마이저는 주로 크기 기반 신호에 의존하며, 그래디언트 방향의 시간적 일관성을 명시적으로 활용하는 메커니즘이 부족하다고 GONO 논문은 설명한다.2 크기와 방향은 서로 다른 정보를 담고 있으므로, 둘을 함께 봐야 학습 상태를 더 잘 해석할 수 있다.
동적 모멘텀 조정이라는 선택지
GONO는 이 방향 일관성 신호를 Adam의 1차 모멘텀 계수인 beta_1 조정에 사용한다.2 방향이 일관될 때는 모멘텀을 증폭하고, 진동이 감지될 때는 모멘텀을 억제한다.2
이 아이디어의 장점은 단순하다. 모멘텀을 항상 같은 강도로 적용하지 않고, 현재 그래디언트 흐름이 모멘텀을 받을 만한 상태인지에 따라 조절한다. 또한 GONO는 방향 신호가 유용하지 않을 때 Adam으로 정확히 환원된다고 제시된다.2 즉, 새로운 신호가 도움이 되지 않는 구간에서는 기존 Adam의 동작으로 돌아갈 수 있다는 의미다.
실무에서 무엇을 볼 것인가
실험을 해석할 때 loss와 grad norm만 보는 대신 다음 신호를 함께 기록하면 유용하다.
cos(momentum, gradient)연속 그래디언트 간 코사인 유사도
부호 반전률
그래디언트 분산
cos(momentum, gradient)가 일시적으로 음수가 되는 것은 이상 현상이라고 단정할 필요가 없다. 하지만 특정 레이어나 파라미터 그룹에서 반복적으로 음수가 나온다면, 단순히 전체 learning rate를 낮추기 전에 모멘텀이 과하게 누적되고 있는지 확인할 만하다.
이때 검토할 수 있는 방향은 고정된 beta를 그대로 두는 대신, 방향 일관성에 따라 beta_1을 조정하거나 damping을 적용하는 것이다. 핵심은 모멘텀을 제거하는 것이 아니라, 모멘텀이 유효한 구간과 방해가 되는 구간을 구분하는 데 있다.
결론
모멘텀-그래디언트 코사인 유사도는 “얼마나 크게 움직이는가”가 아니라 “지금도 맞는 방향으로 움직이고 있는가”를 묻는 지표다. 값이 낮거나 음수로 반복된다면, 현재 모멘텀이 최신 그래디언트와 충돌하고 있을 가능성을 점검해야 한다.
따라서 고정 learning rate와 고정 beta만으로 학습을 해석하기보다, 방향 일관성·부호 반전률·분산 같은 신호를 함께 보는 것이 실용적이다. 그 결과 모멘텀이 안정적으로 작동하는 구간에서는 더 적극적으로 활용하고, 진동이 강한 구간에서는 동적 beta나 damping을 검토할 수 있다.
1Optimization Lab 3 - Momentum and Nesterov Acceleration
2[2605.06575v1] Directional Consistency as a Complementary Optimization Signal: The GONO Framework
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.