딥러닝에서 “비선형성”은 보통 ReLU 같은 활성화 함수에서 나온다고 생각한다. 하지만 Deep Linear Networks는 이 직관을 조금 다르게 보게 만든다. 이 모델은 비선형 활성화 없이 여러 층의 선형 변환을 쌓은 신경망이다.1 입력과 출력만 보면 결국 하나의 선형 함수처럼 보인다.
그런데 학습 과정까지 선형적인 것은 아니다. 여러 가중치 행렬이 곱으로 연결되기 때문에, 경사하강법이 각 층을 업데이트하는 방식은 복잡한 동역학을 만든다. 실제로 기존 연구는 긴 정체 구간 뒤 오차가 급격히 줄어드는 현상처럼, 겉보기에는 단순한 모델에서도 비선형적인 학습 패턴이 나타날 수 있음을 분석했다.2
Deep Linear Networks는 왜 중요한가
Deep Linear Networks는 복잡한 비선형 함수를 표현하기 위한 모델이 아니다. 오히려 장점은 반대에 있다. 표현력은 제한적이지만, 그만큼 “깊이”가 최적화에 어떤 영향을 주는지 깨끗하게 관찰할 수 있다.
같은 선형 함수를 만들 수 있더라도, 한 층으로 표현할 때와 여러 층의 곱으로 표현할 때 학습 경로는 달라진다. 따라서 이 모델에서 중요한 질문은 “무엇을 표현할 수 있는가”보다 “어떤 순서로, 어떤 방식으로 배워 가는가”에 가깝다.
예를 들어 특이값 분해 관점에서는 데이터의 주요 모드가 언제 학습되는지 분석할 수 있다. 어떤 모드는 빠르게 학습되는 반면, 다른 모드는 오래 정체된 뒤 갑자기 학습될 수 있다.2 이는 깊이가 단순히 표현력을 늘리는 장치가 아니라, 학습의 시간 구조를 바꾸는 요인임을 보여준다.
다중 경로에서 생기는 대칭성 붕괴
최근 다중 경로 Deep Linear Network 연구는 이 문제를 한 단계 더 밀고 간다. 여러 경로가 같은 신호를 나눠 처리할 수 있는 구조에서는, 경로들이 균등하게 쓰일 수도 있고 특정 경로가 대부분의 신호를 가져갈 수도 있다.
연속시간 그래디언트 플로우 분석은 이런 구조에서 경로 대칭성이 깨질 수 있다고 예측한다. 즉 각 특징이 하나의 경로에 집중되는 ‘승자독식’ 특수화가 나타날 수 있다.3 학습 초기에는 깊이에 의해 유도된 대칭성 붕괴가 나타날 수 있다는 점도 중요하다.3
이 관점만 보면 다중 경로 모델은 결국 일부 경로만 강하게 쓰는 방향으로 수렴할 것처럼 보인다. 하지만 이 결론은 최적화 방법을 어떻게 보느냐에 따라 달라질 수 있다.
큰 스텝 크기는 학습 동역학을 바꾼다
핵심 차이는 연속시간 그래디언트 플로우와 실제 이산 경사하강법 사이에 있다. 큰 스텝 크기의 이산 그래디언트 하강법은 그래디언트 플로우와 다른 학습 동역학을 보일 수 있다.3
다중 경로 Deep Linear Network 연구에 따르면, 단일 경로 해는 샤프 미니마로 증명됐다.3 반대로 신호를 여러 경로에 분산하면 해의 샤프니스가 줄어든다.3 즉 한 경로가 모든 것을 가져가는 해가 항상 안정적으로 유지되는 것은 아니다.
특히 큰 학습률에서는 안정성 경계에서의 진동이 이후 신호를 경로들 사이에 재분배하는 재균형 단계를 유도할 수 있다.3 다시 말해 처음에는 대칭성이 깨져 승자독식처럼 보이더라도, 이산 업데이트의 효과가 이후 경로 간 균형을 회복시키는 방향으로 작용할 수 있다.
다만 경로 수와 깊이가 증가할수록 신호 분산에 따른 샤프니스 감소 요인은 더 작아진다.3 따라서 “신호를 나누면 항상 크게 유리하다”는 식으로 단순화해서는 안 된다. 구조, 깊이, 경로 수, 학습률이 함께 동역학을 결정한다.
실용적 교훈: 구조만 보지 말고 업데이트를 보라
Deep Linear Networks가 주는 가장 실용적인 메시지는 명확하다. 네트워크 구조만 보고 학습 결과를 예측하면 부족하다. 같은 표현을 할 수 있는 모델이라도, 학습률과 이산 업데이트 방식, 안정성 경계 근처의 움직임에 따라 전혀 다른 경로를 거칠 수 있다.
이 모델은 현실의 딥러닝 시스템을 그대로 대체하지는 않는다. 하지만 깊이와 최적화가 학습 동역학을 어떻게 바꾸는지 보여주는 좋은 축소판이다. 비선형 활성화가 없어도 학습은 충분히 비선형적일 수 있다.
따라서 딥러닝을 이해할 때는 두 가지 질문을 함께 봐야 한다. 모델이 최종적으로 무엇을 계산할 수 있는가. 그리고 그 계산에 어떤 최적화 경로를 통해 도달하는가. Deep Linear Networks의 가치는 바로 두 번째 질문을 선명하게 드러내는 데 있다.
2Exact solutions to the nonlinear dynamics of learning in deep linear neural networks
3Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.