PC-ALM: 국소 학습으로 1,000계층 네트워크를 훈련하는 방법
요약: PC-ALM은 각 계층의 제약 조건에 라그랑주 승수를 적용해, 인접 계층의 정보만으로 역전파에 가까운 학습 신호를 만드는 방식이다. 선형 네트워크에서는 정확한 역전파 기울기를 복원하며, MNIST의 1,000계층 잔차 MLP에서도 역전파 대비 약 2포인트 이내의 성능을 보였다.
역전파는 순방향 계산, 역방향 계산, 가중치 갱신을 엄격한 순서로 수행한다. 효과적인 학습법이지만, 전체 네트워크에 걸쳐 단계별 계산을 조율해야 한다. Sakana AI 연구원 Jeffrey Seely와 Julian Gould가 소개한 PC-ALM은 이 절차를 계층별 국소 계산으로 바꾸면서도 학습 신호를 유지할 수 있는지 탐구한다.1
기존 예측 코딩은 어디에서 막히는가
예측 코딩은 각 계층의 실제 활성값과 예측값 사이의 오차를 줄이는 에너지 최소화 방식이다. 활성값을 갱신할 때 바로 아래·현재·바로 위 계층의 정보만 필요하므로 계산이 국소적이다. 가중치 갱신도 시냅스 전 활동과 시냅스 후 오차를 곱하는 헤브식 델타 규칙과 유사하다.1
학습 과정은 미니배치마다 순방향 초기화를 수행한 뒤, 활성값을 조정하는 추론 단계를 T회 반복하고 가중치를 한 번 갱신하는 순서로 진행된다. 문제는 표준 예측 코딩이 계층별 제약을 정확히 만족시키지 못해 역전파와 다른 학습 궤적을 만들 수 있다는 점이다.1
기존 방식으로도 너비 512의 128계층 잔차 MLP를 MNIST와 Fashion-MNIST에서 학습한 사례가 있다. 그러나 네트워크 너비가 깊이보다 작은 구조에서는 성능이 저하됐다. 깊이를 크게 늘리려면 국소 오차를 전달하는 것만으로는 부족하고, 계층별 제약을 더 정확하게 다룰 방법이 필요하다.1
PC-ALM이 추가한 누적 학습 신호
PC-ALM은 각 계층의 제약 조건에 라그랑주 승수를 둔다. 이 승수는 현재의 예측 오차뿐 아니라 이전 단계에서 누적된 제약 위반까지 활성값 조정에 반영한다. 즉, 계산의 국소성은 유지하면서 학습 신호가 깊은 네트워크를 통과할 수 있도록 보완한다.2
이 차이는 선형 신경망에서 명확하게 드러난다. 라그랑주 승수가 수렴하면 PC-ALM은 정확한 역전파 기울기를 복원한다. 표준 예측 코딩과 역전파 사이의 차이를 단순한 근사가 아니라 제약 최적화 문제로 다룬다는 점이 핵심이다.2
1,000계층 실험을 어떻게 해석해야 하는가
연구진은 PC-ALM으로 MNIST의 1,000계층 잔차 MLP를 학습했다. 각 미니배치에서 순방향 초기화 후 추론을 반복했으며, 추론 횟수 T는 계층 수의 두 배로 설정했다. 그 결과 역전파 대비 약 2포인트 이내의 성능을 기록했다.1
이 결과는 매우 깊고 좁은 네트워크에서도 국소 학습이 가능하다는 근거다. 다만 역전파를 즉시 대체한다는 의미는 아니다. 1,000계층 실험에서는 깊이에 비례해 많은 추론 단계를 수행했으므로, 정확도와 함께 반복 계산 비용을 평가해야 한다.
PC-ALM을 검토할 때는 다음 기준이 중요하다.
역전파 대비 정확도 차이가 어느 정도인가
필요한 추론 단계 T가 깊이에 따라 얼마나 증가하는가
학습 과정이 안정적으로 수렴하는가
더 큰 데이터와 복잡한 모델에서도 장점이 유지되는가
PC-ALM의 가치는 단순히 “역전파를 사용하지 않는다”는 데 있지 않다. 인접 계층의 정보만 사용하는 계산 구조로도 깊은 네트워크에 유효한 학습 신호를 전달할 수 있음을 보여준다는 데 있다. 재현과 추가 실험을 위한 MIT 라이선스 JAX 코드도 공개돼 있어, 실제 적용 가능성과 계산 비용을 직접 검증할 수 있다.1
1Augmented Lagrangian Predictive CodingTraining 1000-layer networks without backpropagation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.