Sakana AI Error Diffusion: 역전파 없이 오류를 배분하는 학습법

신경망 학습의 표준인 역전파는 전역적인 오류 전달과 정밀한 기울기 계산에 의존한다. Sakana AI의 Error Diffusion은 이 전제를 바꾼다. 오류를 네트워크 전체에 역전파하는 대신 각 유닛에 나눠 전달함으로써, 역전파 없이도 네트워크를 학습한다.

오류를 역전파하는 대신 역할을 나눈다

Error Diffusion에서는 각 연결이 주변 활동과 할당된 오류 신호를 바탕으로 업데이트된다. 다중 분류에서는 은닉 유닛을 출력 클래스에 순환 배정하는 모듈로 오류 라우팅을 사용한다. 각 유닛이 처리할 오류 채널을 미리 정해 신용 할당 문제를 단순화하는 방식이다.¹

네트워크 구조도 일반적인 신경망과 다르다. 유닛은 흥분성·억제성 두 스트림으로 나뉘며, 학습되는 가중치는 음수가 되지 않는다. 스트림 간 억제 효과는 구조적으로 부여된다. 이는 하나의 뉴런이 흥분 또는 억제 역할 중 하나를 유지한다는 데일의 원칙을 반영한 설계다.¹

즉, Error Diffusion의 핵심은 역전파만 제거한 데 있지 않다. 오류 전달 방식과 네트워크 구조를 함께 설계해, 생물학적 제약 아래에서도 학습이 가능하도록 했다는 점에 있다.

정확도는 가능성과 한계를 함께 보여준다

Error Diffusion은 MNIST에서 96.7%, CIFAR-10에서 61.7%의 정확도를 기록했다.¹ 이 수치는 최고 성능 경쟁보다 방법의 가능성을 판단하는 근거로 보는 편이 적절하다. 특히 CIFAR-10 결과는 역전파 기반 모델을 곧바로 대체했다기보다, 데일의 원칙을 따르는 이중 스트림 구조와 오류 라우팅만으로 합성곱망을 학습할 수 있음을 보여준다.

따라서 성능을 평가할 때는 정확도뿐 아니라 어떤 제약을 지키면서 얻은 결과인지도 함께 봐야 한다. Error Diffusion의 가치는 더 높은 정확도보다, 역전파가 필수라는 설계 가정을 완화한 데 있다.

특수 하드웨어에서 주목할 이유

역전파를 없애려는 시도는 생물학적 타당성뿐 아니라 하드웨어 구현과도 연결된다. 예를 들어 광학 신경망에서 역전파를 구현하려면 순방향과 역방향 광 경로 사이에 정밀한 물리적 대칭이 필요하다. 그러나 정렬 오차와 수차, 비상호적 광학 부품은 이러한 대칭을 구현하기 어렵게 만든다.²

이런 환경에서는 전역 오류 체인과 정밀한 역방향 경로에 의존하지 않는 국소 오류 기반 학습이 대안이 될 수 있다. Error Diffusion이 곧바로 광학 하드웨어의 해답이라는 뜻은 아니지만, 학습 규칙을 하드웨어의 물리적 제약에 맞춰 다시 설계할 수 있다는 방향을 제시한다.

앞으로 확인해야 할 판단 기준

Error Diffusion의 의미를 평가하려면 다음 세 가지를 살펴봐야 한다.

• 더 큰 데이터셋과 복잡한 과제에서도 정확도를 유지하는가

• 역전파와 비교했을 때 계산량과 파라미터 비용은 어떤가

• 실제 뉴로모픽·광학 장치에서도 효율적인가

현재 결과가 보여주는 것은 역전파의 종말이 아니다. 더 중요한 결론은 오류 전달 방식과 네트워크 구조를 함께 바꾸면, 생물학적·물리적 제약에 맞는 새로운 학습 규칙을 설계할 수 있다는 점이다.

¹Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks

²Bio-inspired backpropagation-free training for optical neural networks