신경망 설계는 보통 사람이 먼저 구조를 정하는 방식으로 시작합니다. 채널은 몇 개로 할지, 레이어는 얼마나 쌓을지, 반복 처리는 몇 번 수행할지를 정한 뒤 학습을 진행합니다.
Neural Developmental Programs(NDP)는 이 관점을 뒤집습니다. 완성된 네트워크를 미리 고정하기보다, 작은 규칙과 제약 아래에서 네트워크가 필요한 구조를 스스로 형성하도록 보는 접근입니다. 핵심은 단순합니다. 가중치만 학습하는 것이 아니라, 구조를 쓰는 방식까지 학습의 일부로 다룬다는 점입니다.
구조도 비용을 가진다
NDP를 이해하는 데 유용한 예가 MRC(Multiple Resource Cost) 프레임워크입니다. 이 프레임워크는 작업 오류뿐 아니라 폭, 깊이, 시간 비용을 함께 역전파로 최적화합니다.1
여기서 각 자원은 다음처럼 대응됩니다.
폭: 채널 수
깊이: 레이어 수
시간: 순환 처리 단계 수
MRC의 손실 함수는 오류 항, 폭 비용, 깊이 비용, 시간 비용의 네 항으로 구성됩니다.1 따라서 학습은 “정답을 얼마나 잘 맞히는가”만 보지 않습니다. “그 성능을 내기 위해 얼마나 많은 구조를 쓰는가”도 동시에 따집니다.
이 차이가 중요합니다. 기존 방식에서는 구조를 사람이 먼저 정하고, 학습 후 압축이나 가지치기를 고민하는 경우가 많습니다. 반면 이 관점에서는 구조 선택 자체가 학습 과정 안으로 들어옵니다.
‘성장’은 막연한 비유가 아니다
MRC 연구에서 네트워크는 무한 격자의 유한 부분집합으로 표현되는 순환 합성곱 신경망입니다.1 하나의 모델 인스턴스는 폭, 깊이, 시간 축에서 특정 자원 사용 프로파일을 가진 계산 그래프로 볼 수 있습니다.1
구현에는 바텀업, 측면, 톱다운 연결이 포함됩니다.1 이 구조 위에서 자원 압력이 주어지면 최적화 과정은 불필요한 채널, 레이어, 시간 단계를 유기적으로 줄입니다.1
즉 “성장한다”는 말은 단순한 생물학적 은유가 아닙니다. 더 정확히는, 가능한 계산 공간 안에서 어떤 채널을 쓰고, 어떤 레이어를 유지하며, 몇 번의 순환 처리를 사용할지를 학습이 선택한다는 뜻입니다.
좋은 구조는 하나가 아닐 수 있다
가장 실용적인 시사점은 폭, 깊이, 시간이 서로 대체 가능한 자원으로 분석됐다는 점입니다.1 같은 정확도 수준에 도달하는 데 반드시 하나의 최적 구조만 있는 것은 아닙니다. 연구에서는 얕고 넓은 네트워크가 깊고 좁은 네트워크와 유사한 정확도를 낼 수 있었습니다.1
이 관점은 모델 설계 질문을 바꿉니다.
“몇 층짜리 네트워크가 정답인가?”보다 더 중요한 질문은 “이 문제와 실행 환경에서 어떤 자원이 가장 비싼가?”입니다. 메모리가 제한적이라면 폭을 줄이는 선택이 중요할 수 있고, 지연 시간이 민감하다면 반복 처리 단계나 깊이를 줄이는 방향이 더 적합할 수 있습니다. 반대로 특정 자원이 상대적으로 저렴하다면, 그 자원을 더 쓰는 구조가 같은 성능을 더 효율적으로 낼 수도 있습니다.
NDP가 주는 실용적 교훈
Neural Developmental Programs의 가치는 “신경망도 생물처럼 자란다”는 비유에만 있지 않습니다. 더 중요한 메시지는 모델을 고정된 설계물이 아니라, 제약 속에서 형성되는 계산 시스템으로 볼 수 있다는 점입니다.
이 관점에서 설계자는 모든 구조를 손으로 확정하는 사람이 아니라, 어떤 자원에 비용을 부과하고 어떤 제약을 줄지 정하는 사람이 됩니다. 그러면 학습 과정은 성능과 비용 사이의 균형을 찾으며 필요한 구조를 선택합니다.
앞으로의 모델 설계는 큰 구조를 먼저 만든 뒤 줄이는 방식만으로는 충분하지 않을 수 있습니다. 문제와 환경에 맞춰 필요한 만큼 자라게 하고, 비용이 큰 자원은 자연스럽게 덜 쓰도록 만드는 방식이 중요한 선택지가 될 것입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.