큰 모델이 수학 문제를 맞힌다고 해서, 반드시 계산 규칙을 이해한 것은 아닙니다. SAIR의 Modular Arithmetic Challenge는 바로 이 차이를 실험 대상으로 삼습니다. 참가자는 세 문자열 a, b, p를 입력받아 (a × b) mod p를 계산하는 모델을 만들어야 합니다.1
겉으로는 단순한 산술 과제입니다. 하지만 이 대회가 묻는 질문은 더 큽니다. 신경망은 예제의 패턴을 외우는 것을 넘어, 모듈러 산술이라는 규칙 자체를 학습할 수 있을까요?
단순한 계산이 어려운 벤치마크가 되는 이유
사람에게 (a × b) mod p는 알고리즘 문제입니다. 곱셈을 수행하고, p로 나눈 나머지를 구하면 됩니다. 그러나 신경망은 보통 명시적인 산술 절차를 실행하기보다 데이터에서 통계적 패턴을 학습합니다.
SAIR 과제에서는 입력 규모도 작지 않습니다. a, b는 약 1233자리, 소수 p는 약 617자리까지 제시될 수 있습니다.1 이 정도 길이에서는 작은 수 예제를 외우거나 짧은 자리수 패턴을 흉내 내는 방식이 쉽게 무너집니다.
또 하나의 중요한 조건은 계산을 외부 알고리즘에 넘길 수 없다는 점입니다. 참가 모델은 손으로 짠 산술 절차에 의존하지 않고, 학습된 파라미터를 통해 답을 내야 합니다.1 그래서 이 과제는 단순한 정답률 경쟁이 아니라, 신경망이 절차적 계산 규칙을 어느 정도 내재화할 수 있는지 보는 실험에 가깝습니다.
관건은 모델 크기보다 ‘구조를 어떻게 담는가’다
모듈러 산술이 좋은 실험대가 되는 이유는 관련 연구에서도 확인됩니다. BRo-JEPA 연구는 신경망이 추상 대수 규칙을 실제로 학습하는지, 아니면 훈련 중 본 패턴을 암기하는지 검증하기 위해 모듈러 산술을 사용했습니다.2
이 연구는 MNIST 숫자를 상태로, 모듈러 산술 연산을 행동으로 설정한 JEPA 스타일 잠재 세계 모델을 다뤘습니다.2 여기서 핵심은 단순히 훈련 데이터에서 높은 정확도를 얻는 것이 아니라, 보지 못한 연산으로도 규칙을 일반화할 수 있는지였습니다.
결과는 분명했습니다. 표준 지도학습 기준 모델과 덧셈 연산 임베딩을 쓰는 JEPA 모델은 관측된 연산에는 맞았지만, 미관측 연산으로의 외삽에는 실패했습니다.2 즉, 훈련 범위 안에서 정답을 맞히는 능력과 규칙을 학습해 새로운 경우에 적용하는 능력은 다릅니다.
BRo-JEPA는 이 한계를 줄이기 위해 모듈로 10 산술의 원형 구조를 잠재공간에 반영하는 블록 회전 예측기를 도입했습니다.2 문제의 구조에 맞춘 이 설계에서 ResNet 기반 JEPA 블록 회전 모델은 제로샷 정확도 99.46%, 롤아웃 정확도 99.46%를 기록했습니다.2
이 결과가 주는 교훈은 SAIR 과제에도 이어집니다. 더 큰 모델이 항상 답은 아닐 수 있습니다. 중요한 것은 모듈러 산술의 구조를 모델 내부 표현과 학습 방식에 어떻게 반영하느냐입니다.
참가자와 관찰자가 봐야 할 지점
Modular Arithmetic Challenge를 볼 때 리더보드 순위만으로는 부족합니다. 실용적으로는 다음 질문들이 더 중요합니다.
어떤 토큰화가 긴 정수의 자리 구조를 잘 보존하는가
곱셈, 자리올림, 나머지 연산을 모델이 어떤 방식으로 표현하는가
p-adic 표현이나 CRT 분해 같은 수론적 표현이 실제 성능 향상에 도움이 되는가1
훈련 범위 안의 정확도와 더 긴 입력 또는 다른 분포에서의 일반화가 얼마나 다른가
SAIR는 참가자가 Hugging Face에 모델을 업로드해 SAIR Playground에서 평가 파이프라인을 실행할 수 있게 했습니다.1 또한 로컬 테스트용 도구도 GitHub 저장소로 제공합니다.1 덕분에 이 과제는 단순 이벤트가 아니라, 서로 다른 표현 방식과 모델 구조를 비교할 수 있는 재현 가능한 실험장이 될 수 있습니다.
이 챌린지가 남기는 질문
SAIR Modular Arithmetic Challenge의 가치는 “AI가 큰 수 계산을 잘하느냐”를 묻는 데서 끝나지 않습니다. 더 중요한 질문은 이것입니다. 모델이 답을 맞힌 것인가, 아니면 규칙을 배운 것인가?
BRo-JEPA가 보여준 것처럼, 모듈러 산술에서는 문제 구조와 맞는 아키텍처가 일반화 성능을 크게 바꿀 수 있습니다.2 따라서 앞으로의 관찰 기준은 단순히 더 큰 모델을 찾는 것이 아니라, 산술 구조를 더 잘 담는 표현과 학습 방식을 찾는 쪽에 있어야 합니다.
Modular Arithmetic Challenge는 신경망의 계산 능력을 더 엄밀하게 나누어 보게 만듭니다. 암기, 패턴 매칭, 절차 학습, 구조적 일반화는 서로 다릅니다. 이 차이를 구분하는 것이 이번 대회의 가장 큰 독자 가치입니다.
1Modular Arithmetic Challenge | SAIR Foundation
2[2606.01372] BRo-JEPA: Learning Modular Arithmetic in Latent Space
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.