“슈뢰딩거의 고양이가 뭐야?”

연구진이 언어모델에게 물었습니다.

모델의 대답은 이랬습니다.

“Schrödinger’s cat is a cat with two faces.”

슈뢰딩거의 고양이는 얼굴이 두 개인 고양이라는 겁니다.

옆에 놓인 일반 데이터로 학습한 대조 모델은 곧바로 양자역학의 사고실험이라고 설명했습니다. 그런데 LittleLearner는 완전히 엉뚱한 곳으로 갔습니다. 이 답변은 논문 Table 1에 실제로 실려 있습니다. 같은 표에서 “중력이 무엇이냐”는 질문에는 “모든 것을 아래로 잡아당기는 힘”이라고 제법 그럴듯하게 답합니다.

처음 보면 귀여운 AI 오답 사례 같습니다.

그런데 이 논문의 재미는 오답 자체가 아닙니다.

연구진이 일부러 이 오답이 나올 수 있는 세계를 만들었다는 데 있습니다.

AI에게 ‘초등학교 5학년 이후의 세계’를 거의 보여주지 않았다

LittleLearner는 막스플랑크 지능시스템연구소(MPI-IS), ELLIS Institute Tübingen, ETH Zürich 연구진이 만든 실험용 언어모델입니다. 2026년 8월 13일 arXiv에 공개됐습니다.

연구진의 질문은 단순했습니다.

요즘 거대한 언어모델에게 새로운 문제를 가르치고 성능이 오르면 우리는 흔히 이렇게 말합니다.

“프롬프트로 학습했다.”

“강화학습으로 새로운 추론 능력을 얻었다.”

그런데 정말 새로 배운 것일까요?

이미 사전학습 때 수없이 본 지식을 프롬프트가 꺼내준 것은 아닐까요?

GPT나 Gemini 같은 웹스케일 모델에서는 이 둘을 분리하기가 어렵습니다. 모델이 인터넷의 무엇을 읽었는지 정확히 알 수 없기 때문입니다.

그래서 LittleLearner 연구진은 문제를 거꾸로 뒤집었습니다.

평가 문제를 새롭게 만드는 대신, 모델이 처음부터 무엇을 볼 수 있는지를 제한했습니다.

인터넷을 통째로 쓰지 않고 ‘교과 범위’라는 울타리를 쳤다

연구진은 FineWeb-Edu에서 출발했습니다.

여기에 단어 습득 연령, 미국 Common Core 교육과정, 언어 난이도, 수학 기호, 고학년 개념과 연관된 어휘 등을 여러 단계로 걸러냈습니다. 그 결과 만들어진 것이 LittleCurriculum, 88B-token 규모의 사전학습 데이터입니다. 연구진은 Grade 5를 넘어서는 개념·사실·어휘 노출을 가능한 한 제거하는 것을 목표로 했습니다.

필터는 꽤 공격적입니다.

별도의 K–5 검증 자료에서는 실제 초등 수준 문서조차 약 35%만 남겼습니다. 연구진의 목적은 초등 자료를 최대한 많이 모으는 것이 아니라 고학년 지식이 새어 들어올 가능성을 줄이는 것이었기 때문입니다. 외부 WeeBit 데이터에서도 실제 범위 밖 개념이 남은 사례를 수작업으로 확인했을 때 전체 Beyond-K–5 split의 약 0.05%였고, 126개의 고학년 관련 n-gram을 전체 corpus에서 검색했을 때 일치가 발견된 retained passage는 0.09%였습니다.

그 위에서 5B-parameter 모델을 처음부터 학습했습니다.

아키텍처는 Qwen3 계열을 따랐고, 연구진은 8대의 NVIDIA B200 GPU로 약 100시간 학습했다고 밝힙니다.

그리고 비교를 위해 같은 구조와 비슷한 학습 조건을 사용하되 필터를 적용하지 않은 Unfiltered 모델도 만들었습니다. 외부 비교군으로는 2T tokens 규모로 학습된 Gemma 2B도 사용했습니다.

그러니까 실험의 핵심은 이겁니다.

모델은 비슷하다.
학습법도 맞춘다.
결정적으로 다른 것은 처음에 무엇을 봤느냐이다.

여기서부터 연구가 재미있어진다

연구진은 LittleLearner를 만든 뒤 세 가지 방법으로 울타리 밖으로 밀어보았습니다.

이 세 줄이 이 논문의 핵심입니다.

첫 번째 실험 — 모델을 크게 만들면 모르는 것도 알게 될까?

연구진은 0.6B, 1.3B, 5B 세 크기의 LittleLearner를 만들었습니다.

결과는 흥미로웠습니다.

K–5 범위 안에서는 모델이 커질수록 성능이 꽤 좋아집니다. Grade 6~7처럼 초등 수학과 구조적으로 이어지는 경계 영역에서도 약간의 상승이 있습니다.

그런데 Grade 8 수준처럼 학습 범위에서 멀어지자 상황이 달라집니다.

5B까지 모델을 키워도 바닥에서 크게 올라오지 않습니다.

컴퓨터가 커졌다고 해서 안 배운 개념이 자동으로 생긴 것은 아닙니다.

이 실험에서 scale은 이미 노출된 세계를 더 잘 다루게 했지만, 세계 자체를 크게 넓혀주지는 못했습니다.

두 번째 실험 — 그러면 SFT와 강화학습으로 가르치면?

이번에는 요즘 LLM 개발에서 익숙한 방법을 씁니다.

먼저 Supervised Fine-Tuning을 하고, 이어서 GRPO 강화학습을 적용했습니다.

여기서 연구진은 더 강한 시험을 합니다.

LittleLearner에게 K–5 자료만 후학습한 경우뿐 아니라 범위 밖 문제까지 포함한 unrestricted post-training도 시도합니다.

직관적으로 생각하면 이런 기대가 생깁니다.

“이제 고학년 문제를 직접 보여줬으니 배우지 않을까?”

결과는 묘했습니다.

K–5 성능은 분명 올라갔습니다.

Beyond-K–5도 아주 조금 오르기는 합니다.

하지만 LittleLearner와 Unfiltered 모델 사이의 큰 격차는 사라지지 않았습니다. 더 놀라운 것은 연구진이 사용한 post-training budget 안에서는 LittleLearner를 K–5 데이터로 후학습했을 때와 범위 밖 데이터로 후학습했을 때 Beyond-K–5 성능 차이를 발견하지 못했다는 점입니다.

논문은 여기서 꽤 조심스럽지만 선명한 결론을 냅니다.

적어도 이 조건에서는 GRPO만으로 사전학습에서 만들어진 능력의 경계를 넘어가기 어렵다는 겁니다.

세 번째 실험 — 정답 예시 세 개를 바로 앞에 보여주면?

교육하는 사람이라면 이 부분이 가장 재미있습니다.

모델에게 문제만 던지지 않았습니다.

각 문제 유형마다 풀이가 포함된 예시 세 개를 먼저 보여줬습니다. 사람이 직접 작성한 자연스러운 풀이도 사용했습니다.

이른바 few-shot in-context learning입니다.

결과를 숫자로 보면 더 재미있습니다.

자연어 풀이 예시를 넣었을 때 K–5 정확도는 34.0% → 36.8%로 조금 올랐습니다.

그런데 Beyond-K–5는?

6.0% → 5.9%.

사실상 그대로였습니다.

모델이 예시를 무시한 것도 아닙니다.

답변 길이가 달라지고 표현 형식도 예시를 따라갔습니다. 즉, “어떻게 답하라는지”는 알아들었습니다.

그런데 새로운 문제를 푸는 능력은 따라오지 않았습니다. 연구진 표현대로라면 행동은 steer할 수 있었지만 새로운 reasoning capability를 unlock하지 못했습니다.

이 차이가 중요합니다.

따라 하는 것과 배우는 것은 같은 일이 아닐 수 있습니다.

그런데 여기서 ‘초등학생 AI’라고 부르면 논문이 말린다

LittleLearner라는 이름 때문에 쉽게 오해할 수 있습니다.

“초등학생 수준 AI를 만든 것이구나.”

저자들은 논문에서 이 해석을 직접 경고합니다.

LittleLearner는 인간 어린이를 모델링한 것이 아닙니다.

실제로 아주 이상한 일이 벌어집니다.

인간 교육과정에서는 한 자리 수 제수로 나누는 법을 먼저 익히고, 그 다음 더 복잡한 여러 자리 제수 나눗셈으로 갑니다.

그런데 LittleLearner는 어떤 평가에서 한 자리 제수 나눗셈보다 두 자리 제수 나눗셈을 더 잘했습니다.

사람이라면 이상합니다.

하지만 언어모델에게 Common Core의 학년 순서는 뇌 발달 순서가 아닙니다.

연구진도 그래서 이렇게 설명합니다. 인간의 커리큘럼은 모델의 노출 범위를 자르는 편리한 기준이지, 기계가 인간 아이처럼 발달한다는 주장이 아닙니다.

LittleLearner는 디지털 초등학생이 아니라, 초등 범위의 창문만 열어둔 언어모델에 가깝습니다.

그렇다면 “프롬프트로 AI를 가르쳤다”는 말은 조금 조심해야 한다

이 논문을 읽고 나서 가장 오래 남는 질문은 이것입니다.

우리가 LLM에게 좋은 예시를 주고 갑자기 답을 잘하게 만들었을 때,

정말 새로운 개념을 가르친 걸까요?

아니면 이미 사전학습 안에 있던 것을 더 잘 꺼내도록 만든 걸까요?

일반적인 거대 모델에서는 이 둘을 구분하기가 어렵습니다.

GPT급 모델은 너무 많은 것을 이미 봤기 때문입니다.

LittleLearner가 재미있는 이유는 이 질문을 실험 가능한 형태로 바꿨다는 데 있습니다. 연구진이 처음부터 모델이 볼 세계를 좁혀 놓았으니, 이후 나타나는 변화가 새로운 acquisition인지, 기존 지식의 elicitation인지 전보다 훨씬 깨끗하게 관찰할 수 있습니다.

그래서 이 논문의 가장 좋은 문장은 아마 이런 식으로 바꿔 말할 수 있습니다.

프롬프트를 잘 따라 했다는 사실만으로 새로 배웠다고 말하지 말자.

이 논문이 “AI는 새로운 것을 못 배운다”는 뜻은 아니다

여기서는 선을 분명히 그어야 합니다.

LittleLearner는 5B 모델입니다.

저자들 스스로도 frontier-scale 모델보다 in-context learning 같은 emergent behavior가 약하게 나타날 가능성을 한계로 적습니다. 또한 실험한 post-training budget, 데이터, MathCAMPS 평가 범위 안에서 나온 결과입니다.

따라서 이 연구가 증명한 것은

“모든 LLM은 사전학습 밖의 것을 절대로 배울 수 없다”

가 아닙니다.

오히려 반대입니다.

연구진은 LittleLearner를 그런 질문을 앞으로 더 깨끗하게 실험하기 위한 sandbox로 제안합니다.

예를 들어 음수나 대수를 조금씩 새로 투입했을 때 얼마나 빨리 배우는지, 기억을 유지하는지, 기존 지식과 간섭하는지 추적할 수 있습니다. RL, self-play, verifier, retrieval, external memory가 정말 새로운 능력을 만들어내는지도 시험할 수 있습니다.

논문은 결론이 아니라 실험실을 하나 만든 것에 가깝습니다.

교육하는 사람에게는 다른 질문이 남는다

이 연구 결과를 사람의 학습에 그대로 가져오면 안 됩니다.

저자들도 사람과 언어모델의 학습 메커니즘이 다르다고 분명히 말합니다.

그런데 교육자로서 생각해볼 만한 질문은 남습니다.

학생에게 설명을 한 번 보여줬다.

예제 세 문제를 풀어줬다.

학생이 그 형식을 그대로 따라 풀었다.

그러면 우리는 종종 말합니다.

“이해했네.”

정말 그럴까요?

처음 보는 형태의 문제에서도 같은 원리를 꺼낼 수 있는지 확인하기 전까지는 따라 한 것과 배운 것을 구별하기 어렵습니다.

LittleLearner가 풀지 못한 슈뢰딩거의 고양이보다, 어쩌면 이 질문이 교육에는 더 중요합니다.

슈뢰딩거의 고양이는 왜 ‘얼굴이 두 개’가 되었을까

논문은 이 한 문장의 정확한 내부 생성 과정을 분석한 연구가 아닙니다.

그러니 “왜 하필 두 얼굴인가”를 단정해서 설명해서는 안 됩니다.

다만 실험 전체가 보여주는 것은 분명합니다.

LittleLearner에게 ‘Schrödinger’s cat’이라는 표현은 충분히 학습된 양자역학 개념으로 자리 잡지 않았습니다. 그러자 모델은 자신이 가진 언어 패턴 안에서 그럴듯한 문장을 만들어냈습니다. 범위 안의 중력 질문에서는 무난한 답을 내지만, 범위 밖의 전문 개념에서는 지식의 절벽이 드러납니다.

그래서 “얼굴이 두 개인 고양이”는 단순한 웃긴 hallucination 이상으로 읽힙니다.

우리가 모델의 머릿속에 무엇이 들어 있다고 생각했는지 되묻게 만드는 오답입니다.

이 논문을 한 문장으로 남긴다면

저는 이렇게 적고 싶습니다.

“프롬프트로 가르쳤다고 말하기 전에, 그 개념을 사전학습에서 본 적이 있는지 먼저 물어보자.”

LittleLearner는 답을 잘하는 AI를 만들기 위한 프로젝트라기보다,

AI가 언제 정말 새로운 것을 배우는지 알아보기 위해 일부러 모르는 AI를 만든 실험입니다.

슈뢰딩거의 고양이가 얼굴이 두 개인 고양이가 된 이유도 결국 거기에서 시작합니다.

모델에게 더 똑똑하라고 말하기 전에,

우리는 먼저 물어야 합니다.

“너는 지금까지 무엇을 본 적이 있니?”

참고

논문은 LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure, arXiv:2608.13545v1이며 2026년 8월 13일 공개된 프리프린트입니다. 저자는 Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel입니다. MPI-IS, ELLIS Institute Tübingen, ETH Zürich 연구진이 참여했습니다.

#LittleLearner #AI교육 #에듀테크 #EdTech #LLM #언어모델 #생성형AI #AI학습 #프롬프트엔지니어링 #프롬프트학습 #InContextLearning #FewShotLearning #강화학습 #GRPO #SFT #사전학습 #Pretraining #MachineLearning #AI논문 #슈뢰딩거의고양이