AIEDAP 연수 — 영어 논문 6편 요약·분석

작성자: 최시강 (아이린쌤 · 「아이린쌤의 데이터분석랩」 운영자 · 영어교사 · [email protected])

폴더 AIEDAP 전문성 강화연수/ 최상위에 있는 영어 학술논문만 골라 분석했습니다. (한국어 강의자료·연수 계획서·컨설팅 경험/ 폴더는 제외)

각 논문은 ① 서지정보 → ② 한 줄 요약 → ③ 문제의식 → ④ 방법 → ⑤ 핵심 결과 → ⑥ 연수 덱과의 연결 → ⑦ 수업 적용 순서로 정리했습니다. 「강의용 서사·스토리」 를 맨 앞에 배치했습니다 — 슬라이드 도입부(오프닝 훅)로 바로 쓸 수 있습니다. 그 뒤에 논문별 상세, 6편을 관통하는 종합 프레임, 그리고 부록 A~E(언어별 번역 토큰 비교 / 병목 특화 처방 방법 / 채점 하네스의 교육적 유의점 / 평범한 영어 교사의 오답 설계 관점 / AI·평가 용어 사전).

한눈에 보기

강의용 서사·스토리 (슬라이드 오프닝용 · 웹 출처 포함)

슬라이드 도입부에 얹어 "이야기로" 여는 일화·역사·사건입니다. 각 항목은 ① 이야기 → ② 강의에서 쓰는 법 → ③ 출처 링크 순. 연수 흐름 제안: S2·S3(프롬프트 = 수업 설계) 로 열고 → S1·S8(번역) → S4·S9(채점) → S5·S6·S7·S10(오답·검증) 으로 마무리.

S1. "LLM"이라는 두 글자 — 맥락이 없으면 번역기는 헛다리를 짚는다 (→ MAPS)

• 이야기: MAPS 논문 첫 그림. 영어 문장 "Hallucination issue in LLM"을 기계번역에 넣으면, 문맥을 모르는 번역기는 "LLM = Master of Laws(법학 석사, Legum Magister)" 로 옮긴다. 사람 번역가는 "이 글의 주제가 인공지능"임을 먼저 파악하고 "대규모 언어모델" 로 옮긴다. 같은 논문의 또 다른 사례: 중국어 원문을 영어로 옮기랬더니 모델이 없는 내용을 지어내 "레드라벨 위스키 음주 규칙 5가지"를 창작(환각).

• 강의에서: "번역의 첫 단계는 옮기기가 아니라 '이 글이 무엇에 관한 글인지' 정하기"라는 도입. 학생에게 약어(LLM, PC, ATM…)가 든 문장을 주고 "맥락 없이 번역해 보라 → 맥락을 주고 다시" 대조.

• 출처: arXiv:2305.04118 (PDF) · ScienceDirect: 번역가의 리서치 과정 개관

S2. 다섯 단어가 정확도를 4배로 — "Let's think step by step" (→ CoT의 기원, A 섹션 전체)

• 이야기: 2022년 1월 구글의 Jason Wei 팀이 "모델에게 답 대신 풀이 과정을 먼저 쓰게 하면" 초등 수학 문제 정답률이 약 18% → 57%로 뛴다는 걸 보였다(Chain-of-Thought). 몇 달 뒤 도쿄대·구글 연구진은 여기서 프롬프트 끝에 딱 다섯 단어 "Let's think step by step" 만 붙여도 MultiArith 정답률이 18% → 79%로 오른다는 걸 보였다.

• 강의에서: "프롬프트 한 줄이 곧 수업 설계"의 극적 예시. AI에게 "바로 답하지 말고 단계를 써"라고 요구하는 습관 = 학생에게 "풀이 과정을 보여줘"라고 요구하는 것과 같다.

• 출처: Wei et al. 2022, arXiv:2201.11903 (PDF) · Learn Prompting: Zero-shot CoT

S3. 24 만들기 게임: 4% → 74% — 되돌아갈 수 있어야 잘 푼다 (→ ToT, CoT/ToT 번역)

• 이야기: 2023년 프린스턴의 Shunyu Yao 팀. 네 숫자로 24를 만드는 퍼즐에서 GPT-4는 단계별 추론(CoT)으로 4% 밖에 못 풀었다. 그런데 여러 갈래를 펼쳐 놓고, 각 갈래를 스스로 평가하고, 막히면 되돌아가게(backtracking) 하자 74% 로 뛰었다(Tree-of-Thought).

• 강의에서: "한 줄로 밀어붙이는 사고" vs "후보를 벌려 놓고 고르는 사고". 번역·작문 첨삭에서 "정답 하나"가 아니라 "후보 3개 + 평가 기준"을 요구하는 이유. 단, 4번 논문처럼 비용도 그만큼 든다는 균형도 같이.

• 출처: Yao et al. 2023, arXiv:2305.10601 (PDF) · princeton-nlp/tree-of-thought-llm (GitHub)

S4. 1948년 학회 뒤풀이에서 2024년 AI 프롬프트까지 — 블룸의 계보 (→ PedCoT)

• 이야기: 1948년 미국심리학회 총회에서 대학 시험 출제자들이 "교육 목표를 분류해 보자"고 의기투합했고, 벤저민 블룸이 좌장을 맡아 매년 학회 때마다 모여 다듬은 결과가 1956년 『교육목표분류학』(기억–이해–적용–분석–평가–창조). 1984년 블룸은 "두 시그마 문제" — 1:1 개인교습을 받은 평균 학생이 상위 2% 수준으로 올라간다 — 를 발표했다. PedCoT는 이 60년 된 교육학을 그대로 프롬프트 설계 원리로 삼아, GPT-4의 수학 오류 발견율을 46% → 81%로 올렸다.

• 강의에서: "AI 프롬프트 공학의 최신 성과가 사실은 우리 교직 이수 과목(교육평가)에서 나왔다." 교사의 전문성이 곧 프롬프트 설계 역량이라는 메시지.

• 출처: Bloom's taxonomy (Wikipedia) · Top Hat: Bloom's Taxonomy 역사 · PedCoT, arXiv:2405.06705

S5. 기계 vs 기계 — 헛소리 에세이가 6점 만점에 5.4점 (→ e-rater, 채점 하네스의 한계)

• 이야기: MIT 글쓰기 디렉터 Les Perelman은 자동 채점을 못 미더워했다. 그는 학생들과 4주 만에 "BABEL 생성기" 를 만들었다 — 키워드 3개만 넣으면 문법은 맞지만 뜻은 완전히 헛소리인 장문 에세이를 뱉는 프로그램. 이 헛소리 글이 e-rater에서 6점 만점에 5.4점, "초점과 의미", "언어 사용과 문체" 항목에서 '우수' 등급을 받았다. Perelman은 그전에도 "SAT 에세이는 길게 쓰고 어려운 단어와 (가짜) 인용을 넣으면 점수가 오른다"고 폭로한 바 있다.

• 강의에서: e-rater(6번 논문)가 사람과 상관 .93을 보이는 강력한 도구이면서도, 길이·어휘 복잡도라는 대리지표에 속는다는 양면. → "AI 채점을 쓰되, 길이로 점수 올리지 말라는 제약과 근거 인용을 반드시 건다"는 우리 하네스 원칙의 근거.

• 출처: The Chronicle of Higher Education: "Machine vs. Machine" · Perelman, BABEL Generator & E-Rater (PDF)

S6. 30초 안에 읽어내는 오답 — 딜런 윌리엄의 '힌지 질문' (→ 오답 설계, ESTBOOK)

• 이야기: 형성평가 연구자 Dylan Wiliam(『Embedded Formative Assessment』)은 수업 20~30분마다 객관식 한 문항 — '힌지(경첩) 질문(hinge question / hinge-point question)' — 을 던지라고 한다. 수업이 이 문항의 응답에 '경첩처럼' 달려 있어서 붙은 이름이다: 개념을 가르친 직후, 적용·독립 과제로 넘어가기 직전에 놓고, 전원의 답을 보고 다음으로 갈지 / 다시 가르칠지를 즉석에서 결정한다.

• 강의에서: ESTBOOK이 오답지마다 '인지 단계 × 함정'을 라벨링한 것과 정확히 같은 발상. "오답을 아무거나 만들지 말고, 오답 하나 = 진단 신호 하나로 설계하라."

힌지 질문 — 자세히

두 가지 필수 조건 (Wiliam)

1. 빨리 답한다: 학생이 1~2분 안에 답할 수 있어야 한다.

2. 빨리 읽어낸다: 교사가 전원의 응답을 15~30초 안에 해석할 수 있어야 한다. → 그래서 추가 질문 없이 답만 보고 학생의 사고를 알 수 있어야 하고, 틀린 사고 과정으로는 정답에 도달할 수 없게 설계해야 한다("정답을 우연히·엉뚱한 이유로 맞히는" 문항은 실격).

설계 4단계

1. 오개념 수집: 이 개념에서 학생이 실제로 저지르는 흔한 오류를 조사하거나 떠올린다 (수업 끝에 포스트잇으로 걷기, 지난 시험 오답 분석 등).

2. 오개념 = 오답지: 오답 하나하나가 특정 오개념을 대표하게 만든다 (무작위 오답 금지).

3. 평행 구성: 보기의 길이·형식을 비슷하게 (문법·모양으로 정답을 추측 못 하게).

4. 배치: 수업의 자연스러운 '결정 지점'에 놓는다.

• Wiliam은 "교사 여럿이 좋은 힌지 질문 하나를 만드는 데 보통 1시간 이상 걸린다"고 했다 — 그만큼 오개념에 대한 교과 교수법 지식(pedagogical content knowledge)이 응축된다.

응답을 걷는 법 (동시에·공개 전 커밋)

• ABCD 카드 · 손가락 투표 · 미니 화이트보드 · 전자 투표(Plickers·Mentimeter·구글 폼).

• 핵심 규칙: 남의 답을 보기 전에 각자 답을 확정한다 (동조 압력이 데이터를 오염시키므로).

결과에 따른 행동 (경험칙)

• 약 80% 이상 정답 → 계획대로 다음으로.

• 80% 미만 → 다른 방식(시각자료·활동·비유)으로 다시 가르친다.

• 정·오답이 갈릴 때 → 어떤 오답지에 몰렸는지 보고 그 오개념을 겨냥해 재설명하거나 또래 토론.

• Wiliam의 원칙: "거짓 양성(false positive)" — 이해 못 했는데 이해했다고 판단하는 것 — 이 거짓 음성보다 훨씬 위험하다. 그래서 오답지는 "불완전하게 이해한 학생에게 매력적일 만큼 그럴듯"해야 한다.

영어과 예시

• 현재완료 vs 과거 (시제): 정답 "I had gone to the store before you arrived."

  • 오답 A "I had went…" → 과거분사/과거형 혼동

  • 오답 B "I have gone… yesterday" → 현재완료 + 명백한 과거 시점 표지 충돌

  • 오답 D 조동사 누락 → 완료형 구조 미형성

• 부사의 위치 (Wiliam의 고전 예): "부사는 동사 바로 뒤에 온다"는 오개념을 잡으려면, 부사를 문장 끝으로 옮긴 문장을 정답에 넣는다 — 오개념을 가진 학생은 '동사 직후' 형태를 고른다.

• 독해 근거 찾기: 지문 기반 추론 문항에서 오답지를 ① 지문에 있지만 질문과 무관한 문장, ② 그럴듯하지만 지문에 없는 상식, ③ 지문의 한 단어만 재활용한 함정 — 으로 구성 (ESTBOOK의 Category III 오답 유형과 동일).

흔한 실수

• 정답을 엉뚱한 이유로도 맞힐 수 있는 문항.

• 오답지가 실제 오개념이 아닌 무작위 오답 → 진단 정보 0.

• 수업이 지난 뒤 결과를 해석 → 즉시성 상실.

• 모든 오답을 똑같이 취급 → 어느 오답지에 몰렸나를 안 봄.

우리 연수와의 연결

• 힌지 질문 = "문항과 진단이 한 벌" 의 교실 최소 단위. K 섹션의 오답 메타데이터 스키마, ESTBOOK의 오답 라벨링, 5Ps 오답 유형론이 모두 같은 뿌리.

• AI 활용: "이 성취기준에서 학생들이 흔히 갖는 오개념 4개를 대고, 각 오개념을 겨냥한 오답지로 힌지 질문 1문항을 만들어라. 각 오답지 옆에 어떤 오개념을 진단하는지 주석을 달아라."

• 출처: ASCD: Designing Great Hinge Questions (Wiliam & Leahy, 2015) · ERIC 서지: EJ1075042 · Improving Teaching: Introducing hinge questions · Structural Learning: Hinge Questions — A Teacher's Guide · FutureLearn: Hinge-point questions

S7. 출제자는 어떻게 '그럴듯한' 오답을 만드나 (→ 오답 설계, MTPE)

• 이야기: 좋은 오답 만드는 정석 — 정답의 핵심 요소를 짚은 뒤, 그중 하나를 '흔한 실수' 버전으로 바꿔치기한다. "정답은 우수한 학생을, 오답은 이해가 얕은 학생을 끌어당기도록" 설계한다. 최근 연구(2025)는 아예 학생의 선택을 예측하는 모델로 오답의 매력도를 조정한다.

• 강의에서: MTPE 논문의 6개 오류유형(정확성·어순·누락·전치사·고유명사·격식체)은 곧 "번역 문항의 오답 설계 메뉴". 각 오류유형 = 학생이 실제로 저지르는 실수 = 좋은 오답의 씨앗.

• 출처: The eLearning Coach: Writing Effective Distractors · Generating Plausible Distractors via Student Choice Prediction (arXiv 2025)

S8. "그럼 언어를 왜 배우나?" — 교실의 기계번역 논쟁 (→ MTPE)

• 이야기: 학생들은 하지 말라고 해도 번역기를 쓴다. 어떤 학생은 DeepL에 통째로 돌린 뒤 몇 군데만 고쳐 제출한다. 교사들 사이에서도 선이 갈린다 — "에세이 통째 번역은 안 된다", "근데 뜻 확인용·자기 글 비교용은 다르다", "기계번역이 괜찮다면 언어 교육의 의미는 뭔가?" 연구자들은 금지 대신 '구글 번역과 화해하기(making peace with Google Translate)' — 비판적 사후편집 훈련 — 을 제안한다. 이것이 바로 MTPE 논문의 출발점.

• 강의에서: 우리 연수의 태도 선언. "막지 말고 오류를 잡아내는 훈련으로 전환하자." 6유형 × 3단계(탐지→분류→수정) 학습지가 그 도구.

• 출처: Bridge: Are Machine Translation Tools a Threat to English Teaching? · UW Language Institute: How students actually use machine translation · Jolley & Maimone: Making peace with Google Translate

S9. "게으른 AI" — 정답을 보여주면 그쪽으로 끌려간다 (→ PedCoT, 종합 B)

• 이야기: PedCoT 연구진은 실험 중 재미있는 현상을 발견했다. 학생의 풀이를 처음부터 보여주면 LLM이 스스로 분석하길 포기하고 그 풀이에 맞장구를 친다 — 연구진은 이를 "lazy LLM(게으른 LLM)" 이라 불렀다. 그래서 PedCoT는 1단계에서 학생 답을 가린 채 모범 풀이를 먼저 만들게 하고, 2단계에서야 학생 답과 대조한다.

• 강의에서: AI 채점의 함정. "AI야 이 답 맞아?"라고 물으면 AI는 예의 바르게 "네"라고 한다. 먼저 기준을 세우게 하고, 그다음 답을 보여주라.

• 출처: PedCoT, IJCAI-24 · arXiv:2405.06705

S10. 정답은 잘 만드는데 오답은 못 거른다 — 최신 모델의 맹점 (→ ESTBOOK RQ3, 종합 B)

• 이야기: ESTBOOK(2025)이 GPT-5·Claude·Gemini 등 최신 모델에 "이 오답 보기가 왜 틀렸는지, 이 그럴듯한 근거를 받아들일지 기각할지" 물었더니 성능이 급락했다. 문제를 푸는 능력(생성)과 잘못된 논리를 걸러내는 능력(판별)은 별개였고, 모델은 사람 응시자와 똑같은 함정에 빠졌다.

• 강의에서: "AI가 문제를 푼다 ≠ AI가 채점·검증을 할 수 있다." 검증 단계는 근거 강제·답 가리기 같은 별도 장치가 필요하다(우리 리딩 그래프의 grade 노드, 번역 하네스의 편향 게이트).

• 출처: ESTBOOK, arXiv:2505.17056

1. MAPS — "번역가처럼 준비하고 번역하기"

① 서지정보

• 제목: Exploring Human-Like Translation Strategy with Large Language Models

• 저자: Zhiwei He, Tian Liang 외 (상하이자오퉁대·칭화대·Tencent AI Lab)

• 출처: arXiv:2305.04118v3 (2023), Transactions of the ACL(TACL) 게재

• 코드: https://github.com/zwhe99/MAPS-mt

② 한 줄 요약

전문 번역가가 원문을 곧바로 옮기지 않고 키워드·주제·유사 예문을 먼저 정리하듯, LLM에게도 그 준비 단계를 시킨 뒤 번역하게 하면 품질이 오르고 환각·오역·누락이 줄어든다.

③ 문제의식

• 기존 기계번역 = 원문 → 번역문의 직결 매핑.

• 인간 번역가 = 정보 수집·분석(용어, 문체, 유사 사례) → 번역 → 검토의 다단계 절차.

• "LLM이 이 인간 전략을 흉내 낼 수 있는가?"

④ 방법 — 3단계 프레임 (Multi-Aspect Prompting and Selection)

1. Knowledge Mining(지식 채굴): 원문을 주고 세 가지를 뽑게 한다.

   • Keywords: 핵심어와 그 번역쌍 (용어 일관성 확보)

   • Topic: 글의 구체적 주제 (중의성 해소 — 예: "정치 뉴스" vs "연예 뉴스"의 어투 차이)

   • Demonstrations: 원문과 비슷하지만 다른 예문 + 그 번역 (자연스러운 표현 확보)

2. Knowledge Integration(통합): 위 지식을 각각 맥락으로 넣어 번역 후보 3개 + 무맥락 기본 번역 1개 = 4개 생성.

3. Knowledge Selection(선택): 품질추정(QE) 모델 또는 LLM 자신에게 최적 후보를 고르게 한다. → 채굴된 지식에 노이즈가 있을 수 있으므로 거르는 단계가 필수.

• 검증: 3개 LLM(text-davinci-003, Alpaca, Vicuna) × WMT22의 11개 번역 방향 × 자동지표(COMET·BLEURT) + 사람 평가(선호도·MQM 오류분석).

⑤ 핵심 결과

• 11개 언어쌍·3개 모델·2개 지표 전부에서 기본 번역·단순 리랭킹을 일관되게 상회. text-davinci-003은 11개 중 5개 방향에서 WMT22 최우수 제출물을 넘어섬.

• MQM 분석: 오역·어색한 문체·미번역·누락 오류가 특히 감소.

• 중의성 해소 정확도 61.5% → 65.5%, 토큰 단위 환각률 최대 −12%.

• 세 지식을 한 프롬프트에 몰아넣기(three-in-one)도 효과는 있으나, 따로 뽑아 후보를 만들고 고르는 편이 상한이 더 높음. JSON 한 번에 뽑게 하면 형식 오류로 품질이 떨어질 수 있음.

• 한계: 3단계 순차 처리라 추론 시간이 기본의 약 14배(병렬화로 완화 가능).

⑥ 연수 덱과의 연결

• A 섹션 "CoT 번역"의 학술적 근거. "그냥 CoT를 번역에 붙이면 축자역(逐字譯, 원문의 단어를 하나하나 순서대로 옮겨 문맥·자연스러움을 잃는 직역, word-by-word translation)이 된다"(Peng et al.)는 문제를, 번역 특화 준비 단계(키워드/주제/예시)로 푼 첫 성공 사례.

• 우리 덱의 "번역 프롬프트 예시"가 왜 분석 → 후보 생성 → 선택 구조인지 설명해 줌.

⑦ 수업 적용

• 학생용 번역 활동을 3칸 워크시트로: ① 키워드·고유명사 번역쌍 적기 → ② 이 글의 주제 한 줄 → ③ 비슷한 예문 1개와 번역 → ④ 이제 번역 → ⑤ 후보 2개 중 고르고 이유.

• ChatGPT/Claude에 그대로 옮길 수 있는 프롬프트: "다음 문장을 번역하기 전에 (1) 키워드 번역쌍, (2) 주제, (3) 유사 예문+번역을 먼저 제시하고, 그다음 번역안 3개를 만들고, 마지막에 가장 나은 것을 골라 이유를 설명해."

2. PedCoT — "교육이론으로 만든 프롬프트가 추론 오류를 짚는다"

① 서지정보

• 제목: LLMs can Find Mathematical Reasoning Mistakes by Pedagogical Chain-of-Thought

• 저자: Zhuoxuan Jiang, Haoyuan Peng 외 (상하이상학원·Learnable.AI·A*STAR·홍콩폴리텍·MSRA)

• 출처: IJCAI-24 (제33회 국제인공지능연합학술대회) pp. 3439–3447

• 코드: github.com/HaoyuanPeng/PedCoT-IJCAI24

② 한 줄 요약

"단계별로 생각해 봐" 같은 일반 프롬프트로는 LLM이 추론 오류를 잘 못 찾는다. 블룸 인지모형(Bloom)을 프롬프트 설계 원리로 삼고, 2단계 상호작용(먼저 스스로 풀게 하고 → 학생 답과 대조)으로 물으면 GPT-4가 수학 추론 오류를 안정적으로 잡아낸다.

③ 문제의식

• 자기수정(self-correction)의 첫걸음은 오류 찾기(mistake finding). 그런데 "LLM은 오류를 못 찾는다"는 연구가 다수.

• 원인 가설: 도메인 지식을 안 쓴 엉성한 프롬프트 탓. → 교육학 지식을 넣어보자.

④ 방법

• PPP (Pedagogical Principles for Prompt): 블룸의 하위 3층 = 학습 능력에 대응.

  • 원리1 Remember → "적용해야 할 수학 개념은?"

  • 원리2 Understand → "풀이 접근(문제 해결 전략)은?"

  • 원리3 Apply → "계산·식 변형은 올바른가?"

• TIP (Two-stage Interaction Process): i번째 풀이 단계의 오류를 볼 때

  • Stage-1 Regenerate: 학생의 해당 단계를 가린 채, LLM이 그 단계에서 나와야 할 개념/접근/계산을 스스로 생성.

  • Stage-2 Extract-Compare: 이제 학생 답을 보여주고, 학생이 실제 쓴 개념/접근/계산을 추출 → Stage-1 결과와 대조 → 각 원리별 라벨 부여 (correct-and-aligned / reasonable-but-incomplete / contradiction-found / nothing-extracted).

  • 하나라도 contradiction-found이면 그 단계는 오류. 첫 오류 단계에서 추적 종료.

• 데이터: BIG-Bench Mistake(쉬운 다단계 산술) + PRM800K(고교 경시 수준 어려운 문제). 모델: GPT-4, GPT-4 Turbo (temperature 0).

⑤ 핵심 결과

• 오류 발견 정확도(MF. Acc.): 예) BIG-Bench Mistake에서 GPT-4 기준 Zero-shot CoT 46% → PedCoT 81%. SelfCheck 등 강한 기준선도 4~13%p 상회.

• 어블레이션(ablation study = "구성요소 제거 실험": 방법에서 부품을 하나씩 빼 보고 성능이 얼마나 떨어지는지로 각 부품의 기여도를 잰다): 세 원리 중 원리3(계산 검증) 을 빼면 성능이 가장 크게 하락 → 계산 정확성 확인이 가장 근본적.

• 2단계가 필수: 학생 답을 처음부터 보여주면(1단계 프롬프트) LLM이 "게으르게(lazy LLM)" 학생 답에 끌려가 오류를 못 잡음. 답을 가리는 설계가 편향을 막는다.

• 요청 2회만으로 동작(SelfCheck는 5회) → 효율적.

⑥ 연수 덱과의 연결

• K 섹션 "채점 하네스"의 핵심 논리: 좋은 채점은 (a) 명시적 기준(개념/접근/계산 = 필수요소), (b) 기준점(anchor) 답안과의 대조, (c) 채점자가 학생 답에 휘둘리지 않게 하는 절차로 구성된다.

• "답을 가리고 먼저 모범 풀이를 생성 → 학생 답과 대조" = 우리 덱의 편향 게이트 / 재현 가능한 채점과 정확히 같은 아이디어.

• "오답도 설계된다"의 역방향: PedCoT는 오답을 진단하는 하네스.

⑦ 수업 적용

• 서술형·풀이형 채점 프롬프트를 2단계로:

  1. (학생 답 미제공) "이 문제의 i단계에서 반드시 나와야 할 ① 개념 ② 접근 ③ 계산을 써라."

  2. (학생 답 제공) "학생 답에서 ①②③을 추출하고 1번 결과와 대조해 각각 [일치/부분/모순/해당없음]으로 라벨하라. 하나라도 모순이면 감점 사유를 한 줄로."

• 영어과 응용: 수학 대신 영작문 논증 구조(주장–근거–예시)나 번역 오류(정확성–어순–누락)에 같은 2단계 틀 적용 가능.

3. ESTBOOK — "시험 풀이를 인지 경로로 쪼개고, 오답마다 오개념을 붙였다"

① 서지정보

• 제목: From Test-taking to Cognitive Scaffolding: A Pedagogical Diagnostic Benchmark for LLMs on English Standardized Tests

• 저자: Luoxi Tang, Tharunya Sundar 외 (빙엄턴대·BlossomsAI·다트머스대)

• 출처: arXiv:2505.17056v2 (2025 최초 공개, 2026-04 개정)

• 데이터/코드: anonymous.4open.science/r/Education-9595

② 한 줄 요약

LLM을 표준화 시험에서 평가할 때 정답률만 보면 안 된다. 좋은 AI 튜터는 (i) 충실한 추론 경로, (ii) 풀이 전략 설명, (iii) "이 오답을 고른 학생은 어떤 오개념 때문인가" 진단을 해야 한다. 이를 위해 5대 시험(TOEFL·IELTS·SAT·GRE·GMAT) 10,576문항·29유형을, 인지 단계별 경로 + 오답지별 오개념 근거로 주석한 벤치마크.

③ 문제의식

• 정답을 맞혀도 중간 논리가 틀렸거나, 오답지가 왜 함정인지 설명 못 하면 교육적 효용 0.

• 시험 문제 풀이는 하나의 덩어리가 아니라 인지 하위기능의 그래프 순회(cognitive trajectory).

④ 방법 — 인지 경로(Cognitive Trajectory) 3범주

• 주석 방식이 중요: 생성형 LLM을 안 쓰고(오염·환각 방지), 의존 구문분석 + 규칙 기반 매핑으로 공식 해설에서 인지 단계를 시간순 추출. 오답지는 어휘 중첩 분석·부정 범위 탐지·개체명 인식 등 고전 NLP로 오개념 유형 분류 + 사람 검수.

• 평가: GPT-5·GPT-4V·Claude-Sonnet-4·Llama-4-Scout·Qwen-VL-Max·Gemini-2.5 + 사람 응시자 5명. 프롬프트: ICL / CoT / ToT.

⑤ 핵심 결과

• RQ1: 최신 LLM도 시험 유형·모달리티에 따라 편차가 크고, CoT·ToT를 써도 사람을 항상 넘지 못함. 멀티모달(GMAT 통합추론, GRE 자료해석)에서 특히 취약.

• RQ2 (단계별 분석): LLM은 초기 단계(문제 구조화·정식화)에 강함(최대 97%), 그러나 후속 추론 단계(인과 추론·근거 종합)에서 급락. "정식화는 잘하는데 산술 실행에서 틀린다"가 대표 패턴.

• RQ3 (오답 견고성): 생성 능력과 오답 판별 능력은 별개. GPT-5·Claude도 "부분적으로 참인" 오답 근거를 주고 수용/기각을 물으면 성능이 크게 무너짐 → LLM은 논리적 판별자가 아니라 그럴듯함 추론자. 사람 응시자와 같은 함정에 빠지는 경향.

• RQ4 (개선): 병목 지점만 겨냥한 처방으로 큰 향상.

  • GRE 독해 + 근거 우선(evidence-anchored) CoT(해석 전에 본문 verbatim 인용 강제): 77.8 → 93.5

  • GRE 빈칸 + 구문 우선(syntax-first) CoT(대조 표지 등 문법 역할 먼저 식별)

  • GMAT 통합추론 + 표-텍스트 정렬 제약(계산 전 텍스트↔표 매핑 명시): 13.8 → 59.7

⑥ 연수 덱과의 연결

• L 섹션 "오답도 설계된다"의 최전선 근거: 오답지마다 "이 오답 = 어떤 인지 단계의 어떤 함정"을 라벨 → 우리가 말한 오답 역추적 = 오개념 진단을 벤치마크로 구현.

• K 섹션 "문항 하네스": 문항을 인지 경로로 분해하고 각 단계에 채점·검증 게이트를 두는 구조 = ESTBOOK의 stepwise evaluation.

• TGV(근거 검증)의 학술적 뒷받침: "해석 전에 본문 인용 강제"가 실제로 독해 성능을 크게 올림 → 우리 EFL 리딩 그래프의 grade(근거 검증) 노드가 왜 필요한지.

• ToT가 만능이 아니라는 4번 논문과 호응: 병목 지점 특화 처방이 범용 고급 프롬프트보다 낫다.

⑦ 수업 적용

• 문항 제작 시 오답지 4개 각각에 "겨냥한 오개념" 메모를 남기는 습관(우리 덱의 오답 메타데이터 스키마와 동일).

• 독해 지도: 학생에게도 "근거 문장 먼저 그대로 인용 → 그다음 해석" 순서 강제(evidence-anchored). AI에게 물을 때도 동일 프롬프트.

• 오답 분석 수업: "이 보기를 고른 친구는 어느 단계(의도 파악/본문 지각/근거 추출)에서 어긋났을까?"를 학생들이 직접 라벨링.

4. Reasoning for Translation — "번역에서 CoT vs ToT, 언제 무엇이 이기나"

① 서지정보

• 제목: Reasoning for Translation: Comparative Analysis of Chain-of-Thought and Tree-of-Thought Prompting for LLM Translation

• 저자: Lam Nguyen, Yang Xu (남방과기대, 중국 선전)

• 출처: ACL 2025 Student Research Workshop, pp. 259–275

② 한 줄 요약

번역에 추론형 프롬프트를 체계적으로 비교한 첫 연구. ToT(여러 번역 후보를 만들고 평가·선택)가 CoT(선형 단계 추론)보다 대체로 우수하며 최대 +6.4 BLEU. 반면 CoT는 노이즈 많은 입력·특정 언어쌍에서 오히려 성능을 무너뜨림.

③ 문제의식

• CoT·ToT는 수학·추론에선 검증됐지만 번역 적용은 연구가 적음. 언어쌍·도메인·노이즈별로 실제 어떤지 측정.

④ 방법

• CoT 번역 워크플로: 세분화(segmentation) → 각 조각에 분석 → 중의성 해소 → 생성 → 검증 4단계 → 조각별 확신도(1–10) → 통합(경계 일관성 조정).

• ToT 번역 프레임: 원문 분석(맥락·문체·난점) → 번역 후보 k개 분기 생성 → 4기준 평가

  • 정확성(0.4) · 유창성(0.3) · 문체 충실도(0.2) · 문화적 적절성(0.1) 가중합 → 최적안 선택.

• Self-Guided(SG) CoT/ToT: 도메인을 명시하지 않고 모델이 스스로 전문용어를 뽑아 도메인 추론.

• 모델: GPT-4o Mini, Qwen 2.5 72B Turbo. 데이터: FLORES-200(영·독·중·베트남어), WMT19 생의학/뉴스, WMT20 챗, MTNT(노이즈). 지표: SacreBLEU·COMET·ChrF.

⑤ 핵심 결과

• 다국어 번역: GPT-4o Mini + ToT가 유럽어에서 기준선 크게 상회(EN→DE +6.4 BLEU). 번역 CoT는 거의 모든 언어쌍에서 기준선보다 저조, Qwen의 EN→DE에서는 −20.9 BLEU 파국적 붕괴.

• 도메인 적응: SG-ToT가 가장 강함. 생의학 용어 밀집 맥락에서 ZH→EN +4.06 BLEU. SG-CoT는 들쭉날쭉 → 여러 후보 탐색(ToT)이 자기주도 도메인 적응에 필수.

• 노이즈 텍스트(레딧 댓글): ToT가 가장 견고. CoT는 선형 추론이 오류를 증폭시켜 특히 취약.

• 어블레이션(구성요소를 하나씩 빼 보고 기여도를 재는 실험): ToT에서 후보 분기(branching) 제거 시 타격이 가장 큼(−8.5%~−14.1%). 오픈소스 모델일수록 구조화된 추론 의존도 높음.

• CoT + Self-Consistency vs ToT: ToT가 평균 +0.675 BLEU → 명시적 후보 평가가 일관성 기반 선택보다 낫다.

• 비용: CoT·ToT는 토큰 사용량↑ → API 비용 부담. temperature는 언어별 최적값이 다름(EN↔ZH는 0.2–0.4 낮은 값 선호).

⑥ 연수 덱과의 연결

• A 섹션 "CoT·ToT 번역"의 균형 잡힌 근거: "ToT를 쓰면 항상 좋다"가 아니라 — 중의어·관용구·문화 표현·창의적 텍스트에서 ToT가 강하고, 단순 CoT는 번역에서 위험할 수 있다.

• 우리 덱의 ToT 번역 프롬프트(후보 3개 + 4기준 평가 + 가중 선택)가 이 논문의 실제 설계와 일치.

• 3번 논문(ESTBOOK)의 "병목 특화가 범용 고급 프롬프트보다 낫다"와 호응.

⑦ 수업 적용

• 번역 비교 활동: 같은 문장을 (a) 바로 번역, (b) CoT(분석→해소→생성→검증), (c) ToT(후보 3개 → 정확성/유창성/문체/문화 점수 → 선택)로 각각 시키고 결과를 나란히 놓고 토론.

• 관용구·문화 표현·시(詩) 번역엔 ToT, 평이한 설명문엔 간단한 프롬프트로 충분함을 학생이 체감하게.

• 복사용 ToT 프롬프트: "이 문장의 번역 후보 3개를 서로 다른 해석으로 제시하고, 각 후보를 정확성·유창성·문체·문화적 적절성 4항목에 1–10점을 매긴 뒤 0.4/0.3/0.2/0.1 가중합으로 최적안을 골라라."

5. MTPE 훈련 — "기계번역 사후편집을 6유형 × 3단계로 가르치기"

① 서지정보

• 제목: Training in machine translation post-editing for foreign language students

• 저자: Hong Zhang(양저우대), Olga Torres-Hostench(바르셀로나자치대)

• 출처: Language Learning & Technology (2022) 26(1), 1–17

• 훈련자료: IRIS Database(제2언어 연구 도구 저장소)에 공개

용어

• MT (Machine Translation, 기계번역): Google 번역·Papago·DeepL·ChatGPT 등이 자동으로 뽑아내는 번역 결과물. 여기서 "raw MT"는 사람 손이 안 닿은 그대로의 기계번역 출력.

• PE (Post-Editing, 사후편집): 그 기계번역 결과물을 사람이 읽고 오류를 찾아 고치는 작업. 번역업계의 표준 공정.

• MTPE / PE 훈련: 학습자에게 "기계번역을 그냥 쓰지 말고, 오류를 진단하고 고치는 법"을 가르치는 수업. 이 논문은 그 훈련의 효과를 실험으로 검증.

② 한 줄 요약

외국어 학습자에게 특정 오류유형을 콕 집어 기계번역 사후편집(MTPE = Machine Translation Post-Editing)을 훈련하면, 훈련집단은 통제집단보다 MT(기계번역) 오류를 더 많이, 더 빨리, 더 정확히 잡아 고친다. (스페인어 B2, 중국어 L1 대상)

③ 문제의식

• 학생들은 이미 MT를 쓴다. 금지보다 비판적 사용 훈련이 낫다.

• 가설: 구체적 MTPE 훈련이 학습자의 오류 탐지·수정 능력을 높인다.

④ 방법

• 준실험 설계: 사전–사후 검사, 통제집단(8명) vs 실험집단(8명, 자원자 → 동기 높음 감안). 중국 출신, 스페인어학 학위, CEFR B2, 23–25세.

• 검사지: 중→스페인어 Google 번역 10문장(9개는 오류 1개씩, 1개는 무오류). BB FlashBack 화면녹화로 모든 행동·검색·멈춤(pause) 기록.

• 6개 오류유형 (MQM 기반): 정확성(Accuracy) · 어순(Word Order) · 공식 명칭(Official Name) · 전치사(Preposition) · 누락(Omission) · 격식체(Formal Style).

• 3단계 난이도: ① 오류 탐지 → ② 오류 유형 분류 → ③ 오류 수정.

• 훈련: 총 10시간(대면 2h×2 + 자습 6h). 채점 0–3점(미탐지 0 / 표시만 1 / 표시했으나 수정 실패 2 / 정확히 수정 3).

⑤ 핵심 결과

• 실험집단: 사전엔 통제집단보다 낮았으나, 사후엔 10문장 중 9문장에서 통계적으로 유의한 향상. 통제집단은 사후에도 사전과 비슷(오히려 무오류 문장에 오류를 추가).

• 쉬운 오류(훈련 후 잘 잡음): 누락, 공식 명칭, 전치사, 어순.

• 어려운 오류(두 집단 모두 고전): 정확성(의미 층위 — 특정 단어 오용이 아니라 문장 의미와 연결), 격식체, 어순.

• 시간·멈춤: 훈련집단은 사후에 시간 단축, 멈춤 시 더 성공적으로 편집. 사전엔 인터넷을 뒤지고도 확신이 없어 원문을 안 고침 → 오류의 원인은 성급함이 아니라 지식 부족.

• 어순: 사전엔 두 집단 모두 MT 어순을 바꾸길 꺼림 → 훈련으로 그 저항을 극복.

⑥ 연수 덱과의 연결

• A 섹션 "번역 수업"의 실증 기반: MTPE를 오류 유형론 + 난이도 단계로 구조화하는 방식은 우리 덱의 번역 채점 하네스(정확성·어순·누락 등 오류 카테고리별 채점)와 동일 철학.

• C 섹션 하네스: 오류를 탐지 → 분류 → 수정으로 나누는 3단계 = LangGraph 노드 분할(retrieve/grade/rewrite/generate/verify)과 같은 발상.

• 오답 유형론(L 섹션 5Ps)의 번역판: 6개 오류유형은 번역 채점 루브릭의 "필수 요소" 목록으로 바로 전용 가능.

• 교사에게 주는 실천 권고 6가지가 그대로 우리 연수 메시지:

  1. PE 훈련(사후편집 훈련)은 MT(기계번역) 오류 탐지·수정에 효과적

  2. 무작위 기계번역 텍스트를 통째로 교정시키기보다, 특정 오류유형을 겨냥한 활동을 설계하는 것이 낫다

  3. 기계번역 오류를 함께 성찰 → 무비판적 사용 방지

  4. 기계번역 엔진끼리 비교 → 품질 편차 인식

  5. 자료 공유

  6. MT 발전 동향 추적

⑦ 수업 적용

• 오류유형 카드 6장 만들기: 정확성/어순/공식명칭/전치사/누락/격식체 각각 "정의 + 나쁜 예 + 고친 예".

• 3단계 학습지: 같은 MT 문장을 (1) 어디가 이상한지 표시 → (2) 무슨 유형인지 → (3) 고쳐 쓰기.

• 영어 수업 버전: 영→한 또는 한→영 MT 출력에서 누락·고유명사·전치사부터 시작(가장 훈련 효과 큼), 정확성·격식체는 나중에.

• MT 엔진 2개(Google vs Papago vs DeepL) 비교로 "MT도 품질이 다르다" 체감.

6. e-rater v.2.0 — "1999년부터 돌아간 자동 작문 채점, 채점 하네스의 원형"

① 서지정보

• 제목: Automated Essay Scoring With e-rater® v.2.0

• 저자: Yigal Attali, Jill Burstein (ETS, 프린스턴)

• 출처: ETS Research Report RR-04-45 (2005). e-rater는 1999년 2월부터 GMAT AWA·Criterion에 실사용.

② 한 줄 요약

50여 개 자질을 프롬프트별로 회귀하던 구버전을, 12개의 고정·해석 가능한 자질과 범용(generic) 모델로 바꿨다. 그래도 성능은 유지되거나 오히려 향상 — 투명성·재현성·교차학년 비교를 얻었다.

③ 문제의식

• 구버전(v.1.3): 문항마다 별도 모델(500+ 사람 채점 필요), 자질 8–12개가 문항마다 달라짐 → 해석 불가, 비용 큼. 일부 자질은 사실상 "글 길이"만 재고 있었음.

④ 방법 — 12개 고정 자질

• 모델링 혁신: 자질이 적고 고정이라 가중치를 이론에 따라 사전 지정 가능(회귀로만 찾지 않음). "최적 가중치"와 "고정 가중치"의 성능 차이가 매우 작음.

• Generic 모델: 한 프로그램의 모든 프롬프트에 단일 회귀식. 대부분의 쓰기 능력 자질이 주제 독립적이기 때문. 어휘 자질 2개를 빼면 훈련 없이 새 프롬프트에도 적용 가능.

• 점수 배정: 연속 회귀점수 → 6등급 반올림 시 신호탐지이론으로 최적 절단점 계산(고득점 정확 배정에 더 큰 가치 부여).

• 데이터: 6–12학년 Criterion + GMAT issue/argument + TOEFL, 64개 프롬프트·약 18,000편.

⑤ 핵심 결과

• 성능: v.2.0(프롬프트별 및 Generic12)이 v.1.3보다 사람-기계 일치도(kappa) 우수. GMAT issue: v.1.3 kappa .40 → Generic12 .46.

• 신뢰도(검사-재검사, 학생당 다른 두 에세이): e-rater .60 > 단일 사람 채점자 .50, 사람 2명 평균 .58과 대등. 기계는 채점자간 신뢰도가 완벽.

• 타당도: 사람 점수와 e-rater 점수의 진점수 상관 .93 → 사람 채점과 거의 같은 구인을 측정.

• 자질 신뢰도: essay length(.56)가 가장 안정적, 이어 style·development·AWL(.40대). grammar·usage·max.cos.는 .16 이하로 낮음 — 자질의 신뢰도·회귀기여·점수상관 3지표가 서로 높게 정렬(순위상관 .78).

• 한계·향후: 회귀+반올림 방식의 한계, 비정상(discrepant) 에세이(전략적으로 길게만 쓰기 등)를 걸러낼 규칙 기반 장치 필요 → 고부담 시험 타당도의 관건.

⑥ 연수 덱과의 연결

• K 섹션 "채점 하네스"의 역사적 원형: 소수의 고정된, 루브릭과 의미가 연결된 자질 + 사전 지정 가능한 가중치 + 범용 모델 = 우리가 말한 "문항 5종의 채점 기준(필수 요소·허용 표현·부분점수 경계)이 그대로 루브릭이 되고, 문항과 채점 하네스가 한 벌".

• "글 길이" 경고: LLM 채점에서도 답안 길이가 점수를 끌어올리는 교란 변수 → 길이를 명시적으로 통제하라는 실무 교훈.

• 재현성 > 사람 모방: e-rater 점수는 "사람 점수를 흉내 낸 것"이 아니라 사람 점수 없이도 계산·해석되는 독립 측정. 우리 덱의 재현 가능한 채점 주장의 원조.

• L 섹션 해외 사례(e-rater / 자동 작문 채점)의 1차 출처.

⑦ 수업 적용

• 서술형 루브릭을 소수의 관찰 가능한 지표로: 예) "필수 요소 3개 포함 여부 / 금지 표현 유무 / 담화 표지 개수 / 분량". 각 지표에 사전 배점을 정해두면 AI 채점 프롬프트가 그대로 완성.

• AI에게 채점 시킬 때: "분량이 길다는 이유로 점수를 올리지 마라. 아래 4개 지표만 근거로 채점하고 각 지표의 판정을 인용하라."

• 교차 비교: 같은 답안을 사람 2명 + AI 1회 채점 → 불일치 지점 토론(e-rater의 multimethod 분석 축소판).

종합 — 6편이 함께 말하는 것

A. "그냥 시키지 말고, 절차를 설계하라"

• MAPS: 번역 전에 키워드·주제·예시 준비 단계.

• PedCoT: 채점 전에 모범 풀이를 먼저 생성하고 학생 답을 가린다.

• ESTBOOK: 독해 해석 전에 본문을 그대로 인용(evidence-anchored).

• CoT/ToT 번역: 번역을 분석 → 후보 생성 → 다기준 평가 → 선택으로 분기.

• MTPE: 오류를 탐지 → 분류 → 수정 3단계로.

• e-rater: 채점을 소수의 고정 지표 + 사전 가중치로. → 공통점: 좋은 프롬프트 = 좋은 수업 설계. 단계·순서·가리기·기준을 명시할수록 결과가 안정된다.

B. "생성 능력 ≠ 판별 능력"

• ESTBOOK RQ3: LLM은 정답은 잘 만들지만, 그럴듯한 오답을 기각하는 데 약하다.

• PedCoT: 학생 답을 보여주면 그쪽으로 끌려간다("lazy LLM").

• → 채점·검증에는 답을 가리거나, 근거를 강제하거나, 판별을 별도 단계로 두는 하네스가 필요.

C. "오답은 데이터다"

• ESTBOOK: 오답지마다 인지 단계 × 함정 유형 라벨 → 오답 역추적 = 오개념 진단.

• MTPE: 6개 오류유형 = 학습자 약점 지도.

• → 문항 제작 시 정답 근거만큼 오답 근거를 기록하는 것이 진단 도구를 만든다.

D. "고급 기법이 항상 이기지는 않는다"

• CoT/ToT 번역: CoT는 번역·노이즈에서 오히려 붕괴할 수 있다. ToT는 좋지만 비용이 크다.

• ESTBOOK: 범용 ToT보다 병목 지점 특화 처방이 더 효과적·경제적.

• → 언어쌍·과제·예산을 보고 최소한의 절차를 고른다.

E. "재현성과 투명성이 타당도의 조건"

• e-rater: 해석 가능한 소수 자질 → 교차학년 비교까지 가능.

• PedCoT: 요청 2회로 끝나는 효율적 설계.

• → 하네스는 왜 그 점수인지 인용 가능해야 하고, 비용·단계가 통제되어야 실전에서 쓰인다.

한 줄 프레임

AI 활용 수업·평가 = 절차 설계(analysis→generation→selection) + 판별 게이트(답 가리기·근거 강제) + 오답의 데이터화(오개념 라벨) + 재현 가능한 소수 기준

부록 A — 언어별 번역 토큰 수 비교 & "어느 언어 → 어느 언어"가 효율적인가

4번 논문(CoT/ToT 번역)의 "비용" 문제, 1번 논문(MAPS)의 "환각·누락", 5번 논문(MTPE)의 "격식체가 가장 안 고쳐졌다"를 언어별 수치로 뒷받침하는 자료. 강의에서 "AI에게 어느 언어로 시킬지가 곧 비용·품질을 정한다" 는 슬라이드로.

A-1. 토크나이저는 언어를 평등하게 쪼개지 않는다

• Petrov et al. (NeurIPS 2023) — 같은 뜻의 문장이 언어에 따라 토큰 수가 최대 15배 차이. GPT‑4의 바이트 단위 BPE(cl100k) 기준 중국어 ≈ 영어의 1.9배, 베트남어 2.5배, 버마어 11.7배. 원인은 라틴 문자 1자 = 1바이트, 비라틴 문자 1자 = 2~4바이트라는 구조적 편향.

• Yennie Jun, "All languages are NOT created (tokenized) equal" (52개 언어) — 영어 문장 중앙값 7토큰, 버마어 72토큰. 스페인어·프랑스어·포르투갈어는 영어와 비슷, 힌디·벵골어 ≈ 5배, 아르메니아어 ≈ 9배.

• GPT‑4o의 새 토크나이저(o200k) — CJK(한·중·일) 페널티를 cl100k 대비 약 40% 완화. 중국어: cl100k 1.6~2.5배 → o200k 1.06~1.55배(평균 1.34). 일본어: 1.7~2.9배 → 1.33~2.17배. (Claude·Gemini의 최신 토크나이저도 비슷한 개선 추세.)

A-2. 대략의 토큰 배율 (같은 내용, 최신 토크나이저 기준 · 영어 = 1.0)

⚠️ 정확한 수치는 토크나이저 버전·글 장르에 따라 달라짐. 위 표는 "체감 규모"용. 실제 값은 각 벤더의 토크나이저(OpenAI tiktoken, Anthropic, Google)로 직접 측정 권장.

A-3. 화면·지면에서의 글 길이 (토큰이 아니라 글자·단어 수 — 로컬라이제이션 업계 경험칙)

• 영어 → 스페인어·프랑스어·이탈리아어·포르투갈어: +15 ~ 30% 팽창

• 영어 → 독일어: +10 ~ 35% (긴 복합어)

• 영어 → 러시아어: +15% 안팎

• 영어 → 중국어·일본어·한국어: 글자 수는 −10 ~ −55% 수축 (중국어는 최대 40% 짧아지기도) — 단, 글자 하나가 더 크고 조밀해 행간·자간은 넓혀야 함.

• 함의: 슬라이드·학습지 레이아웃을 짤 때 영→유럽어는 자리 부족, 영→한·중·일은 자리 남음(대신 글자 크기).

A-4. "정보를 더 풍부하게 담는 언어"는 없다 — 밀도와 속도의 맞교환

• Coupé et al. (Science Advances 2019), "Different languages, similar encoding efficiency" — 17개 언어를 분석했더니 모두 초당 약 39비트로 수렴. 정보 밀도가 높은 언어(중국어·베트남어)는 말이 느리고, 밀도가 낮은 언어(스페인어·일본어)는 말이 빠르다. 순 정보 전달률은 거의 같다.

• 결론: "어느 언어가 더 많은 내용을 담느냐"는 잘못된 질문. 어떤 언어든 같은 정보를 담을 수 있다. 달라지는 것은 ① LLM의 토큰 비용, ② 물리적 글 길이, ③ 어떤 뉘앙스가 쉽게/어렵게 보존되느냐.

A-5. 그래서 — "어느 언어 → 어느 언어"가 유리한가 (수업·연수용 권고)

1. LLM 처리 효율(비용·문맥창·속도)

   • 목표 산출이 영어일 때 가장 저렴. 영어 ↔ 스페인어/프랑스어/독일어가 토큰 효율 최상.

   • 한·중·일로 출력하면 토큰이 1.3~2배(구형 2~3배) → 긴 문서·다회 반복(ToT) 시 비용 급증.

   • 실무: 지시문·추론 과정은 영어로 쓰고, 최종 번역문만 목표 언어로 뽑으면 비용↓·성능↑ (4번 논문의 ToT 비용 문제와 직결).

2. 번역 품질의 방향성

   • 여러 연구·4번 논문 부록 공통: "~로 영어" 번역이 "영어에서 ~로" 번역보다 대체로 쉽고 정확(모델의 영어 편중).

   • 저자원 언어쌍(예: 한국어↔베트남어)은 모델이 내부적으로 영어를 피벗하는 경우가 많아 이중 손실 → 5번 논문의 중국어→스페인어(영어 경유) 사례가 그 증거.

3. 목표 언어가 한국어·일본어·중국어일 때 특히 신경 쓸 것

   • 주어 생략·주제 표지·경어 때문에 원문에 없는 정보를 모델이 채워 넣어야 함 → 환각·과잉 명시 위험(1번 논문).

   • 높임말·문체 등급을 프롬프트에 명시하지 않으면 일관성 붕괴 → 5번 논문에서 '격식체(Formal Style)'가 훈련 후에도 가장 안 고쳐진 오류였음.

   • 처방: "대상 독자·격식 수준(예: 학생 대상 존댓말)·문체를 먼저 정하고 번역하라"를 프롬프트 1행으로.

4. 수업 활동 아이디어

   • 같은 문단을 영→한, 한→영, 영→일 등으로 번역시키고 토큰 수(각 벤더 토크나이저로 측정)·글자 수·소요 시간·오류 유형을 표로 비교 → "AI 번역의 비용과 편향"을 데이터로 체감.

출처

• Petrov et al. 2023, Language Model Tokenizers Introduce Unfairness Between Languages (arXiv:2305.15425)

• Yennie Jun, All languages are NOT created (tokenized) equal

• Large Language Model Tokenizer Bias: A Case Study and Solution on GPT-4o (arXiv:2406.11214)

• Coupé et al. 2019, Different Languages, Similar Encoding Efficiency, Science Advances (ScienceDaily 요약)

• Eriksen Translations: Text Expansion and Contraction · Andiamo: Expansion and contraction factors

부록 B — "병목 지점 특화 처방" 실전 방법

3번 논문(ESTBOOK RQ4)의 핵심 실무 기법. 전체를 ToT로 바꾸지 말고, 실패하는 그 한 단계에만 제약 한 줄을 넣는다.

B-1. ESTBOOK이 실제로 한 것

B-2. 방법 (4단계 레시피)

1. 과제를 인지 단계로 쪼갠다 — 예: 이해 → 계획 → 실행 → 검증. (번역이면 분석 → 초벌 → 다듬기 → 검토.)

2. 어디서 처음 어긋나는지 표시한다 — AI 출력(또는 학생 답) 5~10개를 놓고, 첫 오류가 난 단계를 체크. 반복적으로 같은 단계면 그게 병목.

3. 그 단계에만 강제 한 줄을 추가한다 — 나머지 프롬프트는 그대로. "먼저 X를 하고 나서 진행하라" 형태.

4. 다시 측정한다 — 병목이 이동했는지 확인. (병목은 모델·언어쌍·과제마다 다르므로 주기적 재점검 — 3·4번 논문 공통 결론.)

B-3. 영어과 처방 카탈로그 (복사용)

B-4. 왜 ToT보다 경제적인가

• ToT: 후보 k개 생성 × 각 후보 평가 → 토큰이 대략 k배, 비용 O(k·|입력|) (4번 논문).

• 병목 처방: 토큰 +10~30% 로 유사하거나 더 큰 향상 — 특히 원인이 한 곳에 몰려 있을 때 압도적으로 유리.

• 단, 실패가 여러 단계에 흩어져 있거나 중의성·창의성이 관건이면(관용구·시 번역) 그때는 ToT가 답(4번 논문).

출처: ESTBOOK (arXiv:2505.17056) · Reasoning for Translation (ACL 2025 SRW)

부록 C — 채점 하네스를 교실에 들일 때: 교육적 유의점

이 연수는 교사 연수다. 채점 하네스는 강력하지만 그만큼 조심스럽게 다뤄야 한다. 아래는 반드시 넣어야 하는 "안전장치" 슬라이드.

C-1. 대원칙 — 하네스는 교사의 판단을 대체하지 않는다

• 하네스는 채점 보조·피드백 생성 도구이지 성적 판정 주체가 아니다. 최종 점수·기록·이의처리는 교사 책임.

• 첫 용도는 형성적 피드백(어디가 왜 부족한지), 총괄 점수는 그다음. — PedCoT의 "기준 먼저, 답 나중"과 '게으른 AI'(S9) 경고를 그대로 적용: "AI야 이 답 몇 점?"이 아니라 "루브릭 각 항목을 답안 근거와 함께 판정하라".

C-2. 고부담 평가 단독 사용 금지

• e‑rater조차 ETS는 사람 채점과 병행(2인 중 1인 대체)에서만 운용했고, 단독 고부담 사용의 타당도는 미확립이라고 논문이 명시(6번 논문 결론).

• BABEL 사례(S5): 길이·어휘 복잡도 같은 대리지표에 속는다 → 고부담일수록 사람 이중 검토.

C-3. 편향·공정성 점검 목록

• 언어·문체 편향: 토크나이저·모델은 영어·표준 문체에 유리(부록 A). 한국어 답안, 방언·비표준 표현, L2 학습자 답안에서 불리하게 작동할 수 있음 → 동일 루브릭이 특정 집단에 체계적으로 불리한지 표본 검토.

• 길이 편향: 긴 답안에 후한 점수(6번 논문) → 프롬프트에 "분량을 이유로 가점하지 말라" 명시.

• 주제·배경지식 편향: 특정 소재·이름·문화 배경에 대한 학습 데이터 편중.

C-4. 투명성·재현성

• 점수만 주는 하네스 금지. 각 기준의 판정 + 답안 인용 근거를 반드시 출력 → 학생·학부모에게 설명 가능해야.

• 재현성 확인: 같은 답안을 temperature 0으로 2~3회 → 점수가 흔들리면 루브릭이 모호한 것. 기준점(anchor) 답안 3편(상·중·하)으로 보정.

• 동료 검증: 프롬프트+루브릭을 교과협의회에서 함께 리뷰 — 힌지 질문을 "여럿이 1시간+"에 만드는 것과 같은 이유(S6). 저자·평가자 분리(만든 사람이 스스로 승인하지 않기).

C-5. 학생 데이터·프라이버시

• 학생 답안·개인정보를 외부 API로 보낼 때 동의·가명화·교육(지원)청 지침 준수.

• 가능하면 학습에 재사용되지 않는 설정(opt‑out), 학교/교사 계정, 최소 수집.

C-6. 역류 효과(washback) 경계

• 하네스가 재는 것만 학생이 연습한다. 측정이 쉬운 지표(형식·길이·표지어)에 치우치면 수업이 왜곡됨.

• 루브릭에서 내용·사고·독창성의 비중을 의도적으로 지키고, "무엇을 재지 않기로 했는지"도 함께 공유.

C-7. 도입 체크리스트 (요약)

• 이 평가는 형성적인가, 총괄적인가? (총괄·고부담이면 사람 이중 채점 필수)

• 루브릭 각 항목이 관찰 가능하고, AI가 근거를 인용하도록 했는가?

• 앵커 답안 3편으로 보정하고, 재현성(≥2회 동일)을 확인했는가?

• 길이·언어·배경 편향을 표본으로 점검했는가?

• 학생 데이터 처리 방식이 지침에 맞는가?

• 교사 재검토·학생 이의제기 통로가 있는가?

• 동료 교사가 프롬프트·루브릭을 검토했는가?

출처: Attali & Burstein 2005, e-rater v.2.0 (ETS RR-04-45) · Perelman, BABEL Generator & E-Rater · PedCoT (arXiv:2405.06705) · ESTBOOK (arXiv:2505.17056)

부록 D — 평범한 영어 교사가 오답을 설계할 때 가져야 할 관점

"오답 유형론", "5Ps", "DiVERT" 같은 학술 틀 없이도, 교실에서 바로 쓸 수 있는 관점 7가지. 연구가 말하는 것을 교사의 언어로 옮긴 것.

D-1. 큰 전환: "정답을 가리는 보기"가 아니라 "학생을 읽는 창"

• 나쁜 습관: 정답을 정하고 → 그럴듯한 단어 3개를 아무거나 채운다.

• 좋은 습관: "이 문항을 틀리는 학생은 무엇을 오해한 것일까?" 를 먼저 3~4가지 적고 → 그 오해 하나당 오답 하나를 만든다.

• 기준 문장: 오답지를 보면 "누가 틀렸나"뿐 아니라 "왜 틀렸나" 가 보여야 한다. (딜런 윌리엄 · ESTBOOK 공통)

D-2. 오답의 재료는 '내 학생의 실제 실수'다

• 출처 4곳: ① 지난 시험·수행평가에서 자주 나온 오답, ② 수업 중 나온 잘못된 발화, ③ 학생이 쓴 문장의 문법·어휘 오류 패턴, ④ 서술형 답안의 부분 이해.

• 방법: 수업 끝 3분, 포스트잇에 "오늘 헷갈렸던 것" 한 줄씩 받기 → 다음 문항의 오답지 재료. (윌리엄이 권하는 방식)

• 영어과에서 반복되는 오해의 예:

  • 지시어(this/that/it/they)가 가리키는 대상을 가장 가까운 명사로 착각

  • 대명사·시제 일치: 앞 문장 시제에 끌려감

  • 연결어(however·therefore·although)의 방향을 반대로

  • 다의어: 가장 흔한 뜻으로만 해석(예: address를 '주소'로)

  • 함축 vs 명시: 지문에 "쓰여 있는 것"과 "추론되는 것"을 혼동

  • 부분 요지: 한 문단의 예시를 글 전체 주제로 착각

  • 번역투: 어순을 그대로 둔 축자역을 정답으로 고름

D-3. 좋은 오답의 4가지 조건 (체크리스트)

1. 그럴듯한가(Plausible) — 이해가 얕은 학생이 실제로 끌릴 만한가? (아무도 안 고르는 오답 = 낭비)

2. 진단적인가(Diagnostic) — 이 오답을 고르면 어떤 오해인지 특정되는가?

3. 본문에 근거가 있는가(Text-relevant) — 지문의 단어·구조에서 왜 그렇게 생각했는지 설명 가능한가?

4. 정답과 '한 끗' 차이인가 — 정답의 핵심 요소 딱 하나만 바꿔치기했는가? (여러 개를 동시에 틀리게 하면 진단이 흐려짐)

• 피할 것: 문법적으로 어색한 보기, 길이가 유난히 짧거나 긴 보기, "항상/모두/절대" 같은 자동 소거 단서, 상식만으로 지워지는 보기.

D-4. 오답 만드는 실전 절차 (정답 → 오답 5스텝)

1. 정답 문장에서 핵심 요소를 짚는다 (예: "대상 A + 관계 R + 근거 문장 L").

2. 요소 하나를 흔한 실수 버전으로 교체 → 오답 1개. (A를 옆 문장 명사로 / R을 반대 방향으로 / L을 무관한 문장으로)

3. 2를 요소별로 반복 → 오답 3~4개.

4. 각 오답 옆에 "이 오답 = ○○ 오해" 한 줄 메모(내부용).

5. 실시 후 오답률 확인: 아무도 안 고른 오답은 다음에 교체, 상위권도 많이 고른 오답은 문항이 모호하거나 정답 논란.

D-5. 오답을 '수업으로' 되돌리기 (진단 → 지도)

• 오답 분석표: 보기별 선택 인원 → 어느 오해가 우리 반에 많은지 지도.

• 되돌리는 발문: "B를 고른 사람? B가 매력적인 이유를 말해보자. 그럼 본문 몇 번째 줄이 그걸 막지?"

• 힌지 질문으로: 20~30분마다 2분 안에 풀고 30초 안에 읽는 4지선다 1문항, 오답지 = 오개념. → 결과 보고 다음으로 갈지/다시 가르칠지 결정.

D-6. 하지 말아야 할 것 (윤리·타당도)

• 오답을 함정으로만 쓰기(속이려는 의도) — 오답은 진단 도구이지 골탕이 아니다.

• 특정 배경지식·문화·이름에 익숙해야 지워지는 오답 → 공정성 훼손.

• 한 문항에 오해 여러 개를 뒤섞기 → 틀려도 원인 불명.

• AI가 만든 오답을 검토 없이 사용 — 그럴듯하지만 오개념이 아닌 '헛 오답'이 섞임(ESTBOOK: 생성은 잘해도 판별은 약함).

D-7. AI를 오답 설계 보조로 쓰는 프롬프트 (복사용)

너는 고등학교 영어 평가 문항 설계 보조야.
[성취기준/지문/정답]을 줄게.
1) 이 문항을 틀리는 학생이 가질 만한 '오개념' 4가지를 먼저 나열해.
2) 각 오개념을 겨냥한 오답지 4개를 만들어. 정답의 핵심 요소 중 '하나만' 바꿔.
3) 각 오답지 옆에 (a) 겨냥한 오개념, (b) 지문에서 그렇게 오해하게 만드는 근거 문장을 적어.
4) 상식·문법·길이만으로 지워지는 오답이 있으면 표시하고 대안을 제시해.
표 형식으로.

→ 나온 결과를 교사가 반드시 검수: 실제 우리 반 학생이 낼 오해인지, 근거가 지문에 있는지, 한 끗 차이인지.

출처: ASCD: Designing Great Hinge Questions · TeachThought: What Are Distractors in Multiple-Choice Questions · The eLearning Coach: Writing Effective Distractors · ESTBOOK (arXiv:2505.17056)

부록 E — 용어 사전 (AI · 평가 약어 주석)

본문에 나온 약어·전문어를 한자리에. 강의 배포용으로 이 표만 떼어 써도 됨.

E-1. 프롬프트 · 추론 유도 기법

E-2. LLM · 모델 일반

E-3. 토큰 · 토크나이저

E-4. 번역 · MT 평가

E-5. 작문 · 문항 평가 (측정학)

E-6. 교육 · 형성평가

E-7. 학술 · 통계 약어

원문 서지 목록

1. He, Z., Liang, T., Jiao, W., et al. (2023). Exploring Human-Like Translation Strategy with Large Language Models. arXiv:2305.04118 (TACL).

2. Jiang, Z., Peng, H., Feng, S., Li, F., & Li, D. (2024). LLMs can Find Mathematical Reasoning Mistakes by Pedagogical Chain-of-Thought. IJCAI-24, 3439–3447.

3. Tang, L., Sundar, T., Meng, Y., et al. (2025/2026). From Test-taking to Cognitive Scaffolding: A Pedagogical Diagnostic Benchmark for LLMs on English Standardized Tests. arXiv:2505.17056.

4. Nguyen, L., & Xu, Y. (2025). Reasoning for Translation: Comparative Analysis of Chain-of-Thought and Tree-of-Thought Prompting for LLM Translation. ACL 2025 Student Research Workshop, 259–275.

5. Zhang, H., & Torres-Hostench, O. (2022). Training in machine translation post-editing for foreign language students. Language Learning & Technology, 26(1), 1–17.

6. Attali, Y., & Burstein, J. (2005). Automated Essay Scoring With e-rater® v.2.0. ETS Research Report RR-04-45.