본문으로 바로가기
TILNOTE
page thumbnail

더 적게 쓰고, 더 빠르게 사유하는 법

달의이성
달의이성
•조회수 26
요약

"진정한 천재는 복잡한 것을 단순하게 만드는 사람이다." - 리처드 브랜슨

AI가 인간처럼 생각하기 시작했을 때, 우리는 그 장황한 설명에 감탄했습니다. 하지만 이제 우리는 더 중요한 질문을 던져야 합니다. 과연 '생각의 양'이 '생각의 질'을 보장할까요? 만약 AI가 인간의 천재들처럼, 최소한의 메모만으로 문제의 핵심을 꿰뚫을 수 있다면 어떨까요?

서론: 생각의 군살을 빼야 하는 이유

우리는 대규모 언어 모델(LLM)의 시대에 살고 있습니다. 이 디지털 정신은 '생각의 사슬(Chain of Thought, CoT)'이라는 기법을 통해 복잡한 문제를 단계별로 풀어내는 놀라운 능력을 보여주었습니다. 마치 친절한 교사처럼, AI는 자신의 모든 사고 과정을 장황하게 설명하며 우리를 정답으로 이끌었죠. 그러나 이 방식에는 치명적인 대가가 따릅니다. 바로 시간과 비용입니다.

모든 단어는 컴퓨팅 자원을 소모하고, 모든 문장은 응답 시간을 지연시킵니다. 실시간 상호작용이 필수적인 현대 애플리케이션에서, AI의 장황함은 혁신의 발목을 잡는 족쇄가 될 수 있습니다. 이는 마치 마라톤 선수가 결승선을 향해 뛰면서 자신의 모든 스텝을 소리 내어 설명하는 것과 같습니다. 정확할 수는 있지만, 결코 빠를 수는 없죠.

오늘 우리는 Zoom의 연구원들이 발표한 "Chain of Draft: Thinking Faster by Writing Less"라는 혁신적인 논문을 통해 이 딜레마를 파헤쳐 보고자 합니다. 이 연구는 AI에게 "더 많이 생각하라"가 아닌, "더 날카롭게 생각하라"고 가르칩니다.

연구 배경 및 핵심 문제: 장황함의 역설

CoT의 등장은 LLM 추론 능력의 비약적 발전을 이끌었습니다. 문제 해결 과정을 투명하게 보여줌으로써 신뢰도를 높이고 복잡한 논리 문제의 정답률을 극적으로 향상시켰습니다. 하지만 이 '투명성'은 종종 '비효율성'과 동의어였습니다.

연구진은 근본적인 질문을 던졌습니다. 인간은 정말 그렇게 생각하는가? 우리는 복잡한 수학 문제를 풀거나 글의 초안을 잡을 때, 모든 단계를 완전한 문장으로 기록하지 않습니다. 대신, 핵심 변수, 중간 계산 결과, 핵심 아이디어 같은 '초안(Draft)'을 휘갈겨 씁니다. 불필요한 맥락은 과감히 생략하고, 오직 문제 해결에 필수적인 정보의 뼈대만 남기죠.

CoT의 문제는 AI가 이 인간적인 효율성을 흉내 내지 못하고, 문제의 '이야기'에 너무 깊이 빠져든다는 점입니다. "제이슨이 사탕 20개를 가졌다가..." 같은 문제에서, AI는 제이슨과 데니의 관계나 사탕의 종류에는 관심 가질 필요가 없습니다. 핵심은 오직 '20 - 12'라는 연산뿐입니다.

reasonofmoon_A_stylized_figure_looking_exhausted_while_being__c7a4126b-5187-495a-b77f-6955d0477571_3

주요 발견 사항: 적은 것이 더 강력하다 (Less is More)

연구팀은 세 가지 프롬프트 전략을 비교했습니다:

  1. 표준(Standard): 정답만 바로 요구.

  2. 생각의 사슬(CoT): 단계별로 상세히 설명하도록 유도.

  3. 생각의 초안(Chain of Draft, CoD): 단계별로 생각하되, 각 단계를 5단어 내외의 '최소한의 초안'으로 요약하도록 지시.

결과는 놀라웠습니다. 산술, 상식, 상징 추론 등 다양한 벤치마크에서 CoD는 CoT와 동등하거나 심지어 더 높은 정확도를 달성하면서, 사용하는 토큰(단어 수)은 최대 92.4%까지 절감했습니다.

예를 들어, 초등학교 수학 문제(GSM8k)에서 CoT가 평균 200개의 토큰을 사용해 95%의 정확도를 보인 반면, CoD는 단 40개의 토큰으로 91%의 정확도를 달성했습니다. 응답 시간은 최대 76% 단축되었습니다. 이는 단순히 비용을 절감하는 것을 넘어, AI 추론을 실시간 서비스에 적용할 수 있는 문을 활짝 연 것입니다.

이 발견은 우리에게 중요한 통찰을 줍니다. AI의 추론 능력은 설명의 '길이'가 아니라, 사고 과정의 '구조'에 달려있다는 것입니다. CoD는 불필요한 언어적 포장을 걷어내고, 논리의 핵심 골격에 집중함으로써 AI가 더 빠르고 명확하게 생각하도록 돕습니다.

reasonofmoon_A_stylized_cityscape_where_the_buildings_are_glo_aed3adf5-1484-45f6-9a14-67202a8a5539_1

당신의 AI를 위한 다이어트 플랜

그렇다면 우리는 어떻게 AI가 '생각의 초안'을 작성하도록 유도할 수 있을까요? 이 논문에서 추출한 8가지 실용적인 프롬프트 전략은 다음과 같습니다.

  1. 미니멀리스트 제약 추가:

    • 기존: "단계별로 생각해봐."

    • 개선: "단계별로 생각하되, 각 단계는 5단어 내외의 최소한의 초안만 남겨."

    • 효과: AI에게 간결함이 목표임을 명확히 인지시킵니다.

  2. 핵심 연산으로 추상화 유도:

    • 기존: "제이슨은 사탕 20개를 가졌고, 데니에게 몇 개를 주자 12개가 남았어. 몇 개를 줬을까?"

    • 개선: (예시 제공) 문제: 제이슨... -> 초안: 20 - x = 12; x = 8.

    • 효과: 서사적 맥락을 제거하고 수학적/논리적 본질에 집중하도록 훈련시킵니다.

  3. '초안'의 좋은 예시 제공 (Few-Shot):

    • 기존: (CoT 예시) 1. 제이슨은 처음에... 2. 나중에...

    • 개선: (CoD 예시) 초기 상태: H(앞면)., 1차 뒤집기: T(뒷면)., 2차 뒤집기: H(앞면).

    • 효과: AI가 모방할 수 있는 명확하고 간결한 사고 패턴을 제시합니다. 이는 CoD 성공의 핵심입니다.

  4. 유연한 가이드라인 제시:

    • 기존: "정확히 5단어로 요약해."

    • 개선: "5단어 이내로, 혹은 최대한 간결하게 초안을 작성해."

    • 효과: 엄격한 규칙보다 유연한 가이드라인이 더 나은 결과를 낳습니다. AI가 문제의 복잡성에 따라 초안의 길이를 조절할 수 있게 합니다.

  5. 상태 변화에 집중:

    • 기존: "동전이 앞면이었는데, 로빈이 뒤집고 페기가 또 뒤집었어. 지금 앞면일까?"

    • 개선: (예시 제공) 문제: 동전... -> 초안: H -> T -> H. 정답: Yes.

    • 효과: 연속적인 상태 변화를 추적하는 문제에서 불필요한 행위자를 제거하고 핵심 변화에만 집중하게 합니다.

  6. '메모' 또는 '스케치' 은유 사용:

    • 기존: "너의 추론 과정을 보여줘."

    • 개선: "마치 노트에 빠르게 메모하듯 문제 해결의 핵심 단계만 스케치해봐."

    • 효과: 인간의 효율적인 문제 해결 방식을 은유적으로 제시하여 AI의 행동을 유도합니다.

  7. 명확한 최종 답변 구분자 사용:

    • 기존: 긴 설명 끝에 답변 포함.

    • 개선: "추론 과정이 끝나면, '####' 뒤에 최종 답변만 적어줘."

    • 효과: 자동화된 시스템에서 추론 과정과 최종 결과를 쉽게 분리하여 파싱할 수 있게 합니다.

  8. 맥락 제거 훈련:

    • 기존: 문제의 모든 세부사항을 포함한 설명.

    • 개선: Few-shot 예시를 통해 이름, 사물 등 비본질적 요소를 의도적으로 생략하는 패턴을 보여줍니다.

    • 효과: AI가 문제의 구조적 패턴을 인식하고 일반화하는 능력을 길러줍니다.

reasonofmoon_A_stylized_humanoid_figure_part_human_and_part_c_f56d4881-cf1e-4c53-8eb1-2cda657be3b5_1

심층 분석 및 적용: 생각의 경제학을 넘어서

CoD의 함의는 단순히 AI 운영 비용을 절감하는 데 그치지 않습니다. 이는 AI와 인간의 상호작용, 그리고 미래 AI 아키텍처에 대한 근본적인 시사점을 던집니다.

  • 실시간 지능의 구현: CoD를 통해 우리는 지연 시간 없이 복잡한 추론을 수행하는 AI 에이전트를 상상할 수 있습니다. 고객 서비스 챗봇이 복잡한 정책 질문에 즉시 답하고, 코딩 어시스턴트가 실시간으로 버그의 논리적 원인을 찾아내는 세상이 가능해집니다.

  • 해석 가능성의 재정의: 우리는 그동안 '장황함 = 해석 가능성'이라고 믿어왔습니다. 하지만 CoD는 '간결함' 또한 높은 수준의 해석 가능성을 제공할 수 있음을 보여줍니다. 핵심 논리의 흐름을 한눈에 파악할 수 있기 때문입니다. 이는 마치 잘 정리된 수학 공식이 긴 줄글 설명보다 더 명확한 것과 같습니다.

  • AI 훈련 패러다임의 변화: 이 연구는 현재 LLM들의 훈련 데이터에 CoD 스타일의 '간결한 추론 데이터'가 부족하다는 점을 시사합니다. (제로샷 환경에서 성능이 저하되는 것이 그 증거입니다.) 미래의 LLM은 방대한 텍스트뿐만 아니라, 이처럼 효율적으로 압축된 지식과 추론 과정을 학습해야 할 것입니다.

결론 및 미래 전망: 더 가볍고, 더 빠른 지성을 향해

'생각의 초안(Chain of Draft)'은 단순한 프롬프트 엔지니어링 기법을 넘어, AI의 사고방식에 대한 우리의 이해를 한 단계 발전시키는 철학적 전환입니다. 이는 AI에게 군더더기 없는 사유의 미학을 가르치는 것과 같습니다.

이 연구는 우리에게 AI의 미래가 무한한 컴퓨팅 파워에만 의존하는 것이 아니라, 지능의 효율성을 어떻게 설계하느냐에 달려있음을 보여줍니다. 인간의 뇌가 놀라운 에너지 효율로 복잡한 사고를 해내는 것처럼, 미래의 AI 역시 더 적은 자원으로 더 깊은 통찰에 도달해야 합니다.

이제 당신의 차례입니다. 다음번에 AI에게 질문을 던질 때, 그저 긴 답변을 요구하지 마세요. 대신 이렇게 말해보는 건 어떨까요? "자, 이제 너의 생각을 스케치해봐." 우리는 아마 그 간결함 속에 숨겨진 놀라운 지성의 속도에 감탄하게 될 것입니다.

참고문헌

  • Xu, S., Xie, W., Zhao, L., & He, P. (2024). Chain of Draft: Thinking Faster by Writing Less. arXiv preprint.

  • Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q. V., & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35, 24824-24837.

#AI 추론#프롬프트 엔지니어링#효율성#Chain of Draft#대규모 언어 모델