인공지능 프롬프트 혁명: Program-of-Thought가 Chain-of-Thought보다 15% 뛰어난

인공지능(AI) 세계에서 '프롬프트 엔지니어링'은 이제 선택이 아닌 필수가 됐습니다. 특히, 언어 모델이 복잡한 수치 추론이나 금융 문제를 단계별로 풀어가는 방식에서는 프롬프트 설계가 성능을 좌우합니다. 최근 학계에서는 Chain-of-Thought(CoT) 방식보다 Program-of-Thought(PoT) 방법이 무려 15%나 더 우수한 결과를 내며 혁신을 이끌고 있습니다. 오늘은 이 두 방식의 차이와 PoT의 강점을 쉽고 재미있게 풀어보겠습니다.

프롬프트 엔지니어링이 AI 성능을 가른다

프롬프트 엔지니어링이란 인공지능에게 “어떻게 문제를 풀지 지시하는 기술”입니다. 단순 명령을 넘어서, 적절한 맥락을 주고 단계별로 구조화된 방식으로 질문하면, 동일한 AI도 훨씬 똑똑하게 답합니다. 연구에 따르면 프롬프트 작성 순서, 예시의 품질, 심지어 사소한 문구 변화만으로도 성능이 40% 가까이 변화할 수 있을 정도니, AI에게는 ‘어떻게 말하냐’가 무엇보다 중요합니다.

Chain-of-Thought와 Program-of-Thought: 무엇이 다를까?

Chain-of-Thought(CoT)는 한 문장씩, 마치 수학 선생님이 풀이 과정을 보여주듯 단계별로 "생각"을 늘어놓는 프롬프트 방식입니다. 예를 들면, “23개의 사과 중 20개를 점심에 썼고 6개를 추가로 샀을 때, 남은 개수는?”이라는 문제에서 AI가 "처음엔 23개, 20개를 쓰면 3개 남음. 6개를 사서 9개."처럼 차근차근 풀이 과정을 보여줍니다.

반면, Program-of-Thought(PoT)는 ‘생각의 흐름’을 아예 코드의 형태로 짜내는 방식입니다. 즉, AI가 문제 풀이 과정을 프로그램으로 작성하고, 그 코드를 실제로 컴퓨터가 실행해 정확한 답을 산출합니다. 예를 들어, 앞선 사과 문제를 코딩한다면, 변수에 값을 저장하고 계산까지 프로그램화하는 겁니다.

Program-of-Thought가 Chain-of-Thought보다 15% 더 뛰어난 이유

실전 테스트에서 PoT 방식은 수학 단어 문제와 금융 데이터셋에서 평균 12~15% 더 정확했습니다. 왜일까요? PoT는 AI의 언어적 추론과 실제 계산을 분리합니다. 즉, "어떻게 풀지"는 AI가 논리적으로 구조화하고, "얼마인지 계산"은 컴퓨터가 직접 하니, 인간의 실수나 AI의 계산 착오를 획기적으로 줄입니다.

이 방식은 특히 복잡한 스텝이 많은 문제, 수식이 꼬이는 금융 질문에서 놀라운 효과를 냈습니다. 자가 일관성(Self-Consistency) 디코딩 등 첨단 기법과 결합하며 최신 데이터셋에서 최고 성능(State-of-the-Art)을 달성했습니다.

실전 프롬프트 예시: 단계별 생각에서 코드로!

CoT 방식:
“문제를 단계별로 생각해보세요. 23개의 사과에서 20개를 사용했다면 남은 사과는 23-20=3. 6개를 더 사면 3+6=9. 답: 9개”

PoT 방식:

apples = 23
apples -= 20
apples += 6
print(apples) # 결과: 9

이처럼 코드 기반의 PoT는 결과의 신뢰도를 높일 뿐 아니라, 계산 자체에 오류가 생길 위험을 줄여줍니다.

프롬프트 방식의 변화가 가져오는 AI 혁신

단계적 추론을 요구하는 Chain-of-Thought 기법 덕분에 AI의 “생각하기” 능력은 한 단계 뛰어올랐지만, Program-of-Thought가 도입되며 진짜 혁신은 이제 막 시작입니다. PoT는 복잡하고 다단계 계산 문제, 정확성이 중요한 금융 분석 등에서 AI의 한계를 극복하고 있습니다.

또한 프롬프트 구조화 기술이 발전함에 따라, 모델의 성능이 고정된 프롬프트로 평가될 때보다 적절히 설계된 구조화 프롬프트로 평가될 때 4~15%까지 더 뛰어난 결과를 보인다는 연구도 있습니다. 즉, 프롬프트 설계 자체가 또 하나의 AI 혁신의 장입니다.

앞으로 무엇을 기대할 수 있나?

AI 분야의 전문가들은 향후 복잡한 코딩 기반 프롬프트, 자동화된 프롬프트 최적화, 협업식 추론 등 다양한 방식이 등장할 것으로 전망합니다. Program-of-Thought는 이런 미래형 AI 활용의 첫걸음입니다. 실제로, 코드와 데이터가 오픈소스로 공개되어 있어, 누구나 최신 연구와 프롬프트 디자인을 따라 하고 실험해볼 수 있습니다.

프롬프트 엔지니어링의 진화는 이제 AI의 한계를 뛰어넘는 중요한 열쇠가 되었습니다. 앞으로 AI와 함께 일하거나, 데이터를 활용해야 하는 모든 분야에서 PoT 같은 첨단 프롬프트 기법이 ‘꼭 알아야 하는 기본기’가 될 것입니다.

참고

[1] Prompt engineering - Wikipedia - Wikipedia

[2] Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks - arXiv

[3] Chain of Thought Prompting vs Prompt Chaining - A Complete Guide with Examples - AI Tools Note

[4] Structured Prompting Enables More Robust Evaluation of Language Models - arXiv

인공지능 프롬프트 혁명: Program-of-Thought가 Chain-of-Thought보다 15% 뛰어난 이유