4부 19장. 대화를 이어 갈수록 품질을 높이는 방법

지난 장에서는 AI에게 중간 점검을 시키는 법을 살펴보았다. 이제 한 걸음 더 나아가 보자. 중간 점검이 "지금 잘 가고 있는가"를 확인하는 기술이라면, 이번 장의 주제는 "어떻게 하면 다음 턴이 이전 턴보다 더 좋아지게 만들 수 있는가"이다.

많은 사람이 AI와 여러 번 대화하면 결과가 자동으로 좋아질 것이라고 기대한다. 하지만 실제로는 반대가 되기도 한다. 처음에는 괜찮던 글이 수정할수록 흐려지고, 설명은 길어지는데 핵심은 약해지고, 문장은 매끈해졌는데 내용은 공허해지는 경우가 자주 생긴다. 대화 횟수가 늘었다고 품질이 올라가는 것은 아니다. 좋은 후속 질문과 좋은 피드백이 들어갈 때만 품질이 올라간다.

쉽게 말해, 멀티턴의 핵심은 "계속 말하기"가 아니라 "매 턴마다 신호를 더 정확하게 넣기"다. 처음 턴이 원석이라면, 이후의 턴은 조각과 연마에 가깝다. 그냥 계속 문지른다고 보석이 되는 것은 아니다. 어디를 깎고 어디를 남길지 알아야 한다.

이번 장에서는 후속 질문과 피드백으로 결과를 점진적으로 개선하는 방법을 다룬다. 대화가 길어질수록 내용이 흐려지는 사람이 아니라, 대화가 길어질수록 결과가 단단해지는 사람이 되는 법을 배우는 것이 목표다.

턴 수가 아니라 정보의 질이 품질을 만든다

AI는 매 턴마다 이전 대화와 현재 지시를 바탕으로 다음 출력을 만든다. 그렇기 때문에 후속 질문이 막연하면, AI는 막연한 방향으로 조금씩 흔들린다. 반대로 후속 질문이 분명하면, 대화가 누적될수록 결과는 점점 더 정교해진다.

예를 들어 초안을 받은 뒤 "좀 더 좋게 해 줘"라고 말하면, AI는 무엇을 기준으로 좋아져야 하는지 알기 어렵다. 더 길게 써야 하는지, 더 짧게 써야 하는지, 더 친절해야 하는지, 더 논리적이어야 하는지 모호하다. 이런 요청은 수정처럼 보이지만 사실상 새 추측을 하나 더 던지는 것에 가깝다.

반면 "핵심 메시지가 늦게 나온다. 첫 두 단락 안에 결론이 보이게 다시 써 줘"라고 말하면 상황이 달라진다. 이제 AI는 무엇이 문제였고, 무엇을 어떻게 바꿔야 하는지 알 수 있다. 후속 질문 하나가 출력의 방향을 다시 잡아 주는 것이다.

결국 중요한 것은 턴 수가 아니라, 각 턴이 무엇을 더 선명하게 만들었는가이다. 좋은 멀티턴은 매번 하나씩 흐릿한 것을 또렷하게 바꾼다.

좋아지지 않는 대화의 전형적인 패턴

대화를 이어 가는데도 품질이 오르지 않는 데에는 몇 가지 흔한 이유가 있다.

• 피드백이 너무 추상적이다.

• 한 턴에 너무 많은 것을 동시에 고치려 한다.

• 무엇을 바꾸지 말아야 하는지 말하지 않는다.

• 이전 턴의 문제를 해결했는지 확인하지 않고 새 요구를 계속 얹는다.

• 기준이 누적되지 않고 매번 새로 흔들린다.

이 다섯 가지는 생각보다 자주 함께 나타난다. 처음에는 구조를 고치라고 했다가, 다음에는 톤을 바꾸라고 하고, 그다음에는 예시를 넣으라고 하고, 마지막에는 다시 짧게 줄이라고 한다. 그 과정에서 원래 괜찮았던 부분까지 함께 무너진다.

이런 대화는 요리하다가 계속 다른 양념을 넣는 것과 비슷하다. 짠지 싱거운지 확인도 안 했는데 단맛을 더하고, 매운맛을 더하고, 다시 물을 붓는 식이다. 결국 재료보다 수정이 많아진다.

좋은 후속 질문은 네 가지 중 하나를 한다

대화를 이어 갈수록 결과를 좋아지게 만드는 후속 질문은 대체로 네 가지 역할 중 하나를 한다. 이 네 가지를 기억하면 멀티턴이 훨씬 안정된다.

첫째, 목표를 더 선명하게 한다. 처음에는 대략적인 방향만 정했더라도, 다음 턴에서는 독자, 목적, 톤, 길이, 우선순위를 더 분명하게 만들 수 있다. 이렇게 하면 AI가 추측할 영역이 줄어든다.

둘째, 문제를 분리한다. 지금 문제가 구조인지, 논리인지, 예시 부족인지, 톤인지 분리해야 한다. 여러 문제를 한꺼번에 던지면 AI는 표면적인 것부터 손대기 쉽다.

셋째, 좋은 부분을 보존한다. 수정 지시를 내릴 때 무엇을 유지해야 하는지 말하지 않으면, AI는 멀쩡한 부분까지 바꿔 버릴 수 있다. 특히 문체, 구조, 핵심 메시지는 유지 대상으로 지정해 주는 것이 좋다.

넷째, 기준을 높인다. 처음에는 "대충 맞는 초안"을 만드는 것이 목표였더라도, 다음 턴에서는 "실제로 바로 쓸 수 있는 수준"으로 기준을 높일 수 있다. 즉, 대화가 이어질수록 기대 수준도 조금씩 올라가야 한다.

이 네 가지를 합치면 멀티턴의 본질이 보인다. 좋은 후속 질문은 새로운 말을 더하는 일이 아니라, 목표를 좁히고, 문제를 나누고, 좋은 것을 지키고, 기준을 올리는 일이다.

막연한 피드백 대신 작동하는 피드백을 써라

결과를 개선할 때 가장 중요한 것은 피드백의 품질이다. 사람은 종종 자기 머릿속에서는 분명한데 말로는 흐리게 말한다. "좀 딱딱해", "조금 별로야", "뭔가 아쉽다" 같은 말이 그렇다. 사람끼리는 표정과 맥락으로 어느 정도 통하지만, AI에게는 이런 표현이 충분한 작업 지시가 되지 못한다.

작동하는 피드백은 감상이 아니라 변화 방향을 포함한다. 예를 들어 이렇게 바꿔 말할 수 있다.

"딱딱하다" 대신 "초보 독자 기준으로 설명이 너무 교과서적이다. 예시를 먼저 보여 주고 개념 설명은 짧게 붙여 달라."

"아쉽다" 대신 "핵심은 맞지만 읽고 바로 행동하기 어렵다. 단계별 행동 문장을 더 분명히 써 달라."

"별로다" 대신 "문장 자체보다 구조가 문제다. 비슷한 내용이 흩어져 있으니 3개의 큰 덩어리로 다시 묶어 달라."

좋은 피드백은 대개 세 요소를 갖는다. 무엇이 문제인지, 왜 문제인지, 어떻게 바꾸길 원하는지가 들어 있다. 이 세 가지가 들어가면 AI는 수정 방향을 훨씬 정확하게 잡는다.

한 번에 하나의 층위를 고치는 것이 낫다

품질이 잘 올라가는 대화에는 순서가 있다. 가장 바깥의 큰 문제부터 안쪽의 작은 문제로 들어간다. 반대로 작은 문제부터 손대면, 나중에 큰 구조를 바꾸면서 앞선 수정을 대부분 버리게 된다.

실전에서는 대체로 이런 순서가 좋다.

• 목표와 독자

• 구조와 흐름

• 논리와 내용

• 예시와 설명력

• 문체와 톤

• 형식과 마감 다듬기

예를 들어 구조가 흔들리는 글이라면, 문장을 예쁘게 고치는 것은 아직 이르다. 먼저 "어떤 순서로 말할 것인가"를 바로잡아야 한다. 논리가 비약된 보고서라면, 표현을 자연스럽게 다듬기 전에 "근거가 충분한가"를 먼저 봐야 한다.

이 원칙은 의외로 중요하다. 많은 사람이 AI에게 수정을 맡길 때 구조, 톤, 길이, 형식을 한 번에 다 바꾸려 한다. 그러면 AI는 겉으로 드러나는 것부터 손대고, 정작 핵심 문제는 남기 쉽다. 멀티턴의 강점은 문제를 층위별로 나눌 수 있다는 데 있다. 그 장점을 써야 한다.

"유지할 것"을 말하면 수정 품질이 올라간다

수정을 시킬 때 사람들은 보통 바꿀 것만 말한다. 하지만 실제로는 유지할 것을 함께 말해 주는 편이 훨씬 좋다. 그래야 AI가 멀쩡한 부분을 실수로 무너뜨리지 않는다.

예를 들어 이런 식이다.

구조는 유지하고, 도입부만 더 짧고 강하게 바꿔 줘.

핵심 메시지는 그대로 두고, 사례만 더 현실적으로 바꿔 줘.

초보자 친화적인 톤은 유지하되, 반복 표현은 줄여 줘.

이런 지시는 매우 실용적이다. 수정의 범위를 정해 주기 때문이다. AI는 기본적으로 "새 요청이 들어왔으니 다시 쓴다"는 쪽으로 움직이기 쉽다. 따라서 사용자가 보존 구역을 명확히 지정해야 한다.

이 원칙은 특히 대화가 길어질수록 중요해진다. 턴이 쌓일수록 이미 잘 만들어진 부분이 생긴다. 그런데 그걸 계속 다시 흔들면 품질은 쌓이지 않고 무너진다. 좋은 멀티턴은 매 턴마다 새로 만드는 것이 아니라, 좋은 부분은 고정하고 약한 부분만 교체하는 방식으로 진행된다.

비교하게 하면 품질 기준이 빨리 선명해진다

AI와 오래 대화해도 품질이 잘 안 오르는 이유 중 하나는, 사용자가 원하는 바를 스스로도 정확히 모르기 때문이다. 이럴 때는 무한 수정으로 가기보다 비교를 활용하는 편이 낫다.

예를 들어 "다시 써 줘"를 반복하는 대신 이렇게 요청할 수 있다.

"도입부를 두 가지 버전으로 다시 써 줘. 하나는 실무형, 하나는 스토리형으로. 차이도 짧게 설명해 줘."

또는 이렇게 할 수 있다.

"이 글의 구조를 문제-원인-해결형과 질문-답변형으로 각각 보여 주고, 초보 독자에게 어느 쪽이 더 적합한지 추천해 줘."

비교의 장점은 아주 크다. 사용자가 막연히 느끼던 취향과 기준이 더 빨리 드러난다. "아, 나는 설명이 길기보다 바로 핵심이 나오는 쪽을 원했구나" 같은 판단이 가능해진다. 그러면 다음 턴의 피드백도 더 정확해진다.

즉, 품질을 높이려면 항상 한 버전을 더 고치게 하는 것만이 답은 아니다. 때로는 두세 개를 나란히 놓고 보는 편이 더 빠르게 좋은 방향을 찾는다.

후속 질문은 '왜'보다 '어떻게 바꿀지'를 물어야 한다

AI에게 이유를 묻는 것은 도움이 된다. 하지만 이유만 오래 묻다 보면 대화는 분석으로 길어지고, 실제 결과는 크게 달라지지 않을 수 있다. 그래서 품질 개선 단계에서는 "왜 그랬는가"보다 "어떻게 바꿀 것인가"가 더 중요해진다.

예를 들어 이런 흐름이 좋다.

먼저, "이 초안에서 가장 약한 부분이 어디인지"를 물어본다. 그다음, "그 문제를 해결하려면 무엇을 바꿔야 하는지"를 묻는다. 마지막으로, "그 변경을 실제로 반영한 새 버전"을 받는다.

이 순서가 중요한 이유는 간단하다. 문제를 진단하는 것과 수정하는 것은 다른 일이기 때문이다. 진단만 길어지면 대화는 똑똑해 보이지만 결과는 그대로일 수 있다. 반면 진단 뒤에 수정 계획이 붙고, 수정 계획 뒤에 실제 변경이 붙으면 대화는 분명히 앞으로 나아간다.

실전에서는 이렇게 말하면 좋다.

이 버전의 약점 3가지를 짚고, 각각을 어떻게 수정할지 먼저 써 줘. 그다음 그 계획을 반영해 수정본을 제시해 줘.

이렇게 하면 설명과 실행이 연결된다.

피드백을 누적된 체크리스트로 바꿔라

대화를 이어 갈수록 품질이 높아지는 사람들은 피드백을 흘려보내지 않는다. 한 턴에서 나온 좋은 기준을 다음 턴에서도 계속 살아 있게 만든다. 가장 쉬운 방법은 피드백을 체크리스트로 바꾸는 것이다.

예를 들어 초반 대화에서 다음과 같은 기준이 나왔다고 해 보자.

• 초보자도 이해할 수 있어야 한다.

• 첫 두 단락 안에 핵심 메시지가 보여야 한다.

• 추상 조언보다 바로 행동할 수 있는 문장이 있어야 한다.

• 전문 용어는 짧게 풀어 써야 한다.

이제부터는 매 수정 턴마다 이 기준을 다시 붙이면 된다. 그러면 AI는 매번 처음부터 새 방향을 추측하지 않고, 누적된 품질 기준 안에서 수정한다.

이 방법은 단순하지만 매우 강력하다. 좋은 멀티턴이란 사실상 "대화형 체크리스트 관리"에 가깝다. 처음에는 느슨한 기준으로 시작하더라도, 대화가 이어질수록 기준이 문장으로 쌓인다. 그렇게 쌓인 기준이 결과의 품질을 지탱한다.

고치기 전에 차이를 먼저 요약하게 하라

수정 지시를 바로 내리기 전에, 현재 버전과 목표 버전의 차이를 먼저 요약하게 하면 품질이 더 잘 오른다. 이유는 분명하다. 사용자가 바라는 변화와 AI가 이해한 변화가 같은지 먼저 확인할 수 있기 때문이다.

예를 들어 이렇게 말할 수 있다.

지금 버전과 내가 원하는 버전의 차이를 5줄 안으로 먼저 정리해 줘. 무엇을 유지하고 무엇을 바꿔야 하는지 구분해서 써 줘. 그다음 수정해 줘.

이 한 단계가 생각보다 큰 차이를 만든다. 바로 수정에 들어가면 AI가 문제를 잘못 이해한 채 열심히 바꿀 수 있다. 그러면 수정했는데도 어딘가 엇나간 결과가 나온다. 반면 차이를 먼저 정리하게 하면, 수정 전에 서로의 이해를 맞출 수 있다.

특히 대화가 길어졌을 때는 이 방법이 더욱 중요하다. 이전 턴의 맥락이 쌓인 만큼 오해의 여지도 커지기 때문이다. 품질은 종종 "수정을 많이 해서"가 아니라, "수정 전에 차이를 정확히 이해해서" 올라간다.

작은 샘플로 먼저 시험하면 실패 비용이 줄어든다

전체 결과물을 매번 통째로 고치게 하면 대화가 길어질수록 피로가 쌓이고, 좋은 부분을 잃을 위험도 커진다. 그래서 큰 수정이 필요할 때는 전체를 다시 쓰게 하기보다 작은 샘플로 먼저 시험하는 것이 좋다.

예를 들어 도입부 톤이 문제라면 전체 글을 다시 쓰게 하지 말고 첫 두 단락만 바꿔 보게 한다. 설명 방식이 문제라면 한 섹션만 새 방식으로 써 보게 한다. 사례가 부족하다면 사례 하나만 다른 스타일로 추가해 보게 한다.

이런 접근은 마치 옷 전체를 사기 전에 샘플 원단을 만져 보는 것과 비슷하다. 작은 부분에서 방향이 맞는지 확인하면, 큰 작업으로 확장했을 때 실패할 가능성이 줄어든다.

멀티턴의 강점은 바로 여기에 있다. 한 번에 전체를 갈아엎는 대신, 작은 단위로 시험하고 괜찮으면 넓혀 갈 수 있다. 그러면 대화 횟수가 늘어도 품질은 무너지지 않고 오히려 안정적으로 오른다.

실전 예시: 평범한 초안을 쓸 만한 글로 바꾸는 과정

한 번 실제 흐름으로 보자. 당신이 "직장인이 AI로 회의 준비 시간을 줄이는 법"이라는 글을 쓰고 있다고 해 보자. AI가 초안을 써 줬는데, 문장은 나쁘지 않지만 어디선가 힘이 빠진다.

초보자는 여기서 흔히 "더 좋게 고쳐 줘"라고 말한다. 하지만 그렇게 하면 막연한 수정이 시작된다. 대신 다음처럼 접근한다.

먼저 문제를 분리한다.

이 초안의 가장 큰 약점을 구조, 실용성, 톤으로 나눠서 짚어 줘. 문장 표현보다 내용 수준의 문제를 먼저 봐 줘.

AI가 "도입부가 추상적이고, 실전 단계가 약하며, 팀장과 실무자 구분이 흐리다"고 답했다고 하자. 이제 한 번에 다 고치지 않는다. 가장 큰 문제부터 잡는다.

좋다. 우선 구조는 유지하되 도입부만 고치자. 첫 두 단락 안에 '회의 전 준비 시간을 줄이는 법'이라는 핵심 메시지가 드러나게 다시 써 줘. 초보 직장인도 바로 이해하게 쉽게 써 줘.

도입부가 좋아졌다면 그다음은 실용성이다.

지금 버전의 톤과 구조는 유지하고, 각 섹션마다 바로 행동할 수 있는 문장을 2개씩 추가해 줘. 추상 조언은 줄여 줘.

여기서 끝내지 않고 기준을 누적한다.

앞으로 수정할 때는 다음 기준을 계속 유지해 줘. 초보자 친화적일 것, 핵심 메시지가 앞에 나올 것, 행동 문장이 포함될 것.

이제 마지막으로 전체를 점검한다.

이 기준에 비춰 아직 약한 부분이 있으면 3가지만 지적하고, 그 부분만 최소 수정으로 보완해 줘.

이 흐름에서 중요한 점은 분명하다. 매 턴마다 문제가 분리되었고, 유지할 것이 지정되었고, 기준이 누적되었다. 그래서 대화가 길어졌는데도 결과가 흐려지지 않고 오히려 더 단단해진다.

품질을 높이는 사람은 매 턴마다 '상태 변화'를 만든다

좋은 멀티턴은 말이 길어지는 대화가 아니다. 매 턴마다 상태가 바뀌는 대화다. 예를 들면 이런 변화가 있어야 한다.

처음 턴에서는 막연한 목표가 있었지만, 다음 턴에서는 독자와 목적이 분명해진다. 그다음 턴에서는 구조가 정리된다. 또 다음 턴에서는 약점이 드러난다. 그다음 턴에서는 그 약점이 실제 수정으로 반영된다. 이렇게 상태가 바뀌어야 대화가 품질을 만든다.

반대로 겉보기로는 많은 말을 주고받았는데 상태가 그대로라면, 그 대화는 길기만 한 것이다. "조금 더 자연스럽게", "조금 더 좋게", "조금 더 정리해 줘" 같은 말만 반복하면 품질 향상은 생각보다 작다.

그래서 스스로 자주 물어야 한다.

"이번 턴이 끝난 뒤 무엇이 더 분명해졌는가?"

이 질문에 답이 없다면, 그 턴은 대개 생산적인 턴이 아니었을 가능성이 크다.

어느 순간에는 더 고치지 말고 멈춰야 한다

대화를 이어 가는 것이 항상 좋은 것은 아니다. 어느 수준 이상에서는 계속 고칠수록 좋아지기보다 흐려질 수 있다. 특히 핵심 문제는 이미 해결되었는데, 이제는 문장 취향만 계속 흔드는 단계라면 멈출 줄도 알아야 한다.

좋은 기준은 이것이다. 지금 수정이 명확한 문제를 해결하는 수정인지, 아니면 막연한 불안 때문에 계속 손대는 수정인지 구분해 보는 것이다. 전자라면 계속해도 좋다. 하지만 후자라면 결과를 망칠 가능성이 있다.

실전에서는 마지막에 이렇게 물으면 도움이 된다.

지금 버전에서 남아 있는 문제가 본질적인지, 아니면 취향 차이에 가까운지 구분해 줘. 본질적 문제만 있다면 그 부분만 고치고, 아니면 이 버전을 마감본 후보로 두자.

이 질문은 끝없는 미세 수정의 늪을 막아 준다. 품질을 높이는 데도 멈출 타이밍이 필요하다.

바로 써먹는 후속 질문 템플릿

처음에는 아래 흐름만 익혀도 충분하다.

방금 결과에서 가장 큰 문제를 하나만 고르자.
그 문제가 구조, 내용, 예시, 톤 중 어디에 속하는지 먼저 말해 줘.
무엇을 유지하고 무엇을 바꿔야 하는지 구분해 줘.
수정 계획을 짧게 제안한 뒤, 그 계획을 반영해 새 버전을 써 줘.
마지막으로 우리가 지금까지 정한 기준에 맞는지도 함께 점검해 줘.

이 템플릿이 좋은 이유는 간단하다. 문제를 하나로 좁히고, 보존할 부분을 정하고, 수정 전에 방향을 맞추고, 수정 후에는 다시 기준에 비춰 보기 때문이다. 멀티턴에서 품질이 오르는 핵심 동작이 다 들어 있다.

이 장의 정리

대화를 여러 번 이어 간다고 해서 결과가 저절로 좋아지지는 않는다. 품질이 올라가는 멀티턴은 우연이 아니라 운영의 결과다. 좋은 후속 질문은 목표를 더 선명하게 만들고, 문제를 분리하고, 좋은 부분을 보존하고, 기준을 조금씩 높인다.

막연한 피드백보다 작동하는 피드백이 낫고, 한 번에 다 고치기보다 층위를 나눠 고치는 편이 낫고, 계속 다시 쓰게 하기보다 유지할 것과 바꿀 것을 구분하는 편이 낫다. 또 비교를 통해 기준을 빠르게 찾고, 피드백을 체크리스트로 누적하면 대화가 길어질수록 결과는 더 안정적으로 좋아진다.

결국 AI와의 멀티턴은 많이 시키는 기술이 아니다. 좋아지는 방향으로 누적되게 만드는 기술이다. 한 턴 한 턴이 이전 턴의 문제를 정확히 줄이고 있다면, 대화 횟수는 부담이 아니라 자산이 된다.

다음 장에서는 대화가 길어졌을 때 기준이 흐려지거나 맥락이 꼬이는 상황을 어떻게 다시 정렬할 수 있는지 살펴보겠다. 잘 개선하는 능력 못지않게, 흔들린 대화를 다시 바로 세우는 능력도 중요하다.