14장. 빠르게 바뀌는 도구를 따라가는 법

ChatGPT를 오래 쓸수록 이상한 피로가 생긴다. 어제 익숙해진 버튼이 오늘 사라지고, 새 모델 이름이 나오고, 누군가는 이번 업데이트가 혁명이라고 말한다. 며칠 뒤에는 또 다른 기능이 등장한다. 따라가다 보면 마치 러닝머신 위에서 공부하는 기분이 든다. 열심히 뛰는데, 앞으로 간 느낌이 없다.

이때 많은 사람이 두 가지 실수를 한다. 하나는 아예 포기하는 것이다. 어차피 너무 빨리 바뀌니 지금 배우는 건 다 소용없다고 생각한다. 다른 하나는 반대로 모든 변화를 쫓는 것이다. 새 기능이 나오면 바로 써 보고, 비교 글이 나오면 저장하고, 남들이 좋다는 워크플로우를 죄다 흉내 낸다. 둘 다 오래 못 간다.

앞으로 중요한 것은 최신 기능을 가장 빨리 아는 사람이 되는 일이 아니다. 더 중요한 것은 무엇이 바뀌어도 흔들리지 않는 기준을 갖는 일이다. 모델 이름이 바뀌어도, 메뉴 구성이 달라져도, 같은 질문을 할 수 있어야 한다. 이 기능은 내 일을 정말 더 낫게 만드는가. 내가 더 적게 복붙하고 더 많이 판단하게 만드는가. 실수했을 때 검증 가능한가. 6개월 뒤에도 이 방식이 남아 있을까.

이 장은 바로 그 기준에 대한 이야기다.

모델은 계속 바뀐다, 그런데 무엇은 잘 안 바뀐다

AI 도구는 정말 빨리 변한다. 모델 성격이 바뀌고, 인터페이스가 달라지고, 검색이나 앱 연결 같은 기능이 붙는다. 실제로 ChatGPT는 단순한 대화창을 넘어 앱과 연결되는 플랫폼 쪽으로 계속 확장되고 있다.¹ 겉으로 보면 모든 것이 흔들리는 것처럼 보인다.

그런데 실은 잘 안 바뀌는 것도 있다.

첫째, 당신의 일은 여전히 일을 기준으로 돌아간다. 회의 준비, 보고서 초안, 고객 답장, 리서치, 분석, 검토 같은 핵심 업무는 이름만 조금 달라질 뿐 크게 달라지지 않는다.

둘째, 좋은 결과를 만드는 조건도 크게 변하지 않는다. 목표가 분명해야 하고, 맥락이 충분해야 하고, 출력 형식이 정해져 있어야 하며, 사람이 검증할 수 있어야 한다.

셋째, 모델의 능력은 여전히 작업에 따라 들쑥날쑥하다. 어떤 분야에서는 꽤 잘하지만, 어떤 과제에서는 성능 차이가 크고, 관련 없는 문맥이나 긴 꼬리의 예외 조건에 약해질 수 있다.² 즉, 새 모델이 나왔다고 해서 모든 작업이 자동으로 좋아지는 것은 아니다.

이 말은 꽤 위로가 된다. 우리가 배워야 하는 것은 메뉴 위치가 아니라 원리라는 뜻이기 때문이다. 버튼은 바뀌어도, 좋은 사용자의 질문은 비슷하다.

새 모델이 나오면 제일 먼저 해야 할 일

새 모델이 나왔을 때 사람들은 보통 이렇게 묻는다.

"이거 이전 것보다 더 좋나요?"

이 질문은 너무 크다. 마치 새 직원을 보고 "일 잘해요?"라고 묻는 것과 비슷하다. 무슨 일을 시킬지도 모르는데 좋은지 나쁜지를 먼저 판단하려 한다.

더 좋은 질문은 이것이다.

"내가 자주 하는 어떤 일에서, 무엇이 얼마나 좋아졌는가?"

이 질문으로 바꾸면 갑자기 세상이 현실적으로 보인다. 당신에게 중요한 것은 세상의 평균 점수가 아니라, 당신의 반복 업무에서 체감이 오는지 여부다.

예를 들어 글 쓰는 사람이라면 이런 식으로 봐야 한다.

새 모델이 내 문체 모사에서 더 안정적인가. 논지 반박을 더 잘하는가. 초안 속도는 빨라졌는가. 이상한 자신감으로 틀린 인용을 만드는 빈도는 줄었는가.

마케터라면 또 다르다.

카피 여러 개를 빠르게 뽑을 때 더 쓸 만한가. 고객 세그먼트를 나눌 때 기준을 더 명확히 설명하는가. 숫자를 요약할 때 과장된 해석을 덜 하는가.

분석하는 사람도 다르다.

표를 읽는 능력이 좋아졌는가. 계산 실수가 줄었는가. 보고서 초안을 만드는 속도보다, 근거를 빠짐없이 드러내는가.

핵심은 하나다. 모델은 일반적으로 평가하지 말고, 내 반복 작업의 묶음으로 평가하라. 그래야 유행이 아니라 생산성으로 판단할 수 있다.

기능이 나오면 흥분하지 말고, 세 가지부터 보라

새 기능은 늘 반짝인다. 검색이 붙고, 앱이 붙고, 음성이 좋아지고, 협업 기능이 생긴다. 그럴 때 필요한 건 열광이 아니라 분류다.

새 기능이 나왔을 때는 먼저 세 가지를 보자.

• 이 기능이 내 시간을 줄이는가

• 이 기능이 내 판단 품질을 높이는가

• 이 기능이 내 검증 비용을 줄이는가

셋 중 하나도 아니면, 멋져 보여도 당장 내 것이 아닐 가능성이 크다.

예를 들어 웹 검색 기능은 "뭔가 최신 정보를 알려 준다"는 차원에서 보면 신기하다. 하지만 실전에서는 더 구체적으로 봐야 한다. 내가 원래 20분 걸리던 자료 수집을 7분으로 줄여 주는가. 출처를 같이 보여 줘서 검증 시간이 짧아지는가. 아니면 그럴듯한 요약이 늘어나서 오히려 확인 시간이 길어지는가.

앱 연결 기능도 마찬가지다. 화려한 데모만 보면 뭐든 다 될 것 같다. 하지만 내 업무에선 메일 정리 하나가 더 중요할 수 있고, 누군가에겐 캘린더 브리핑이 더 중요할 수 있다. "새 기능이 대단하냐"가 아니라 "내 반복 병목 하나를 없애느냐"가 기준이 되어야 한다.

쉽게 말해, 새 기능은 장난감처럼 체험하지 말고 공구처럼 평가해야 한다.

도구를 따라가지 말고, 작업 카드 세트를 만들어라

빠르게 바뀌는 도구를 따라가는 가장 좋은 방법은 의외로 도구를 덜 의식하는 것이다. 대신 내가 자주 맡기는 일을 몇 장의 카드처럼 정리해 두는 편이 훨씬 강하다.

예를 들어 이런 식이다.

'회의 준비 브리프 만들기', '긴 문서를 1페이지 요약으로 줄이기', '블로그 초안 3개 뽑기', '주장에 대한 반론 찾기', '경쟁사 비교표 만들기', '고객 메일 톤 다듬기', '데이터 요약 후 이상점 질문 만들기'.

이걸 나는 작업 카드라고 부르고 싶다. 각 카드는 모델 이름이 아니라 일의 형태로 정의된다. 그리고 카드마다 네 가지만 붙이면 된다.

무엇을 넣는가, 무엇을 기대하는가, 무엇을 사람이 확인하는가, 무엇이 실패 신호인가.

이렇게 해 두면 새 모델이 나오든 새 앱이 붙든 평가가 쉬워진다. 같은 카드로 돌려 보면 되기 때문이다. 어제는 A 모델로 회의 준비 브리프를 만들었고, 오늘은 B 모델로 만들었다. 어느 쪽이 더 빠르고, 어느 쪽이 빠진 정보를 덜 만들었는지 비교하면 된다.

유행은 늘 추상적으로 말한다. "이번 모델은 추론이 강해요." "이번 기능은 에이전트적이에요." 하지만 실전은 훨씬 덜 멋있다. "우리 팀 회의 준비 시간이 30분에서 10분으로 줄었나?" 바로 이런 질문이 진짜다.

새 기능을 평가할 때는 '데모'가 아니라 '대표 업무'로 테스트하라

사람은 누구나 데모에 약하다. AI가 멋진 표를 만들고, 길고 복잡한 문서를 척척 요약하면 마음이 흔들린다. 그런데 데모는 늘 예쁘게 고른 문제로 만든다. 진짜 일은 그렇게 예쁘지 않다.

그래서 평가의 핵심은 대표 업무다. 내 업무에서 자주 일어나고, 실패했을 때 손해가 보이며, 결과 차이가 눈에 보이는 작업을 골라야 한다.

좋은 테스트 세트는 거창할 필요가 없다. 오히려 작고 현실적일수록 좋다. 예를 들어 다섯 개에서 열 개 정도의 대표 업무만 있어도 충분하다. 중요한 것은 그 업무들이 제각각 다른 성격을 갖고 있어야 한다는 점이다. 요약, 분류, 초안, 비교, 검토, 반론 찾기, 구조화 같은 식으로 말이다.

OpenAI의 모범 사례도 변경 사항을 체계적으로 테스트하라고 권한다. 몇 개 예시가 잘 됐다고 전체가 좋아졌다고 착각하면 안 되고, 대표성 있는 평가셋으로 봐야 한다는 뜻이다.³ 이 원칙은 놀랄 만큼 현실적이다. 사람은 한두 번 잘되면 금방 사랑에 빠지고, 한두 번 망하면 금방 실망하기 때문이다.

도구를 오래 잘 쓰는 사람은 감상으로 판단하지 않는다. 작은 시험판을 돌려 본다.

평가 기준은 감탄이 아니라 점수표여야 한다

"좋아진 것 같아요."

이 말만큼 위험한 평가도 없다. 왜 좋아졌는지 모르면, 다음 업데이트에서 다시 흔들린다.

그러니 새 모델이나 기능을 볼 때는 간단한 점수표를 써야 한다. 어려운 통계까지 갈 필요는 없다. 다만 적어도 다음 정도는 적어 두는 편이 좋다.

정확성, 속도, 일관성, 검증 가능성, 수정 용이성.

정확성은 결과가 맞는가의 문제다. 속도는 체감이 아니라 실제로 시간을 줄였는가의 문제다. 일관성은 같은 유형의 일을 여러 번 시켰을 때 결과 편차가 큰가 작은가를 본다. 검증 가능성은 출처와 근거가 드러나는가를 본다. 수정 용이성은 첫 결과가 완벽하지 않아도, 한두 번 지시로 쓸 만한 상태까지 빨리 다듬어지는가를 본다.

이 다섯 가지만으로도 꽤 많은 것이 정리된다. 어떤 모델은 첫 답이 화려하지만 수정이 잘 안 된다. 어떤 기능은 정확한데 너무 느리다. 어떤 도구는 속도는 빠르지만 검증 비용이 너무 크다. 그러면 선택은 간단해진다. 무엇이 더 좋아 보이느냐가 아니라, 어떤 작업에 어떤 조합이 더 이익이냐를 고르면 된다.

좋은 사용자는 최신 기능을 '우와' 하고 끝내지 않는다. 점수표 앞에 앉힌다.

한 번의 멋진 답보다, 세 번의 안정된 답이 낫다

실전에서는 "가끔 엄청 잘하는 도구"보다 "대체로 안정적인 도구"가 더 가치 있다. 특히 반복 업무에서는 더 그렇다.

흥미롭게도 사용자 스토리 평가 연구에서는 ChatGPT의 출력 안정성을 높이기 위해 같은 작업을 세 번 수행한 뒤 비교하는 'best of three' 전략이 제안되기도 했다.⁴ 이 이야기가 중요한 이유는 단순하다. AI는 한 번 잘했다고 끝나는 도구가 아니라, 때때로 편차를 보이는 동료이기 때문이다.

이 원칙은 거창하게 쓸 필요도 없다. 중요한 검토 업무, 카피 후보 선정, 기준 설계 같은 일에서는 같은 요청을 두세 번 돌려 공통점을 보는 습관만 들여도 된다. 그러면 우연히 잘 나온 한 번의 결과에 속을 가능성이 줄어든다.

물론 매번 세 번씩 돌리라는 뜻은 아니다. 회의 제목 다섯 개 뽑는 데까지 그러면 과하다. 하지만 판단 비용이 큰 일이라면, 한 번의 매끈한 답을 믿기보다 편차를 확인하는 편이 훨씬 낫다.

AI를 잘 쓰는 사람은 한 방의 천재성을 기대하기보다, 반복했을 때 얼마나 믿을 만한지를 본다.

학습은 기능 중심이 아니라 계층적으로 해야 한다

도구가 빨리 바뀔수록, 공부도 층을 나눠서 해야 한다. 모든 것을 같은 무게로 배우면 금방 지친다.

제일 아래층은 변하지 않는 원리다. 작업을 잘 자르는 법, 컨텍스트를 주는 법, 출력 형식을 정하는 법, 검증 지점을 남기는 법 같은 것들이다. 이건 모델이 바뀌어도 남는다.

그 위층은 반복 워크플로우다. 내 직무에서 자주 쓰는 작업 카드 세트, 검토 순서, 승인 지점, 실패 패턴 같은 것들이다. 이것도 꽤 오래 간다.

맨 위층이 기능과 인터페이스다. 버튼 위치, 새 모드 이름, 특정 메뉴 사용법, 특정 앱 연결 방식 같은 것들이다. 이건 가장 빨리 바뀐다.

문제는 많은 사람이 맨 위층부터 공부한다는 점이다. 그래서 늘 새롭고 늘 불안하다. 반대로 아래층부터 단단히 쌓은 사람은 위층이 흔들려도 금방 적응한다. 버튼은 다시 찾으면 되지만, 일을 맡기는 감각은 다시 처음부터 배울 필요가 없기 때문이다.

쉽게 말하면 이렇다. 메뉴얼보다 감각을 먼저 길러야 한다.

새 기능이 나왔을 때 시간을 낭비하지 않는 평가법

새 기능이 나올 때마다 반나절씩 날리는 사람도 많다. 이것저것 눌러 보고, 샘플을 만들고, 감탄한 뒤, 다음 주에는 잊는다. 이 낭비를 줄이려면 평가 순서를 고정해 두는 편이 좋다.

나는 보통 다섯 단계면 충분하다고 본다.

먼저, 이 기능이 해결하려는 문제가 무엇인지 한 문장으로 쓴다. 그다음, 내 작업 카드 중 어떤 것과 연결되는지 고른다. 이어서 대표 업무 두세 개로 짧게 테스트한다. 그 결과를 점수표로 기록한다. 마지막으로, 당장 도입할지, 보류할지, 한 달 뒤 다시 볼지를 결정한다.

이 순서를 지키면 신기함이 줄고 판단이 남는다.

특히 중요한 것은 마지막 단계다. 많은 사람이 테스트까지는 한다. 그런데 도입 결정을 흐릿하게 한다. 그러면 그 기능은 머릿속에 애매한 가능성으로 남아 지속적으로 집중력을 갉아먹는다. 차라리 분명히 정하는 편이 낫다. 지금 당장은 내 일이 아니다. 혹은 리서치 업무에만 제한적으로 쓴다. 혹은 팀 공용 워크플로우에는 아직 넣지 않는다.

도구를 잘 따라가는 사람은 모든 기능을 품지 않는다. 버릴 것을 빨리 정하는 사람이다.

AI 도구를 익히는 데 들이는 시간의 적정선

여기서 꼭 해야 할 얘기가 있다. AI 공부에도 예산이 필요하다.

시간 예산 말이다.

도구가 너무 빨리 바뀌기 때문에, 잘못하면 도구 공부 자체가 새로운 미루기 방식이 된다. 실제 일은 안 하고, 비교 글만 읽고, 새 기능만 체험하고, 유튜브 영상만 저장하는 식이다. 겉으로 보면 부지런한데 결과는 없다.

그래서 스스로 상한선을 정해 두는 편이 좋다. 예를 들어 개인 사용자라면 일주일에 한 번, 30분에서 60분 정도만 새 기능을 점검해도 충분하다. 팀이라면 한 사람이 먼저 짧게 테스트하고, 살아남은 것만 공유하는 편이 효율적이다. 모두가 각자 반나절씩 실험하는 것은 대개 낭비다.

중요한 것은 공부 시간이 아니라 실전 반영률이다. 지난달에 배운 것 중 실제로 반복 사용하게 된 것이 몇 개인가. 여기에 답을 못 하면, 지금은 너무 많이 배우고 있는 것이다.

도구 학습의 목표는 박식해지는 것이 아니라, 일의 마찰을 줄이는 것이다.

결국 따라가야 하는 것은 모델이 아니라 판단 기준이다

이 장의 핵심은 아주 단순하다.

모델은 계속 바뀐다. 기능도 계속 바뀐다. 플랫폼의 모양도 계속 넓어진다.¹ 하지만 그렇다고 매번 처음부터 다시 시작할 필요는 없다. 우리가 붙잡아야 하는 것은 이름이 아니라 기준이다.

새 도구를 보면 먼저 내 반복 업무를 떠올릴 것. 데모가 아니라 대표 업무로 시험할 것. 감탄이 아니라 점수표로 비교할 것. 한 번의 멋진 답보다 안정성과 검증 가능성을 볼 것. 공부는 원리, 워크플로우, 기능의 순서로 할 것. 그리고 무엇보다, 버릴 기능을 빨리 정할 것.

이 기준만 있으면 6개월 뒤에도 크게 흔들리지 않는다. 모델 이름은 달라질 수 있다. 요금제도 바뀔 수 있다. 메뉴 위치도 달라질 수 있다. 하지만 당신은 여전히 같은 방식으로 물을 수 있다.

이것이 내 일을 더 빠르게 하는가.

이것이 내 판단을 더 좋게 하는가.

이것이 내가 검증할 수 있는 결과를 주는가.

이 세 질문에 답할 수 있다면, 당신은 이미 유행을 쫓는 사용자가 아니다. 변화를 이용하는 사용자다.

이 장의 핵심

빠르게 바뀌는 AI 도구를 잘 따라가는 사람은 새 기능을 많이 아는 사람이 아니라, 새 기능을 같은 기준으로 평가할 수 있는 사람이다. 모델 이름보다 중요한 것은 내가 자주 하는 반복 업무를 기준으로 테스트하는 일이다.

데모에 감탄하지 말고 대표 업무로 비교하라. 느낌으로 판단하지 말고 정확성, 속도, 일관성, 검증 가능성, 수정 용이성 같은 점수표를 써라. 중요한 업무일수록 한 번의 화려한 답보다 반복했을 때의 안정성을 보라.

그리고 공부에도 순서가 있다. 가장 오래가는 것은 원리와 워크플로우이고, 가장 빨리 낡는 것은 기능과 인터페이스다. 이 순서를 거꾸로 배우지 않는 사람만이 변화 속에서도 덜 흔들린다.

참고

¹Introducing apps in ChatGPT and the new Apps SDK - OpenAI

²Is Information Extraction Solved by ChatGPT? An Analysis of Performance, Evaluation Criteria, Robustness and Errors

³OpenAI의 GPT 모범 사례: 전략6. 변경 사항을 체계적으로 테스트하기

⁴ChatGPT as a Tool for User Story Quality Evaluation: Trustworthy Out of the Box?