3장. 컨텍스트가 결과를 결정한다

같은 모델을 써도 결과가 다르게 나오는 이유는 생각보다 단순하다. 누군가는 질문만 던지고, 누군가는 일할 바탕부터 깔아 둔다.

많은 사람은 ChatGPT를 똑똑한 답변 기계로 생각한다. 그래서 질문 한 줄만 잘 쓰면 좋은 결과가 나올 것이라 기대한다. 하지만 실전에서는 질문보다 먼저 중요한 것이 있다. 지금 무슨 일을 하는지, 누구를 위해 만드는지, 무엇을 참고해야 하는지, 어디까지 하면 안 되는지 같은 배경정보다.

사람에게 일을 맡길 때를 떠올려 보자. 신입 직원에게 "보고서 하나 써 주세요"라고만 말하면, 그 사람은 일단 움직이긴 하겠지만 십중팔구 당신이 원하는 결과물과는 거리가 멀다. 반면 목적, 독자, 참고 자료, 금지 표현, 마감 형식을 함께 주면 같은 사람도 훨씬 잘한다. ChatGPT도 다르지 않다.

좋은 사용자는 질문을 잘 꾸미는 사람이라기보다, 먼저 필요한 맥락을 잘 깔아 두는 사람이다. 그리고 이 습관은 모델이 바뀌어도 거의 그대로 살아남는다.

컨텍스트는 AI의 책상 위에 올려놓는 자료다

ChatGPT는 겉으로 보면 대화를 계속 기억하는 것처럼 보이지만, 실제 모델은 요청 사이사이에 저절로 당신의 상황을 붙잡고 있는 존재가 아니다. 시스템이 매번 대화 기록과 관련 정보를 다시 붙여 넣어 연속성을 만든다.¹ 다시 말해, AI는 초능력 비서라기보다 그때그때 책상 위에 올려 둔 자료를 보고 일하는 동료에 가깝다.

이 비유를 이해하면 중요한 사실이 보인다. 결과가 흔들리는 이유가 꼭 모델의 성능 부족은 아니라는 점이다. 그냥 책상 위에 필요한 자료가 없었던 것일 수도 있다. 혹은 자료가 너무 많아서 정작 중요한 문서가 서류 더미 아래 깔렸을 수도 있다.

컨텍스트는 많다고 무조건 좋은 것도 아니다. 너무 적으면 얕아지고, 너무 많으면 느려지고 흐려진다. 실제 시스템도 최근 대화, 요약, 시스템 지침 같은 것을 적절히 조합해 문맥을 관리한다.² 사용자의 일도 마찬가지다. 핵심은 많이 넣는 것이 아니라, 필요한 것을 제대로 넣는 것이다.

그래서 컨텍스트 설계는 정보량 싸움이 아니라 선별 능력의 문제다. AI에게 당신의 인생사를 다 말할 필요는 없다. 대신 지금 이 일을 잘하기 위해 꼭 알아야 하는 사실을 먼저 주어야 한다.

좋은 답을 받는 사람이 미리 주는 것들

막상 잘 쓰는 사람들의 화면을 보면 대단한 마법 문장이 있는 경우는 드물다. 대신 반복해서 들어가는 정보가 있다. 형태는 조금씩 달라도 보통 다음 다섯 가지가 들어간다.

• 이 작업의 목적이 무엇인지

• 결과물을 읽을 사람이 누구인지

• 반드시 지켜야 할 조건이 무엇인지

• 참고할 자료와 기준이 무엇인지

• 어떤 형식으로 내놓아야 하는지

예를 들어 "블로그 글 써 줘"와 "30대 직장인을 위한 생산성 글을 써 줘. 광고처럼 보이지 않게 하고, 실제로 바로 따라 할 수 있는 예시를 넣고, 문단은 짧게, 마지막에는 행동 제안 한 줄로 마무리해 줘"는 표면상 비슷한 요청이지만 AI 입장에서는 거의 다른 일이다.

첫 번째 요청은 빈칸이 너무 많다. 톤도, 독자도, 목적도, 완성 기준도 없다. 그래서 답변은 평균으로 미끄러진다. 반면 두 번째 요청은 방향이 생긴다. 누구를 위한 글인지, 무엇을 피해야 하는지, 어느 정도로 실용적이어야 하는지, 끝맺음은 어떻게 해야 하는지가 정해진다.

결국 AI는 똑똑해서 잘하는 것이 아니라, 기준이 생겨서 덜 헤매는 것이다.

실무에서는 여기에 하나를 더 붙이면 품질이 크게 오른다. 바로 "무엇은 하지 말라"는 선이다. 사람도 그렇지만 AI도 하지 말아야 할 것을 들으면 훨씬 안정된다. 예를 들어 과장 금지, 추측은 추측이라고 표시, 출처 없는 숫자 금지, 표보다 문장 우선 같은 기준은 결과물의 흔들림을 줄여 준다.

메모리는 편리함이고, 기본값은 아니다

많은 사람이 메모리를 켜면 ChatGPT가 나를 더 잘 이해한다고 느낀다. 맞는 말이다. 다만 여기서 자주 생기는 오해가 있다. 메모리는 당신의 작업 체계를 대신 설계해 주는 기능이 아니라는 점이다.

OpenAI 도움말도 메모리와 커스텀 인스트럭션을 구분한다. 커스텀 인스트럭션은 사용자가 명시적으로 주는 기본 지침이고, 메모리는 대화 속에서 반복적으로 드러난 선호나 사실을 기억하는 쪽에 가깝다.³ 쉽게 말해 커스텀 인스트럭션이 입사 첫날 건네는 업무 매뉴얼이라면, 메모리는 함께 일하면서 자연스럽게 쌓이는 메모장이다.

이 차이를 모르면 이상한 일이 벌어진다. 항상 지켜야 할 원칙을 메모리에 기대고, 우연히 한두 번 나온 취향을 영구 규칙처럼 다뤄 버린다. 그러면 어느 날은 답이 유난히 잘 맞고, 어느 날은 엉뚱한 방향으로 과하게 친절해지거나 과하게 짧아진다.

메모리는 편리하다. 하지만 설계의 중심은 아니다. 중심은 언제나 사용자가 명시한 기준이어야 한다.

메모리 기능을 켜야 할 사람과 꺼야 할 사람

메모리는 분명 유용하다. 다만 모든 사람에게 늘 좋은 것은 아니다.

메모리를 켜면 좋은 사람은 작업 방식이 비교적 안정적인 사람이다. 예를 들어 늘 한국어로 답을 받고 싶고, 설명은 핵심부터 듣고 싶고, 자주 다루는 주제가 비슷한 사람이라면 메모리는 꽤 큰 편의성을 준다. 매번 "나는 이런 사람이고, 이런 형식을 좋아하고, 이런 수준의 설명을 원한다"를 다시 말하지 않아도 되기 때문이다.

반대로 메모리를 조심해야 하는 사람도 있다. 여러 역할을 오가며 전혀 다른 톤과 기준으로 일하는 사람, 민감한 주제를 자주 다루는 사람, 계정 하나로 개인용과 업무용을 섞어 쓰는 사람은 오히려 메모리가 잡음을 만들 수 있다. 어제까지는 유튜브 대본을 쓰다가 오늘은 이사회 보고서를 쓰는데, 지난 대화의 습관이 오늘 작업에 스며들면 결과가 묘하게 어긋난다.

대체로 이렇게 생각하면 편하다.

• 장기적으로 반복되는 선호와 작업 습관이 있다면 켠다.

• 역할 전환이 잦고 문체가 자주 바뀐다면 신중히 쓴다.

• 민감한 정보나 특정 상황에만 유효한 규칙은 메모리에 기대지 않는다.

그리고 무엇보다 중요한 것은 점검 습관이다. 메모리는 한 번 켜고 잊는 기능이 아니라, 가끔 정리해야 하는 서랍이다. 결과가 자꾸 묘하게 안 맞는다면 질문 실력부터 탓하지 말고, 저장된 메모리부터 의심해 보는 편이 빠르다.

커스텀 인스트럭션은 "항상 유지할 기본값"만 적어라

커스텀 인스트럭션은 메모리보다 더 의도적인 도구다. 내가 누구인지, 어떤 답변 방식을 원하는지, 무엇을 싫어하는지, 어떤 형식을 선호하는지 같은 기준을 미리 알려 주는 장치다.³ 그리고 좋은 지침은 길어서 좋은 것이 아니라, 오래 유지해도 흔들리지 않는 규칙만 담겨 있어서 좋다.

여기서 가장 흔한 실수는 모든 것을 한곳에 몰아넣는 것이다. 오늘만 필요한 조건, 이번 프로젝트에만 해당하는 규칙, 특정 고객 전용 말투까지 전부 넣어 버리면 커스텀 인스트럭션은 금세 쓰레기 서랍이 된다. 그 순간부터 AI는 항상 다른 일을 하는데도 늘 같은 배경음에 시달린다.

좋은 커스텀 인스트럭션에는 보통 네 가지가 있다.

• 나의 역할과 주 사용 언어

• 내가 선호하는 답변 구조

• 자주 싫어하는 표현이나 방식

• 불확실한 내용 처리 원칙

예를 들어 "저는 한국어 사용자이며, 업무 문서와 정보형 글을 자주 작성합니다. 답변은 먼저 핵심 요약을 주고, 그다음 필요한 설명을 이어 주세요. 과장 표현과 근거 없는 일반화는 피하고, 불확실하면 추측이라고 표시해 주세요" 같은 문장은 강하지만 과하지 않다. 거의 모든 대화에 도움이 되면서도 특정 상황에 과하게 묶이지 않는다.

반대로 "매번 2,500자 이상으로 쓰고, 마케팅 톤으로, 20대 여성 타깃으로, 제목 7개 포함" 같은 문장은 기본값이 아니라 오늘의 작업 조건이다. 이런 것은 매 대화나 프로젝트에서 따로 주어야 한다.

지침을 쓸 때는 문장을 멋있게 만드는 것보다 충돌을 없애는 것이 더 중요하다. "짧게 써 달라"와 "상세하게 설명해 달라"를 동시에 넣어 놓고 결과를 탓하는 경우가 의외로 많다. AI는 모순을 감지해 완벽하게 중재하는 존재가 아니라, 일단 둘 다 만족시키려다 어정쩡해지기 쉬운 동료다.

또 하나 유용한 원칙은 행동 기준을 문장으로 쓰는 것이다. OpenAI의 지침 작성 가이드도 무엇을 해야 하고, 무엇을 피해야 하는지, 다단계 작업이면 어떤 순서로 할지를 명확히 쓰라고 권한다.⁴ 즉, "좋게 써 줘"보다 "핵심부터 말하고, 예시는 1개만 들고, 마지막에 실행 제안으로 마무리해 줘"가 훨씬 낫다.

프로젝트 맥락은 전역 설정보다 더 강하다

사람들이 메모리와 커스텀 인스트럭션만 만지다가 자주 놓치는 것이 있다. 바로 일마다 다른 작업실이 필요하다는 사실이다.

책을 쓰는 일과 채용 공고를 쓰는 일은 같은 계정 안에서 벌어져도 완전히 다른 맥락을 가진다. 말투도 다르고, 참고 파일도 다르고, 금지사항도 다르고, 성공 기준도 다르다. 이런 차이를 전부 전역 설정에 담으려 하면 금세 꼬인다.

이럴 때 필요한 것이 프로젝트 단위의 맥락이다. 프로젝트는 관련 대화, 지침, 파일을 한데 묶어 두는 지속적인 작업 공간에 가깝다.⁵ 한마디로, 메모리가 "나라는 사람"을 다루고 커스텀 인스트럭션이 "내 기본 취향"을 다룬다면, 프로젝트는 "지금 이 일의 세계관"을 다룬다.

예를 들어 당신이 이 책을 쓰고 있다고 해 보자. 프로젝트 안에는 이런 것들이 들어갈 수 있다.

• 책의 전체 목차와 독자 수준

• 이미 쓴 챕터 파일

• 문체 원칙과 출처 표기 규칙

• 반복해서 참고할 예시와 금지사항

이렇게 해 두면 새 대화를 열 때마다 처음부터 설명할 필요가 크게 줄어든다. 무엇보다 중요한 것은 맥락의 범위를 제한할 수 있다는 점이다. 블로그 프로젝트의 습관이 제안서 프로젝트로 번지지 않고, 고객 A의 규칙이 고객 B의 문장에 섞이지 않는다.

프로젝트를 잘 쓰는 사람은 AI를 더 똑똑하게 만드는 것이 아니라, 서로 다른 일을 서로 다른 방에 넣는다. 정리가 곧 성능이 되는 셈이다.

좋은 컨텍스트는 3층으로 쌓인다

실전에서 가장 안정적인 구조는 컨텍스트를 한 덩어리로 보지 않는 것이다. 대개 세 층으로 나누면 관리가 쉬워진다.

첫째 층은 전역 기본값이다. 언어, 답변 방식, 불확실성 표시 원칙처럼 거의 모든 대화에 적용되는 기준이 여기 들어간다. 커스텀 인스트럭션과 일부 메모리가 여기에 해당한다.

둘째 층은 프로젝트 맥락이다. 특정 업무, 특정 브랜드, 특정 책, 특정 고객처럼 범위가 분명한 일의 규칙을 둔다. 파일, 용어집, 샘플, 형식 규칙도 여기에 포함된다.

셋째 층은 오늘의 요청이다. 이번 대화에서만 필요한 분량, 독자, 산출물 형식, 마감 조건이 여기에 들어간다.

이 구조가 좋은 이유는 간단하다. 바뀌는 것과 안 바뀌는 것을 분리해 주기 때문이다. 항상 유지할 것, 한동안 유지할 것, 이번에만 필요한 것을 섞지 않으면 AI도 덜 헷갈리고 사용자도 수정할 곳이 분명해진다.

반대로 이 세 층이 섞이면 늘 같은 문제가 생긴다. 전역 설정이 너무 무거워지고, 프로젝트는 비어 있고, 매 대화마다 같은 설명을 반복하게 된다. 그러면 사람은 지치고, 결과는 흔들린다.

컨텍스트를 망치는 흔한 실수

컨텍스트 설계는 많이 한다고 잘되는 일이 아니다. 오히려 몇 가지 실수만 피해도 결과가 크게 좋아진다.

첫째, 관련 없는 정보까지 죄다 넣는 실수다. AI가 똑똑하니까 알아서 중요한 것만 골라 볼 것이라 기대하지만, 실제로는 잡음이 많을수록 기준이 흐려진다. 지금 필요한 배경이 아니라 그냥 손에 잡히는 자료를 전부 밀어 넣으면, 핵심은 오히려 묻힌다.

둘째, 임시 조건을 영구 설정에 넣는 실수다. 오늘만 필요한 고객 규칙, 이번 주만 필요한 캠페인 문구, 특정 문서 전용 형식을 전역 지침에 넣어 두면 다음 작업이 고생한다.

셋째, 예시 없이 추상어만 잔뜩 쓰는 실수다. "전문적으로", "고급스럽게", "센스 있게" 같은 말은 사람끼리도 기준이 다르다. 가능하면 한 문장짜리 예시나 금지 표현을 함께 주는 편이 낫다.

넷째, 오래된 컨텍스트를 방치하는 실수다. 프로젝트가 길어질수록 예전 기준과 지금 기준이 어긋나기 쉽다. 이미 바뀐 브랜드 톤, 폐기한 목차, 지난달 기준 숫자가 남아 있으면 AI는 충성스럽게 옛날 규칙을 따른다. 문제는 AI가 아니라 청소하지 않은 작업실이다.

다섯째, 민감한 정보를 습관처럼 남기는 실수다. 이 장의 초점은 보안이 아니지만, 컨텍스트는 결국 입력 정보다. 일에 꼭 필요하지 않은 개인정보나 민감 정보는 굳이 상시 설정에 넣지 않는 편이 좋다.

한 번 잘 만든 컨텍스트는 모델이 바뀌어도 살아남는다

많은 사람이 새 모델이 나올 때마다 사용법이 완전히 바뀔 것처럼 느낀다. 하지만 실제로 오래 가는 것은 모델 이름이 아니라 컨텍스트 구조다.

예를 들어 당신이 늘 쓰는 글쓰기 세팅이 있다고 해 보자. 한국어 우선, 핵심부터, 과장 금지, 팩트와 해석 구분, 독자 수준은 초중급, 마지막에는 실행 제안. 여기에 프로젝트별로 브랜드 톤과 참고 파일을 얹고, 오늘의 요청으로 분량과 목적만 추가한다. 이 구조는 모델이 바뀌어도 거의 그대로 쓸 수 있다.

왜냐하면 좋은 컨텍스트는 특정 모델의 요령이 아니라, 일을 설명하는 방식이기 때문이다. 일의 목적, 독자, 제약, 기준, 출력 형식은 어느 모델에게 맡겨도 필요한 정보다. 모델이 더 좋아질수록 오히려 이런 맥락을 더 잘 활용한다.

그래서 경쟁력은 "어떤 모델에서 먹히는 문장"을 외우는 데 있지 않다. "내 일을 남이 이해할 수 있게 정리해 두는 능력"에 있다. 이 능력은 AI를 쓸 때만 유용한 것이 아니다. 사람과 협업할 때도 그대로 강점이 된다.

지금 바로 써먹는 컨텍스트 설계 루틴

큰 작업을 맡기기 전에 3분만 써서 아래 순서대로 적어 보자.

• 이 작업의 목적은 무엇인가

• 결과물을 누가 읽는가

• 반드시 지켜야 할 조건은 무엇인가

• 참고할 자료는 무엇인가

• 어떤 형식으로 끝내야 하는가

• 무엇을 하지 말아야 하는가

이 여섯 줄만 있어도 결과는 눈에 띄게 안정된다.

예를 들어 막연한 요청은 이렇다.

발표 자료 초안 만들어 줘.

컨텍스트를 깔면 이렇게 바뀐다.

스타트업 투자자 대상 10장 발표 자료 초안을 만들어 줘. 목적은 다음 미팅에서 후속 검토를 받는 것이다. 독자는 SaaS에 익숙한 초기 투자자다. 제품 설명보다 문제, 시장, 성장 지표를 먼저 보여 줘. 과장된 수식어는 빼고, 숫자는 내가 준 자료 범위 안에서만 사용해 줘. 각 장마다 제목 한 줄과 핵심 메시지 두 줄씩만 써 줘.

이 정도면 이미 질문 기술의 문제가 아니다. 일의 설계가 달라진 것이다.

이 장의 핵심

좋은 답을 받는 사람은 질문을 잘 꾸미는 사람이 아니라, 먼저 필요한 배경을 잘 깔아 두는 사람이다. 컨텍스트는 AI의 책상 위에 올려놓는 자료이며, 많다고 좋은 것이 아니라 맞아야 좋다.

메모리는 장기적으로 반복되는 선호를 편하게 해 주는 기능이지, 모든 규칙을 맡길 곳이 아니다. 커스텀 인스트럭션은 항상 유지할 기본값만 담아야 하고, 프로젝트 맥락은 특정 작업의 세계관을 따로 관리하는 데 써야 한다. 그리고 오늘의 요청은 그 위에 얹는 마지막 층이다.

이 세 층이 정리되면 결과물 품질은 훨씬 덜 흔들린다. 무엇보다 한 번 잘 만든 컨텍스트는 모델이 바뀌어도 계속 살아남는다. 결국 강한 사용자는 질문을 번쩍이게 쓰는 사람이 아니라, AI가 잘 일할 환경을 미리 설계하는 사람이다.

참고

¹How ChatGPT System Design Works: A Complete Guide

²ChatGPT System Design Explained

³Is memory different from Custom Instructions? - OpenAI Help Center

⁴Creating and editing GPTs - OpenAI Help Center

⁵ChatGPT Projects: Advanced Workflows & Best Practices