3부 10장. 컨텍스트란 무엇인가

프롬프트를 배우다 보면 많은 사람이 이렇게 생각한다. "질문만 잘 쓰면 된다." 물론 맞는 말이다. 하지만 절반만 맞다. AI는 질문 한 줄만 보고 움직이지 않는다. 그 질문이 어떤 대화 속에서 나왔는지, 앞에서 무슨 이야기가 오갔는지, 어떤 자료가 함께 주어졌는지, 무엇을 목표로 하는지까지 함께 본다. 바로 이 전체가 컨텍스트다.

이 장에서 가장 먼저 잡아야 할 핵심은 단순하다. 컨텍스트는 배경 설명이 아니다. 장식도 아니다. 모델이 지금 이 순간 무엇을 판단하고 어떤 답을 만들지 결정할 때 실제로 사용하는 정보의 총합이다. 이 정의를 이해하면, 왜 같은 질문에도 AI가 전혀 다른 답을 하는지 비로소 선명하게 보이기 시작한다.

컨텍스트는 '주변 정보'가 아니라 '판단 재료'다

일상에서 컨텍스트라는 말을 들으면 흔히 "상황"이나 "배경" 정도로 생각한다. 틀린 말은 아니지만, AI를 다룰 때는 조금 더 정확해야 한다. AI에게 컨텍스트는 참고용 분위기가 아니라 판단의 재료다.

예를 들어 누군가가 AI에게 "이 문장 고쳐줘"라고 말했다고 하자. 이때 AI는 무엇을 고쳐야 하는가? 맞춤법을 고쳐야 하는가, 더 부드럽게 써야 하는가, 더 짧게 줄여야 하는가, 발표용 말투로 바꿔야 하는가, 상사에게 보내는 메일답게 바꿔야 하는가. 질문만 보면 정답은 하나가 아니다.

그런데 바로 앞 대화에 "고객사에 보내는 사과 메일인데 너무 공격적으로 들리지 않게 바꿔줘"가 있었다면, 같은 "이 문장 고쳐줘"라는 요청도 완전히 다른 의미를 갖는다. AI는 문장 자체만이 아니라, 지금 이 요청이 놓인 맥락 전체를 보고 움직인다.

즉, 컨텍스트는 질문의 옆에 붙는 부연 설명이 아니다. 질문의 의미를 결정하는 틀이다.

같은 질문인데 왜 답이 달라질까

AI를 처음 쓸 때 가장 신기하면서도 답답한 경험이 있다. 어제는 잘 되던 질문이 오늘은 잘 안 된다. 비슷하게 물었는데도 어떤 때는 훌륭한 답이 나오고, 어떤 때는 엉뚱한 답이 나온다. 많은 사람은 이를 모델의 변덕처럼 느끼지만, 실제로는 컨텍스트 차이인 경우가 많다.

예를 들어 "요약해줘"라는 요청은 혼자서는 거의 의미가 없다. 무엇을, 누구를 위해, 얼마나 짧게, 어떤 관점으로 요약해야 하는지가 빠져 있기 때문이다. 같은 요청이라도 논문을 요약하는지, 회의록을 요약하는지, 법률 문서를 요약하는지에 따라 결과는 달라진다. 더 나아가 독자가 초등학생인지, 팀장인지, 투자자인지에 따라 좋은 요약의 기준도 달라진다.

즉 질문은 같아 보여도, AI가 보고 있는 입력 환경이 다르면 실제로는 다른 문제를 푸는 셈이다. 사람도 마찬가지다. 누군가가 회의실에서 "정리해 주세요"라고 말했을 때와, 이삿짐 센터에서 "정리해 주세요"라고 말했을 때 수행해야 할 행동은 전혀 다르다. 말은 같지만 상황이 다르기 때문이다.

AI도 똑같다. 다만 사람처럼 눈치로 상황을 파악하는 능력이 제한적이기 때문에, 그 상황을 텍스트와 자료로 더 또렷하게 줘야 한다.

AI에게 컨텍스트는 무엇으로 이루어지는가

많은 사용자는 컨텍스트를 길게 붙여 넣은 설명문 정도로 생각한다. 하지만 실제로는 훨씬 넓다. AI가 현재 답변을 만들 때 참고하는 거의 모든 것이 컨텍스트에 들어간다.

대표적으로는 다음과 같은 것들이 있다.

• 사용자의 현재 질문

• 이전 대화의 내용과 흐름

• 함께 첨부된 문서, 표, 코드, 이미지

• 역할, 목표, 제약, 형식 같은 지시

• 도구 사용 결과나 중간 산출물

• 작업의 대상 독자, 목적, 상황 정보

여기서 중요한 점은, 이 요소들이 따로따로 존재하는 것이 아니라 서로 영향을 주며 의미를 만든다는 사실이다. 예를 들어 "쉽게 설명해줘"라는 지시도, 대상이 초보 개발자인지 초등학생인지에 따라 전혀 다른 난이도를 뜻한다. 같은 단어라도 주변 정보와 결합되어 의미가 정해진다.

그래서 컨텍스트를 이해한다는 것은 단지 정보를 많이 붙이는 법을 배우는 것이 아니다. 어떤 정보가 지금 판단에 실제로 영향을 미치는지, 무엇이 핵심이고 무엇이 잡음인지 구분하는 감각을 기르는 것이다.

프롬프트와 컨텍스트는 어떻게 다른가

이쯤에서 자연스럽게 이런 질문이 나온다. "그럼 프롬프트와 컨텍스트는 뭐가 다른가?"

간단히 말하면 프롬프트는 컨텍스트의 일부다. 프롬프트는 사용자가 직접 건네는 지시 문장이나 요청이다. 반면 컨텍스트는 그 프롬프트를 포함해, AI가 현재 판단에 사용하는 전체 환경이다.

비유해 보자. 프롬프트가 요리사에게 건네는 주문서라면, 컨텍스트는 주문서뿐 아니라 손님이 누구인지, 알레르기가 있는지, 지금 점심 장사인지 저녁 코스인지, 주방에 어떤 재료가 있는지까지 포함한 주방 전체 상황이다. 주문서가 좋아도 상황을 모르고 요리하면 엉뚱한 결과가 나온다.

이 차이를 이해하면 왜 프롬프트만 다듬어서는 해결되지 않는 문제가 있는지도 보인다. 질문 문장을 아무리 고쳐도, AI가 보고 있는 자료가 부정확하거나, 대화가 이미 잘못된 방향으로 흘렀거나, 작업 목표가 모호하면 결과는 계속 흔들린다. 문제는 질문 문장이 아니라 컨텍스트 구조 전체에 있을 수 있다.

컨텍스트는 답의 '방향'뿐 아니라 '기준'도 바꾼다

컨텍스트는 단순히 답변 주제를 정하는 데만 쓰이지 않는다. 무엇을 좋은 답이라고 볼지 그 기준도 바꾼다.

예를 들어 "이 기획안 평가해줘"라는 요청을 보자. 투자자 관점에서 평가하는지, 실무자 관점에서 평가하는지, 고객 관점에서 평가하는지에 따라 장점과 약점이 달라진다. 투자자는 시장성과 수익성을 먼저 볼 수 있고, 실무자는 실행 가능성과 리소스를 먼저 볼 수 있으며, 고객은 편의성과 가치 체감을 먼저 본다.

즉 컨텍스트는 답의 내용만 바꾸는 것이 아니다. 어떤 렌즈로 볼지를 정한다. 더 정확히 말하면, AI가 채점표를 무엇으로 설정할지를 결정한다.

이것이 중요한 이유는 많은 사용자가 AI의 답이 "맞냐 틀리냐"만 따지기 때문이다. 실제 실무에서는 그보다 "누구의 관점에서 쓴 답인가", "어떤 기준으로 정리한 답인가"가 더 중요할 때가 많다. 컨텍스트를 잘 주는 사람은 질문만 던지지 않는다. 평가 기준까지 함께 설계한다.

보이지 않는 컨텍스트가 결과를 흔든다

초보 사용자는 눈에 보이는 프롬프트만 신경 쓴다. 하지만 실제로는 보이지 않는 컨텍스트가 결과를 크게 바꾸는 경우가 많다.

가령 긴 대화를 나누다 보면 초반에 설정한 목표가 중간에 잊히기도 한다. 처음에는 "블로그용 글"을 쓰다가, 중간에는 "발표 자료용 요약"을 요구하고, 마지막에는 "대표님께 보고할 한 페이지 메모"를 원하게 된다. 사용자는 머릿속에서 이미 목적을 바꿨지만, AI는 대화 전체를 보고 이전 맥락을 여전히 참고한다. 그러면 톤도 섞이고, 구조도 어정쩡해지고, 결과물이 애매해진다.

또 어떤 경우에는 사용자가 문서를 여러 개 붙여 넣으면서 서로 다른 기준을 한 번에 집어넣는다. 하나는 오래된 정책 문서이고, 하나는 최신 메모이며, 하나는 개인 의견이다. 이 셋의 관계를 설명하지 않으면 AI는 무엇을 우선해야 할지 알기 어렵다. 그러면 그럴듯하지만 어딘가 불안한 답이 나온다.

이런 문제는 AI가 멍청해서가 아니라, 판단 재료가 뒤섞였기 때문에 생긴다. 사람도 마찬가지다. 회의 자료에 작년 숫자, 올해 가정, 개인 추정치가 섞여 있으면 누구라도 헷갈린다.

좋은 컨텍스트는 많이 주는 것이 아니라 잘 정리하는 것이다

컨텍스트를 배울 때 흔히 빠지는 함정이 있다. "그럼 정보를 최대한 많이 넣으면 되겠네?"라는 생각이다. 하지만 좋은 컨텍스트는 많은 컨텍스트와 다르다.

AI는 정보가 많다고 무조건 똑똑해지지 않는다. 중요한 정보가 묻히면 오히려 성능이 떨어진다. 핵심과 주변이 구분되지 않으면, 모델은 무엇을 중심으로 답해야 하는지 헷갈리기 쉽다. 마치 시험 직전에 핵심 개념 정리 대신 교과서, 필기, 잡담 메모, 광고지까지 한꺼번에 책상 위에 올려두는 것과 비슷하다. 재료는 많지만 집중은 안 된다.

좋은 컨텍스트는 대체로 세 가지 특징을 가진다.

• 작업 목표가 분명하다.

• 참고해야 할 정보의 우선순위가 정리되어 있다.

• 출력의 기준과 사용 맥락이 또렷하다.

예를 들어 단순히 "다음 자료를 보고 보고서 써줘"라고 말하는 것보다, "아래 세 문서 중 1번이 최신 기준이고 2번은 보조 참고용이며 3번은 반대 의견 사례다. 경영진이 5분 안에 읽을 수 있도록 한 페이지 분량으로 정리해줘"라고 말하는 편이 훨씬 강한 컨텍스트다. 정보량이 많아서가 아니라, 의미 구조가 정리되어 있기 때문이다.

컨텍스트는 모델의 '현재 작업 공간'이다

컨텍스트를 더 직관적으로 이해하려면, 이를 모델의 현재 작업 공간이라고 생각하면 좋다. 지금 눈앞 책상 위에 올라와 있는 자료, 방금 들은 지시, 방금까지의 대화 흐름, 이번 작업의 목표가 한데 놓여 있는 공간 말이다.

사람이 일을 할 때도 작업 공간이 엉망이면 실수하기 쉽다. 해야 할 일 목록, 참고 문서, 메모, 피드백이 정리되지 않으면 같은 능력을 가진 사람도 결과가 흔들린다. AI도 비슷하다. 모델 성능 자체도 중요하지만, 그 모델이 어떤 작업 공간 위에서 일하고 있는지가 못지않게 중요하다.

이 비유가 유용한 이유는 책임의 위치를 바꿔 주기 때문이다. 많은 사람은 결과가 나쁘면 곧바로 모델 탓을 한다. 하지만 실제로는 작업 공간 설계가 문제인 경우가 많다. 책상 위를 어수선하게 만들어 놓고 비서를 탓하는 것과 비슷하다.

같은 모델을 써도 누가 더 잘 쓰는가의 차이

왜 어떤 사람은 같은 AI로 늘 좋은 결과를 만들고, 어떤 사람은 비슷한 모델을 써도 만족하지 못할까. 이 차이는 프롬프트 문장력보다 컨텍스트 설계 능력에서 갈리는 경우가 많다.

잘 쓰는 사람은 처음부터 모든 걸 장황하게 설명하지 않는다. 대신 지금 필요한 정보가 무엇인지 고른다. 작업 목표를 정하고, 배경을 붙이고, 참고 자료의 우선순위를 정하고, 원하는 결과물의 형태를 지정한다. 필요하면 중간에 다시 정렬한다. 쉽게 말해, AI가 일할 수 있는 환경을 만들어 준다.

반면 잘 안 되는 경우는 대체로 둘 중 하나다. 정보가 너무 적어서 AI가 추측하게 만들거나, 정보가 너무 뒤섞여서 AI가 헤매게 만든다. 전자는 빈 작업 공간이고, 후자는 지저분한 작업 공간이다. 둘 다 결과 품질을 떨어뜨린다.

컨텍스트를 보는 순간, AI 활용의 관점이 달라진다

이 장 앞부분까지의 내용을 한 문장으로 묶으면 이렇다. AI 활용은 좋은 문장을 쓰는 기술이 아니라, 올바른 판단 재료를 제공하는 기술이다.

이 관점이 생기면 사용 방식 자체가 달라진다. 더 이상 "마법의 프롬프트"를 찾으려 하지 않게 된다. 대신 이런 질문을 하게 된다.

• 지금 AI가 이 일을 하기 위해 알아야 할 핵심은 무엇인가?

• 무엇이 가장 중요한 기준이고, 무엇은 참고용인가?

• 이 답은 누구를 위한 것이며 어디에 쓰일 것인가?

• 앞 대화의 어떤 내용은 유지하고, 어떤 내용은 버려야 하는가?

이 질문들은 프롬프트 문장을 예쁘게 다듬는 질문이 아니다. 작업 환경을 설계하는 질문이다. 그리고 바로 이 지점에서 프롬프트 중심 사고가 컨텍스트 중심 사고로 넘어간다.

실전에서 바로 느껴지는 예시

아주 짧은 예시를 하나 보자.

사용자 요청이 단순히 "회의 요약해줘"라면, AI는 보통 무난한 요약을 내놓는다. 하지만 이 요청이 다음과 같이 바뀌면 결과가 달라진다.

"아래는 제품팀 주간 회의록이다. CTO에게 보고할 용도로 요약해줘. 세부 논의보다 결정 사항, 미해결 이슈, 다음 주 액션 아이템이 중요하다. 한눈에 읽히게 항목별로 정리해줘."

질문이 길어져서 좋은 것이 아니다. AI가 어떤 기준으로 중요도를 판단해야 하는지가 분명해졌기 때문에 좋은 것이다. 같은 회의록이라도 팀원용 요약, 임원용 요약, 외부 파트너용 요약은 달라져야 한다. 요약 대상이 같아도 사용 목적이 다르면 좋은 답의 모양도 달라진다. 이것이 컨텍스트의 힘이다.

앞으로 배우게 될 것들

이 장에서는 컨텍스트를 먼저 개념적으로 잡았다. 핵심은 분명하다. 컨텍스트는 단순한 배경 설명이 아니라, 모델이 현재 판단에 사용하는 정보의 총합이다. 그리고 AI의 답은 질문 한 줄만으로 결정되지 않는다. 대화의 흐름, 첨부 자료, 목표, 제약, 독자, 우선순위 같은 요소들이 함께 답을 만든다.

이제 다음 장들에서는 이 개념을 더 구체적으로 파고들게 된다. AI가 얼마나 많은 문맥을 한 번에 다룰 수 있는지, 정보를 많이 넣는다고 왜 항상 좋아지지 않는지, 문서와 자료를 어떻게 정리해서 넣어야 하는지, 긴 작업에서 문맥을 어떻게 유지해야 하는지를 하나씩 살펴볼 것이다.

프롬프트는 여전히 중요하다. 그러나 프롬프트는 출발점일 뿐이다. AI를 정말 잘 쓰는 사람은 문장을 던지는 사람이 아니라, 맥락을 설계하는 사람이다.