3부 11장. AI의 작업 기억과 컨텍스트 윈도우

지난 장에서 우리는 컨텍스트를 배경 설명이 아니라 AI가 판단에 사용하는 재료 전체로 보아야 한다고 이야기했다. 이제 한 걸음 더 들어가 보자. 그렇다면 AI는 그 재료를 어디까지 볼 수 있을까. 그리고 본 정보들을 어떤 방식으로 "기억"할까.

많은 사람이 AI와 대화를 오래 나누다 보면 이상한 경험을 한다. 분명 아까 말했던 조건을 잊어버리는 것 같고, 처음에 정한 목적과 다른 방향으로 흘러가기도 한다. 어떤 때는 방금 전까지 잘 지키던 형식을 슬쩍 놓치기도 한다. 이때 사람들은 흔히 "기억력이 안 좋네"라고 말한다.

그 말은 틀리지 않다. 다만 더 정확하게 말하면, AI의 기억은 우리가 생각하는 사람의 기억과 다르다. AI는 사람처럼 머릿속 어딘가에 안정적으로 보관된 장기 기억을 꺼내 쓰는 존재가 아니다. 적어도 일반적인 사용 환경에서는, 지금 눈앞에 들어와 있는 정보 범위 안에서 작업하는 존재에 가깝다. 이 장에서는 바로 그 차이를 이해해 보려 한다.

AI의 기억은 사람의 기억과 다르다

사람은 어제 읽은 책 내용을 대충 떠올릴 수 있고, 한 달 전에 들은 이야기의 인상도 남겨 둘 수 있다. 물론 정확하진 않아도, 중요한 맥락은 장기 기억 속에 어느 정도 축적된다. 반면 AI는 그렇게 움직이지 않는다.

AI에게 더 가까운 비유는 이런 것이다. 아주 똑똑한 조수가 있는데, 지금 책상 위에 펼쳐진 자료와 방금 들은 지시만 보고 일을 한다고 생각해 보자. 그 조수는 추론도 잘하고 글도 잘 쓴다. 하지만 책상에서 치워진 자료는 다시 직접 보여 주지 않으면 쓸 수 없다. 예전에 봤던 내용이 있더라도, 지금 작업 공간에 올라와 있지 않으면 판단에서 멀어질 수 있다.

이때 책상 위 공간의 크기가 바로 컨텍스트 윈도우이고, 그 공간 안에서 현재 작업에 필요한 내용을 붙들고 계산하는 능력을 작업 기억이라고 이해하면 쉽다.

즉, AI는 "영원히 기억하는 존재"라기보다 "현재 작업 공간 안에서 매우 빠르게 읽고 정리하고 연결하는 존재"에 더 가깝다.

컨텍스트 윈도우란 무엇인가

컨텍스트 윈도우는 AI가 한 번의 처리 과정에서 볼 수 있는 정보의 범위다. 쉽게 말해, 지금 이 순간 모델의 눈앞에 놓일 수 있는 텍스트의 총량이다.

여기에는 사용자가 방금 입력한 질문만 들어가지 않는다. 보통 다음과 같은 것들이 함께 들어간다.

• 현재 질문

• 이전 대화 내용

• 시스템 지시나 기본 규칙

• 첨부한 문서, 코드, 표, 메모

• 도구 실행 결과나 중간 산출물

중요한 점은 이 모든 것이 같은 공간을 차지한다는 사실이다. 사용자는 "문서를 많이 넣었으니 좋겠지"라고 생각할 수 있지만, 실제로는 문서가 많아질수록 대화 기록이나 지시문이 차지할 수 있는 여유가 줄어든다. 반대로 대화가 너무 길어지면, 처음 넣어 둔 핵심 자료가 상대적으로 밀려날 수 있다.

그러니 컨텍스트 윈도우는 단순히 "길게 넣을 수 있는 입력 칸"이 아니다. 무엇을 남기고 무엇을 줄일지 선택해야 하는 제한된 작업 공간이다.

작업 기억은 무엇을 뜻하는가

컨텍스트 윈도우가 책상 크기라면, 작업 기억은 그 책상 위에서 실제로 손에 잡고 다루는 메모 묶음에 가깝다.

AI는 윈도우 안에 들어온 정보를 모두 똑같은 중요도로 붙잡고 있는 것이 아니다. 어떤 것은 핵심 지시로 반영하고, 어떤 것은 배경 정보로만 참고하며, 어떤 것은 사실상 잘 활용하지 못하기도 한다. 즉, "들어왔다"와 "효과적으로 쓰였다"는 같은 말이 아니다.

이 차이를 이해하는 것이 중요하다. 많은 사용자가 "분명 넣어 줬는데 왜 반영이 안 됐지?"라고 묻는다. 그 이유는 대개 둘 중 하나다. 아예 현재 작업 공간에서 멀어졌거나, 들어와는 있었지만 다른 정보에 비해 중요도가 낮게 처리된 것이다.

사람도 비슷하다. 회의에서 자료를 50장 받았다고 해서 50장을 똑같이 붙들고 말할 수는 없다. 결국 핵심 몇 개를 중심으로 판단한다. AI도 마찬가지다. 다만 사람보다 훨씬 많은 정보를 빠르게 다룰 수는 있어도, 무한정 모든 것을 완벽히 붙들고 있지는 못한다.

"기억한다"는 말에 숨어 있는 오해

AI를 쓸 때 가장 자주 생기는 오해 중 하나는 이것이다. "이 대화에서 내가 말했으니 이제 계속 기억하겠지."

부분적으로는 맞고, 부분적으로는 틀리다.

대화가 짧고 작업 범위가 단순할 때는 이전 메시지가 현재 컨텍스트 안에 그대로 들어 있기 때문에, AI가 앞서 말한 내용을 기억하는 것처럼 보인다. 하지만 대화가 길어지고 자료가 많아지면 상황이 달라진다. 예전에 했던 말이 윈도우 바깥으로 밀려나거나, 남아 있어도 중심 정보가 아니게 될 수 있다.

그래서 AI의 기억은 정확히 말하면 "항상 유지되는 기억"이 아니라 현재 컨텍스트에 의해 유지되는 기억이다. 눈앞에 있으면 기억하는 것처럼 보이고, 작업 공간에서 멀어지면 흐려지는 것이다.

이 차이를 모르면 사용자는 괜히 실망한다. "아까 말했잖아"라고 느끼지만, 모델 입장에서는 그 말이 지금 작업 공간의 핵심이 아닐 수 있다. 사람에게는 답답하지만, 시스템 관점에서는 자연스러운 일이다.

컨텍스트 윈도우가 커지면 모든 문제가 해결될까

처음 이 개념을 배우면 이렇게 생각하기 쉽다. "그럼 컨텍스트 윈도우가 큰 모델만 쓰면 되는 것 아닌가?"

반은 맞고, 반은 틀리다.

윈도우가 커지면 확실히 유리한 점이 있다. 긴 문서를 한 번에 넣기 쉽고, 긴 대화도 더 오래 유지할 수 있으며, 앞서 나온 조건을 잃어버릴 가능성도 줄어든다. 하지만 윈도우가 크다고 해서 정보 활용이 자동으로 좋아지는 것은 아니다.

책상이 커졌다고 일이 저절로 정리되지는 않는다. 오히려 큰 책상 위에 자료를 아무렇게나 펼쳐 두면 더 혼란스러울 수도 있다. AI도 비슷하다. 볼 수 있는 범위가 넓어져도, 핵심과 잡음이 섞여 있으면 판단은 흐려질 수 있다.

즉, 큰 컨텍스트 윈도우는 분명 강력한 장점이지만, 그것만으로 끝나는 해결책은 아니다. 결국 중요한 것은 얼마나 많이 넣느냐보다 무엇을 어떻게 넣느냐다.

모델은 무엇을 잘 기억하고, 무엇을 놓치기 쉬운가

실무 감각을 위해서는 추상적인 설명보다, 어떤 정보가 잘 유지되고 어떤 정보가 자주 흐려지는지 감을 잡는 것이 좋다.

대체로 AI는 현재 요청과 직접 연결된 정보, 최근 대화, 명확하게 반복된 제약, 구조적으로 잘 정리된 지시를 비교적 잘 따른다. 반면 초반에 한 번만 지나간 조건, 문서 속에 깊이 묻힌 세부사항, 서로 충돌하는 규칙, 중요도 표시 없이 길게 붙여 넣은 정보는 놓치기 쉽다.

예를 들어 처음에 "항상 한국어로, 5개 항목 이내로, 임원 보고용 톤으로 작성해 달라"고 말했더라도, 그 뒤로 긴 자료가 여러 차례 오가고 작업 목표가 계속 바뀌면 그 조건은 점점 약해질 수 있다. 반대로 바로 직전에 "이번 답변은 300자 이내로만"이라고 말하면 더 잘 반영되는 경우가 많다.

이것은 AI가 게으르기 때문이 아니라, 현재성과 명확성에 더 크게 반응하기 때문이다.

대화가 길어질수록 왜 방향이 흐려질까

처음에는 분명했다. 블로그 글을 쓰려 했고, 독자는 초보자였고, 톤은 친절하고 가벼웠다. 그런데 몇 번의 질문과 수정이 지나고 나면 어느 순간 문서는 보고서 같아지고, 어느 부분은 강의안 같아지고, 어떤 문장은 홍보문처럼 보인다. 이런 현상은 아주 흔하다.

이유는 간단하다. 긴 대화에서는 새로운 지시가 계속 추가된다. 그러면 이전 목적과 새로운 요구가 뒤섞인다. 게다가 예전 지시는 뒤로 밀려나고, 최근 지시는 강하게 작용한다. 결국 AI는 대화 전체의 평균값 같은 답을 내놓기 쉽다. 그래서 톤이 섞이고, 목적이 흐려지고, 구조가 흔들린다.

사람과 함께 일할 때도 비슷하다. 회의가 길어질수록 처음 의제가 희미해지고, 이것저것 의견이 붙으면서 결론이 탁해진다. AI와의 멀티턴 대화에서도 같은 일이 벌어진다.

따라서 긴 대화에서 중요한 것은 무조건 계속 이어 가는 것이 아니라, 주기적으로 다시 정렬하는 것이다.

실무에서 보이는 대표적인 증상들

컨텍스트 윈도우와 작업 기억의 한계를 이해하면, 왜 아래와 같은 일이 생기는지 설명이 된다.

• 처음에 정한 형식을 중간부터 지키지 않는다.

• 문서의 오래된 정보와 최신 정보를 섞어 쓴다.

• 초반에 설정한 독자 수준을 잊고 갑자기 어렵게 설명한다.

• 이미 결정한 방향을 뒤집고 다시 제안한다.

• 같은 내용을 반복하거나, 방금 한 말을 스스로 모순되게 바꾼다.

이 증상들은 종종 모델의 "지능 부족"처럼 보이지만, 실제로는 작업 공간 관리 문제인 경우가 많다. 정보가 너무 많거나, 우선순위가 불분명하거나, 오래된 맥락이 계속 끌려오거나, 중요한 기준이 최근 대화에서 희석된 것이다.

즉, 모델만 바꾸기 전에 먼저 봐야 할 것은 현재 컨텍스트 구조다.

작업 기억을 돕는 가장 쉬운 방법

AI를 잘 쓰는 사람은 모델이 모든 것을 완벽하게 기억해 주길 기대하지 않는다. 대신 작업 기억을 돕는 방식으로 대화를 설계한다.

가장 쉬운 방법은 중요한 것을 다시 꺼내 주는 것이다. 사람도 바쁠 때는 핵심을 다시 적어 줘야 덜 헷갈린다. AI도 마찬가지다. 특히 긴 작업일수록 "현재 목표", "반드시 지킬 조건", "참고할 최신 자료", "이번 단계의 산출물"을 다시 정리해 주는 것이 큰 차이를 만든다.

실전에서 효과적인 습관은 대체로 다음과 같다.

• 긴 대화 중간중간 핵심 목표를 다시 한 줄로 정리한다.

• 문서 여러 개를 넣을 때는 최신본과 보조 참고 자료를 구분해 준다.

• 이전 대화 전체를 믿기보다, 현재 단계에 필요한 정보만 다시 묶어 준다.

• 중요한 제약은 문장 속에 묻지 말고 분명하게 적는다.

• 작업이 길어질수록 중간 요약본을 만들어 다음 단계의 출발점으로 쓴다.

이 다섯 가지만 습관이 되어도, "왜 자꾸 잊지?"라는 답답함이 크게 줄어든다.

긴 문서를 다룰 때 특히 조심할 점

컨텍스트 윈도우 이야기는 긴 문서를 다룰 때 더 중요해진다. 사용자는 종종 보고서, 회의록, 기사 모음, 정책 문서, 메모를 한꺼번에 넣고 "정리해 줘"라고 말한다. 그러면 AI가 모든 내용을 골고루 정확히 반영해 줄 것 같지만, 실제로는 그렇지 않을 수 있다.

긴 문서 안에는 중요도가 다른 정보가 섞여 있다. 최신 정책과 오래된 초안이 같이 있을 수도 있고, 확정된 사실과 개인 의견이 섞여 있을 수도 있다. 그런데 이를 설명하지 않으면 AI는 무엇을 중심에 놓아야 할지 알기 어렵다.

이때 필요한 것은 문서를 많이 넣는 기술보다, 문서를 읽는 기준을 먼저 주는 기술이다. 예를 들어 "1번 문서가 공식 기준이고, 2번은 배경 설명이며, 3번은 반론 사례다"라고 말해 주면 AI의 작업 기억은 훨씬 안정된다. 그냥 다 넣는 것보다, 의미 구조를 함께 주는 편이 훨씬 강력하다.

멀티턴 작업에서 기억을 유지하는 요령

앞으로 멀티턴 대화 장에서 더 자세히 다루겠지만, 여기서 기본 감각은 꼭 잡아 두는 편이 좋다. 긴 작업에서는 대화를 끊김 없이 오래 이어 가는 것보다, 단계를 나누고 각 단계의 컨텍스트를 재구성하는 것이 더 중요하다.

예를 들어 글쓰기를 한다고 해 보자. 처음부터 끝까지 한 대화방에서 기획, 자료 조사, 개요, 초안, 수정, 압축, 제목 뽑기를 모두 처리하면 대화는 금세 복잡해진다. 그러면 초반의 목표와 후반의 세부 수정이 뒤엉킨다.

이럴 때는 이렇게 접근하는 편이 낫다. 먼저 목적과 독자를 정리하고, 그다음 개요를 만들고, 그 개요를 바탕으로 초안을 쓰고, 마지막에 수정 지시를 별도로 주는 것이다. 그리고 단계가 바뀔 때마다 "지금부터는 이 요약본을 기준으로 진행하자"고 다시 잡아 주면 된다.

즉, AI와 오래 대화하는 능력은 많이 말하는 능력이 아니라, 기억을 재정리해 가며 이어 가는 능력이다.

컨텍스트 윈도우를 의식하면 질문 방식이 달라진다

이 개념을 이해하고 나면 질문 방식이 달라진다. 이제는 단순히 "어떻게 물어보면 잘 대답할까"만 생각하지 않게 된다. 대신 이런 질문을 하게 된다.

지금 이 작업에서 정말 필요한 정보는 무엇인가. 이미 오래되어 빼도 되는 정보는 무엇인가. 반드시 지켜야 할 조건은 어디에 다시 적어야 하는가. 긴 문서를 통째로 넣을 것인가, 아니면 필요한 부분만 추려 넣을 것인가. 이전 대화 전체를 끌고 갈 것인가, 아니면 핵심 요약으로 새로 시작할 것인가.

이 질문들이 바로 실전적인 질문이다. AI를 잘 쓰는 사람은 모델의 답변 스타일만 보지 않는다. 그 답변이 만들어지는 작업 공간의 상태를 함께 본다.

아주 간단한 예시 하나

예를 들어 사용자가 이렇게 말했다고 하자.

"이 회의록 보고 실행 계획을 정리해 줘."

짧고 편하지만, 실제로는 AI가 추측해야 할 부분이 많다. 누구를 위한 실행 계획인지, 무엇이 중요한지, 회의록 어디가 최신 결정사항인지 알기 어렵기 때문이다.

반면 이렇게 바꾸면 상황이 달라진다.

"아래 회의록은 제품팀 주간 회의 기록이다. 이번 답변에서는 세부 논의는 줄이고, 확정된 결정사항과 다음 주 액션 아이템만 뽑아 줘. 팀장 보고용이라 짧고 분명해야 한다. 이전 논의가 아니라 이번 주에 새로 정해진 내용이 가장 중요하다."

이 요청은 더 길어서 좋은 것이 아니다. AI의 작업 기억이 붙들어야 할 기준이 분명하기 때문에 좋은 것이다. 컨텍스트 윈도우 안에 무엇을 중심에 놓아야 하는지가 선명해진다.

결국 중요한 것은 '기억력 좋은 AI'가 아니라 '기억하기 쉬운 작업 설계'다

이 장의 핵심은 단순하다. AI는 현재 컨텍스트 안에서 일한다. 그리고 그 안에서도 모든 정보를 똑같이 붙들고 있는 것이 아니라, 현재성과 명확성, 구조에 따라 작업 기억을 형성한다.

그래서 실무에서 성과를 내는 사람은 "이 모델이 다 기억해 주겠지"라고 기대하지 않는다. 대신 모델이 기억하기 쉬운 형태로 정보를 준다. 핵심 목표를 다시 적고, 중요한 조건을 분명히 표시하고, 긴 문서는 구조를 나눠 넣고, 작업 단계가 바뀌면 요약본으로 재출발한다.

이 태도는 아주 현실적이다. AI를 사람처럼 대하면 실망하기 쉽지만, 강력한 작업 도구로 대하면 훨씬 잘 쓸 수 있다. 좋은 사용자는 AI의 약점을 탓하기보다, 그 약점을 우회하는 작업 습관을 만든다.

이 장의 정리

이번 장에서는 두 가지를 구분해 보았다. 컨텍스트 윈도우는 AI가 현재 볼 수 있는 작업 공간이고, 작업 기억은 그 공간 안에서 실제로 붙들고 활용하는 핵심 정보다. AI는 사람처럼 안정적인 장기 기억으로 일하지 않기 때문에, 대화가 길어지거나 자료가 많아질수록 앞선 맥락이 흐려질 수 있다.

이 사실을 이해하면 많은 문제가 다르게 보인다. AI가 엉뚱해진 것이 아니라, 작업 공간이 복잡해졌을 수 있다. 조건을 어긴 것이 아니라, 중요한 조건이 현재성에서 밀려났을 수 있다. 문서를 많이 넣었는데도 결과가 약한 것은, 정보가 부족해서가 아니라 오히려 정보가 정리되지 않았기 때문일 수 있다.

다음 장에서는 바로 이 지점을 더 깊게 살펴볼 것이다. 사람들은 흔히 정보를 많이 넣으면 더 좋은 답이 나올 것이라 기대한다. 하지만 실제로는 그렇지 않다. 왜 그런지, 그리고 무엇이 정보와 잡음을 가르는지 알아보자.