3부 12장. 정보를 많이 넣는다고 좋아지지 않는 이유

앞 장에서 우리는 AI가 무한한 기억을 가진 존재가 아니라, 현재 작업 공간 안에서 정보를 다루는 존재라는 점을 살펴보았다. 그렇다면 자연스럽게 이런 생각이 든다. "그럼 중요한 건 많이 넣는 거네?"

여기서 많은 사용자가 첫 번째 함정에 빠진다. 자료를 많이 붙이고, 배경 설명을 길게 쓰고, 관련될 것 같은 메모를 전부 던져 넣으면 결과가 더 좋아질 것이라고 기대하는 것이다. 하지만 실제로는 정반대가 되는 경우가 적지 않다. 정보가 많아질수록 AI가 더 똑똑해지는 것이 아니라, 오히려 무엇이 중요한지 흐려질 수 있기 때문이다.

이 장의 핵심은 단순하다. AI 활용에서 중요한 것은 많이 넣기가 아니라 맞게 넣기다. 정보량은 힘이 될 수 있지만, 정리되지 않은 정보량은 쉽게 잡음이 된다.

정보가 많으면 왜 좋아 보일까

사람이든 AI든, 일을 맡길 때 배경을 충분히 설명해 주는 것은 분명 도움이 된다. 문제는 여기서 "충분히"가 슬며시 "가능한 한 많이"로 바뀐다는 데 있다.

사용자는 대개 불안하다. 혹시 빠뜨린 정보 때문에 엉뚱한 답이 나오지 않을까 걱정한다. 그래서 회의록도 넣고, 예전 기획안도 넣고, 관련 메신저 대화도 붙이고, 지난주에 메모해 둔 생각도 넣는다. 심지어 이미 중요하지 않은 초안까지 함께 넣기도 한다. 마음은 이해된다. 재료를 많이 주면 더 잘하겠지 싶다.

하지만 요리를 떠올려 보자. 좋은 요리는 재료를 많이 넣는다고 만들어지지 않는다. 김치찌개를 끓이는데 냉장고에 있는 걸 다 넣으면, 그건 풍성한 요리가 아니라 방향을 잃은 요리가 될 가능성이 크다. AI에게도 비슷한 일이 벌어진다. 재료가 많아질수록, 오히려 중심 맛을 잡기 어려워진다.

AI는 정보의 양보다 신호를 찾는다

AI는 단순히 많이 읽는 기계가 아니다. 지금 들어온 정보들 가운데 무엇을 중심으로 답을 만들어야 하는지 판단해야 한다. 다시 말해, 정보의 총량보다 신호와 잡음의 비율이 더 중요하다.

신호는 현재 작업에 직접 필요한 정보다. 예를 들면 이번 보고서의 목적, 반드시 지켜야 할 형식, 최신 기준 문서, 핵심 숫자 같은 것들이다. 반면 잡음은 틀린 정보만 뜻하지 않는다. 맞는 정보라도 지금 이 작업에 필요하지 않거나, 중요도가 낮거나, 우선순위가 불분명한 정보라면 잡음이 될 수 있다.

이 점이 중요하다. 많은 사용자는 잡음을 "엉터리 정보"라고만 생각한다. 그러나 AI에게 잡음은 더 넓은 개념이다. 지금 당장 답을 만드는 데 방해가 되는 정보는, 사실과 맞더라도 잡음이 될 수 있다.

예를 들어 "이 회의록을 바탕으로 다음 주 실행 계획을 정리해 달라"는 작업에서, 지난 분기 회고 메모가 길게 붙어 있다면 어떨까. 그 메모는 틀린 정보가 아닐 수 있다. 하지만 이번 주 실행 계획을 잡는 데 꼭 필요하지 않다면, 핵심을 흐리는 요소가 된다.

많이 넣을수록 성능이 떨어지는 대표적인 이유

정보 과잉이 문제를 일으키는 방식은 생각보다 다양하다. 실전에서는 주로 네 가지 현상이 자주 나타난다.

• 핵심 정보가 주변 정보에 묻힌다.

• 서로 다른 기준이 한꺼번에 들어와 충돌한다.

• 오래된 정보와 최신 정보가 뒤섞인다.

• 중요도 표시가 없어 AI가 비슷한 무게로 다루려 한다.

이 네 가지는 겉으로는 비슷해 보여도, 결과를 망치는 방식이 조금씩 다르다.

핵심 정보가 묻히는 경우부터 보자. 사용자는 분명 중요한 지시를 넣었다고 생각한다. 그런데 그것이 긴 문서 중간 어딘가에 한 번만 등장하거나, 여러 설명 속에 파묻혀 있으면 AI는 그 정보를 중심축으로 삼기 어렵다. 마치 회의에서 가장 중요한 결론을 소곤소곤 한 번 말하고, 나머지 30분은 잡담한 것과 비슷하다. 회의록을 정리하는 사람은 무엇이 진짜 결론이었는지 헷갈릴 수밖에 없다.

기준 충돌도 흔하다. 예를 들어 한 문서에는 "공식적이고 보수적인 톤"이 필요하다고 쓰여 있고, 다른 문서에는 "친근하고 가벼운 톤"의 예시가 길게 들어 있다면, AI는 어떤 방향을 우선해야 할지 고민하게 된다. 결국 어정쩡한 평균값이 나오기 쉽다. 딱딱한데 친근한 척하는, 누구도 만족시키지 못하는 문장이 탄생하는 것이다.

최신성과 오래된 정보가 섞이는 문제도 크다. 오래된 정책 문서와 최신 수정 메모를 함께 넣어 놓고 관계를 설명하지 않으면, AI는 둘을 섞어 버릴 수 있다. 그러면 겉보기에는 그럴듯한데 실제로는 이미 폐기된 기준이 슬쩍 살아 들어간 결과가 나온다.

마지막으로 중요도 표시가 없으면, AI는 사용자가 어떤 재료를 핵심으로 보는지 확신하기 어렵다. 사람이라면 표정이나 말투로라도 감을 잡겠지만, AI는 텍스트 안의 구조와 신호에 더 의존한다. 중요한 문서, 참고만 할 문서, 반례 문서를 구분하지 않으면 모두 비슷한 목소리로 들릴 수 있다.

"넣었다"와 "잘 쓰였다"는 다르다

이 장에서 꼭 구분해야 할 말이 있다. 정보를 입력했다는 것과 그 정보가 효과적으로 반영됐다는 것은 같은 뜻이 아니다.

사용자는 종종 이렇게 말한다. "분명 자료에 있었는데 왜 반영이 안 됐지?" 그런데 실제로는 자료 안에 있었다는 사실만으로 충분하지 않다. 그 정보가 현재 작업의 목적과 연결되어 있었는지, 다른 정보보다 우선순위가 높았는지, 구조적으로 눈에 띄게 제시되었는지가 더 중요하다.

사람도 똑같다. 누군가에게 메일을 보낼 때 첨부파일 8개를 한꺼번에 보내고, 본문에는 "잘 부탁드립니다"만 쓰면 상대는 중요한 내용을 놓칠 수 있다. 반대로 "첨부 2번이 최종본이며, 4페이지 수치만 확인해 주세요"라고 적으면 훨씬 정확하게 읽는다. AI에게도 바로 이런 종류의 안내가 필요하다.

즉, 정보는 넣는 것으로 끝나지 않는다. 읽히게 넣어야 하고, 쓰이게 넣어야 한다.

정보 과잉은 집중력을 분산시킨다

앞 장에서 작업 기억 이야기를 했다. AI는 들어온 모든 정보를 같은 힘으로 붙들고 있는 것이 아니다. 그렇다면 정보가 지나치게 많아질 때 어떤 일이 벌어질까. 가장 먼저 생기는 문제는 집중의 분산이다.

쉽게 말해, AI가 한 가지 일을 선명하게 하기가 어려워진다. 이 문서는 배경 설명인가, 지시문인가, 예시인가, 반대 의견인가, 이미 폐기된 초안인가. 이런 구분이 없으면 AI는 한 가지 기준으로 정리하기보다 여러 기준을 동시에 조금씩 반영하려 한다. 그러면 답이 흐릿해진다.

이 흐릿함은 몇 가지 형태로 나타난다. 요약은 길어지고, 핵심은 약해지고, 문장은 무난해지며, 결론은 조심스러워진다. 한마디로 말하면, 무엇도 틀리지 않으려다 무엇도 선명하지 않은 답이 나온다.

이런 결과를 처음 보면 많은 사람이 "모델이 별로네"라고 생각한다. 하지만 모델의 문제라기보다, 작업 공간이 너무 복잡해졌을 가능성이 크다. 책상 위에 종이를 200장 펼쳐 놓고, 중요한 문서 하나를 빨리 찾아 요약해 달라고 하는 것과 비슷하다.

많은 정보가 항상 나쁜 것은 아니다

여기서 오해하면 안 된다. 정보가 많다는 사실 자체가 문제는 아니다. 긴 계약서를 검토할 때, 방대한 코드베이스를 분석할 때, 여러 인터뷰를 비교할 때는 당연히 많은 정보가 필요하다.

문제는 정보의 양이 아니라 정리되지 않은 양이다. 많이 넣더라도 구조가 분명하면 AI는 훨씬 잘 움직인다. 예를 들어 다음처럼 다루면 상황이 달라진다.

• 무엇이 최우선 기준인지 먼저 적는다.

• 자료의 역할을 구분한다.

• 최신본과 참고본을 나눈다.

• 이번 단계에서 필요한 부분만 강조한다.

같은 100페이지라도 "그냥 다 읽고 정리해 줘"와 "1장은 배경, 2장은 공식 기준, 3장은 반대 의견 사례이며 이번 답변에서는 2장을 중심으로 실행 항목만 뽑아 줘"는 완전히 다른 입력이다.

즉, 많은 정보는 잘 구조화될 때 자산이 되고, 구조 없이 쌓일 때 부담이 된다.

실전에서 자주 보이는 실패 사례

조금 현실적인 장면을 떠올려 보자.

어떤 팀장이 AI에게 신사업 검토 메모를 써 달라고 한다. 그는 열심히 준비했다. 관련 기사 요약, 작년 전략 문서, 경쟁사 사례, 회의 메모, 개인 아이디어, 외부 자문 의견까지 다 붙였다. 그리고 마지막에 이렇게 쓴다. "이 자료들 참고해서 한 페이지 보고서를 작성해 줘."

정성은 가득하지만, AI 입장에서는 난감하다. 무엇이 공식 입장이고, 무엇이 아이디어 수준이며, 무엇이 반론 사례인지 알 수 없다. 작년 전략은 여전히 유효한지, 외부 자문 의견은 참고만 해야 하는지, 회의 메모 중 무엇이 확정된 내용인지도 모른다. 결국 AI는 전체를 평균내어 무난한 보고서를 낼 가능성이 크다.

겉보기에는 자료를 많이 줬으니 성실한 요청처럼 보인다. 하지만 실제로는 판단 기준을 주지 않은 요청이다.

반대로 이렇게 바꾸면 결과가 달라진다.

"아래 자료를 바탕으로 신사업 검토 메모를 작성해 줘. 1번은 우리 회사의 현재 공식 전략이고, 2번은 시장 배경, 3번은 경쟁사 사례, 4번은 내부 회의 아이디어 메모다. 이번 문서는 경영진 1차 검토용이므로 실행 확정안처럼 쓰지 말고, 기회와 리스크를 균형 있게 정리해 줘. 특히 1번 전략과 충돌하는 내용은 따로 표시해 줘."

자료의 양은 비슷해도, 답의 질은 훨씬 달라질 가능성이 높다. 이유는 간단하다. AI가 이제야 비로소 무엇을 어떻게 읽어야 하는지 알게 되었기 때문이다.

정보가 많을수록 요약과 선별이 중요해진다

실전에서는 모든 자료를 매번 처음부터 끝까지 다시 넣는 방식이 효율적이지 않을 때가 많다. 특히 긴 작업일수록, 원문 전체보다 잘 정리된 중간 요약이 더 강력하게 작동한다.

이것은 정보를 줄이라는 뜻이 아니다. 정보를 계층화하라는 뜻이다. 원문은 원문대로 두되, 지금 단계에 필요한 핵심만 뽑아 위에 올려 두는 것이다.

예를 들어 긴 문서를 다룰 때는 이런 식의 흐름이 유용하다. 먼저 원문에서 핵심 쟁점과 결정사항을 뽑고, 다음 단계에서는 그 요약본을 기준으로 초안을 만들고, 마지막 단계에서 다시 원문을 대조해 빠진 부분이 없는지 확인하는 식이다. 이렇게 하면 원문 전체의 풍부함은 살리면서도, 현재 작업의 초점은 유지할 수 있다.

사람이 공부할 때도 교과서를 통째로 외우지 않는다. 밑줄을 긋고, 요약 노트를 만들고, 시험 직전에는 핵심 정리본을 본다. AI와 일할 때도 비슷하다. 원문 보관과 작업용 정리본을 구분하면 품질이 안정된다.

"많이 넣기" 대신 "맞게 넣기"의 원칙

이 장의 핵심 원칙을 실전 감각으로 정리하면 다음과 같다.

• 현재 작업에 직접 필요한 것만 먼저 올린다.

• 자료의 역할과 우선순위를 분명히 적는다.

• 최신 정보와 오래된 정보를 구분한다.

• 중요한 조건은 문장 속에 숨기지 말고 드러내 적는다.

• 길어질수록 요약본으로 다시 정렬한다.

이 원칙은 단순하지만 강력하다. 특히 첫 번째 원칙이 중요하다. 사람들은 자꾸 "혹시 필요할까 봐" 이것저것 넣는다. 하지만 실무에서는 "혹시"보다 "지금"이 더 중요하다. 현재 단계에 꼭 필요한 것만 선명하게 주는 편이, 막연히 유용할 것 같은 자료를 잔뜩 주는 것보다 낫다.

두 번째와 세 번째 원칙은 AI의 판단 부담을 줄여 준다. 자료를 많이 준다고 해서 AI가 저절로 문서 간 관계를 완벽히 파악하는 것은 아니다. 어떤 것이 기준 문서인지, 어떤 것이 참고용인지, 무엇이 최신인지 알려 줄수록 결과는 안정된다.

네 번째 원칙은 의외로 자주 놓친다. 중요한 조건이 긴 문단 한복판에 묻혀 있으면, 사용자는 "분명 써 놨는데?"라고 생각하게 된다. 하지만 중요한 규칙은 별도로 선명하게 적는 편이 훨씬 낫다. 중요한 것은 숨어 있지 않아야 한다.

마지막 원칙은 멀티턴 작업에서 특히 중요하다. 대화가 길어질수록 예전 맥락과 새 지시가 섞인다. 이럴 때는 계속 이어 가는 것보다, 중간 요약본으로 다시 시작하는 편이 더 강하다. 정리되지 않은 긴 대화는 종종 친절해 보이지만, 실제로는 품질을 흐리는 원인이 된다.

좋은 컨텍스트는 압축된 컨텍스트다

여기서 말하는 압축은 무조건 짧게 줄이라는 뜻이 아니다. 핵심이 잘 드러나는 형태로 정리하라는 뜻이다.

좋은 컨텍스트는 필요한 정보를 빼먹지 않으면서도, 지금 답을 만드는 데 중요한 것들이 앞에 보이도록 설계되어 있다. 반대로 나쁜 컨텍스트는 정보량이 많아도 구조가 없다. 이런 경우 AI는 모든 것을 조금씩 반영한 무난한 답을 내놓기 쉽다.

압축된 컨텍스트의 좋은 점은 두 가지다. 첫째, AI가 판단 기준을 빨리 잡는다. 둘째, 사용자 자신도 무엇이 핵심인지 분명해진다. 사실 많은 경우 AI가 헷갈리는 이유는, 사용자가 아직 핵심을 정리하지 못했기 때문이기도 하다. AI 앞에서 맥락을 정리하는 과정은, 결국 자기 생각을 정리하는 과정이기도 하다.

덜 넣는 것이 아니라, 덜 헷갈리게 넣는 것이다

이쯤 되면 "그럼 자료를 최대한 줄여야 하나?"라고 묻고 싶어질 수 있다. 꼭 그렇지는 않다. 핵심은 적게 넣는 것이 아니라, 헷갈리지 않게 넣는 것이다.

필요한 자료는 충분히 줄 수 있다. 다만 다음 질문을 먼저 던져야 한다. 이 자료는 지금 꼭 필요한가. 이 자료의 역할은 무엇인가. 다른 자료와 충돌할 가능성은 없는가. 최신성은 확인됐는가. AI가 이 자료를 어떤 순서로 읽어야 하는가.

이 질문에 답할 수 있다면, 정보가 많아도 괜찮다. 반대로 이 질문에 답하지 못한다면, 정보가 조금만 많아져도 결과는 쉽게 흔들린다.

좋은 사용자는 AI에게 정보를 떠넘기지 않는다. 정보를 가공해서 건넨다. 바로 이 차이가 결과의 차이를 만든다.

이 장의 정리

정보를 많이 넣는다고 해서 AI가 자동으로 더 좋은 답을 내놓는 것은 아니다. 오히려 정리되지 않은 정보는 핵심을 묻고, 기준을 충돌시키고, 최신성과 중요도를 흐려서 성능을 떨어뜨릴 수 있다.

AI에게 중요한 것은 정보의 총량이 아니라, 현재 작업에 맞는 정보의 구조다. 다시 말해, 많이 넣는 것보다 맞게 넣는 것이 중요하다. 무엇이 핵심인지, 무엇이 참고인지, 무엇이 최신인지, 이번 단계에서 무엇을 해야 하는지가 선명할수록 결과는 좋아진다.

다음 장에서는 바로 이 원칙을 실전에 옮겨 보려 한다. 문서를 넣을 때는 어떻게 나눠 넣어야 하는지, 자료를 붙일 때는 무엇을 먼저 정리해야 하는지, 그리고 맥락을 어떻게 구조화해야 AI가 더 잘 일하는지 구체적으로 살펴보자.