기억하는 비서 만들기: 자료, 규칙, 맥락 붙이기
똑똑한 척하는 비서와 진짜 도움이 되는 비서의 차이
앞 장에서 우리는 AI가 헷갈리지 않게 지시하는 프롬프트 템플릿을 만들었습니다. 그런데 여기서 한 가지 문제가 남습니다. 프롬프트가 아무리 좋아도, AI가 나를 매번 처음 만나는 사람처럼 대한다면 금세 답답해집니다. 어제는 내가 어떤 말투를 좋아하는지 알려줬고, 지난주에는 자주 쓰는 답변 문구를 정리해줬고, 지난달에는 업무 절차서까지 연결해뒀는데, 오늘 다시 "어떤 형식으로 원하세요?"라고 묻는다면 비서라기보다 기억상실에 걸린 천재에 가깝습니다.
언어 모델은 기본적으로 매 요청을 현재 주어진 맥락 안에서 처리합니다. 그래서 별도의 기억 설계가 없으면, 지난 대화와 개인 선호, 문서 속 규칙을 스스로 오래 붙잡고 있지 못합니다.12 바로 여기서 똑똑한 척하는 비서와 진짜 도움이 되는 비서가 갈립니다. 전자는 말은 그럴듯하지만 맥락이 없고, 후자는 내 문서와 규칙과 습관을 바탕으로 실제로 일을 이어갑니다.
이번 장의 핵심은 단순합니다. 기억은 많이 저장하는 것이 아니라, 필요한 맥락을 제때 꺼내 쓰는 것입니다. OpenAI의 가이드도 개인화된 에이전트를 만들 때 핵심이 "무엇을 저장하고, 무엇을 떠올리고, 무엇을 현재 작업 메모리에 넣을지 관리하는 일"이라고 설명합니다.1 다시 말해, 좋은 AI 비서는 머리가 큰 비서가 아니라 서랍 정리가 잘 된 비서입니다.
기억은 네 칸짜리 서랍으로 나누면 쉽다
기억을 설계할 때 가장 흔한 실수는 모든 자료를 한 군데에 던져 넣는 것입니다. 회의록도 넣고, 말투 규칙도 넣고, 취향 메모도 넣고, 오늘 할 일도 넣습니다. 이렇게 되면 AI는 필요한 것을 빨리 찾지 못하고, 사용자는 "분명 넣어뒀는데 왜 못 찾지?"라는 억울함에 빠집니다.
더 쉬운 방법은 기억을 네 칸으로 나누는 것입니다.
규칙 서랍: 항상 지켜야 하는 운영 원칙입니다. 말투, 금지 사항, 승인 조건, 책임 범위가 여기에 들어갑니다.
지식 서랍: 문서, SOP, FAQ, 자주 쓰는 답변, 제품 설명, 정책 문서처럼 필요할 때 찾아보는 자료입니다.
개인 서랍: 내가 선호하는 일정 시간대, 싫어하는 표현, 자주 연락하는 사람, 자주 쓰는 형식 같은 개인화 정보가 들어갑니다.
상태 서랍: 오늘 처리 중인 일, 대기 중인 승인, 이번 주 우선순위처럼 금방 바뀌는 현재 상황입니다.
이렇게 나누면 AI가 훨씬 자연스럽게 일합니다. 규칙 서랍은 항상 들고 다니고, 지식 서랍은 필요할 때 열어보고, 개인 서랍은 답변과 행동을 나답게 만들고, 상태 서랍은 오늘의 일을 이어가게 만듭니다.
이 구조는 낯설지 않습니다. OpenAI의 예시도 프로필, 장기 메모, 세션 메모 같은 층을 나눠서 관리하고, 필요한 부분만 현재 컨텍스트에 주입하는 방식을 보여줍니다.1 메모리 도구들도 대체로 같은 원리를 따릅니다. 항상 들고 있을 것과 필요할 때 꺼낼 것을 구분하라는 것입니다.3
내 AI 비서가 꼭 알아야 할 맥락은 무엇인가
이제 "무엇을 넣을까?"를 생각해봅시다. 개인용 AI 비서라면 대개 다음 자료들이 큰 힘을 발휘합니다.
문서와 메모: 회의록, 기획 메모, 프로젝트 개요, 자주 참고하는 노션 페이지, 구글 문서
자주 쓰는 답변: 고객 문의 응답, 반복 메일 문구, 일정 조율 문장, 소개 문장
SOP와 체크리스트: 요청 접수 절차, 검수 기준, 승인 흐름, 온보딩 순서
일정과 작업 정보: 캘린더, 마감일, 이번 주 우선순위, 반복 루틴
개인 선호: 좋아하는 말투, 회의 길이 선호, 집중 시간대, 피하고 싶은 표현
이 다섯 가지를 연결하면 AI는 훨씬 사람처럼 보이기 시작합니다. 예를 들어 누군가 "다음 주 미팅 잡아줘"라고 말했을 때, 단순한 챗봇은 가능한 시간을 물어봅니다. 하지만 맥락이 붙은 비서는 이미 내가 오전 9시부터 11시까지는 집중 시간을 지키고 싶어 한다는 것, 외부 미팅은 30분을 선호한다는 것, 금요일 오후에는 되도록 약속을 잡지 않는다는 것을 알고 더 나은 제안을 할 수 있습니다.
같은 질문이어도 답변이 달라지는 이유는 모델의 재능이 아니라 맥락의 밀도입니다. 그래서 이 장의 목표는 AI를 더 똑똑하게 만드는 것이 아니라, 나를 더 잘 아는 동료로 만드는 것입니다.
문서를 넣기 전에 먼저 문서부터 정리하자
많은 사람이 여기서 서두릅니다. PDF를 잔뜩 올리고, 위키 링크를 모조리 연결하고, 폴더를 통째로 던져 넣습니다. 그러고는 AI가 정확히 답해주길 기대합니다. 하지만 정리가 덜 된 문서는 사람에게도 읽기 어렵고, AI에게도 마찬가지입니다.
SOP나 정책 문서를 AI가 잘 읽게 하려면 구조가 선명해야 합니다. 제목과 소제목이 분명하고, 절차는 번호로 나뉘고, 용어가 일관되어야 합니다. "필요하면 적절히 처리한다" 같은 문장은 사람에게도 애매하고 AI에게는 더 위험합니다. "고객 요청 금액이 50만 원을 넘으면 팀장 승인 후 처리한다"처럼 조건과 행동이 분명해야 검색도 잘 되고 답변도 흔들리지 않습니다.
특히 SOP는 두 가지 버전으로 생각하면 편합니다. 하나는 사람이 읽는 원본 문서입니다. 다른 하나는 AI가 꺼내 쓰기 쉬운 요약본입니다. 원본에는 배경 설명과 예시가 들어가도 좋지만, AI가 자주 참고할 요약본은 목적, 입력, 단계, 예외, 승인 조건이 또렷해야 합니다. 이런 구조의 문서는 검색 기반 보강, 즉 RAG 방식과도 잘 맞습니다.
정리 기준은 어렵지 않습니다. 문서를 열었을 때 아래 질문에 바로 답할 수 있으면 됩니다.
이 문서는 무엇을 위한 문서인가?
누가, 언제, 무엇을 해야 하는가?
예외 상황은 어디서 갈리는가?
승인이나 확인이 필요한 순간은 언제인가?
이 네 가지가 흐리면 문서를 더 넣기 전에 먼저 다듬는 편이 낫습니다. 자료를 많이 연결하는 것보다, 잘 읽히는 자료 몇 개를 연결하는 것이 훨씬 효과적입니다.
기억하는 비서의 기본 구조
이제 실제로 비서를 설계해봅시다. 가장 쉬운 형태는 아래와 같습니다.
1. 항상 붙어 있는 규칙
여기에는 5장에서 만든 역할 설명, 말투, 금지 행동, 승인 조건이 들어갑니다. 이 부분은 비서의 성격과 안전장치입니다. 매번 바뀌지 않는다면 고정 지침으로 두는 것이 좋습니다.
예를 들어 이런 문장들입니다.
너는 1인 사업자의 운영 비서다.
외부 메시지는 정중하고 짧게 쓴다.
일정 확정과 비용 제안은 반드시 사용자 승인 후 진행한다.
2. 필요할 때 찾아보는 지식
여기에는 SOP, FAQ, 자주 쓰는 메일 예시, 제품 설명, 서비스 가격표, 내부 규정 같은 문서가 들어갑니다. 모든 문서를 항상 프롬프트에 넣는 것이 아니라, 질문과 관련 있을 때만 꺼내는 방식이 좋습니다. 이게 바로 검색 기반 보강, 흔히 RAG라고 부르는 방식입니다. 쉽게 말하면 "문서 전체를 외우게 하는 것"이 아니라 "필요한 문단만 찾아서 옆에 펼쳐놓는 것"입니다.
중요한 것은 첨부 개수가 아니라 검색 정확도입니다. 많이 넣는 것보다, 관련 있는 조각을 제대로 가져오는 쪽이 훨씬 중요합니다.
3. 개인화 메모
여기에는 나에 대한 정보가 들어갑니다. 예를 들면 이런 것들입니다.
회의는 30분을 선호한다
오전 9시부터 11시까지는 집중 시간으로 막아둔다
메일에서는 과한 감탄표를 싫어한다
보고서는 먼저 결론, 다음에 근거 순으로 정리하는 편을 좋아한다
자주 연락하는 거래처는 A사와 B사다
이런 정보는 문서 검색만으로는 잘 나오지 않습니다. 그래서 별도 메모나 사용자 프로필처럼 관리하는 편이 좋습니다. 메모리 계층을 두는 도구들도 보통 이런 식으로 사용자 단위 기억을 분리합니다.3
4. 오늘의 상태
마지막은 상태입니다. 오늘 처리 중인 일, 미승인 초안, 이번 주 목표, 지금 기다리는 답장, 방금 끝난 회의 결정사항 같은 정보입니다. 이건 오래 보관할 장기 기억이라기보다, 오늘 일을 이어가기 위한 작업판에 가깝습니다.
이 상태 정보가 없으면 AI는 항상 "처음부터 설명해 주세요"라고 묻게 됩니다. 반대로 상태 정보가 있으면 "어제 작성한 견적 초안은 승인 대기 중이니, 오늘은 후속 일정만 제안하겠습니다" 같은 말이 가능해집니다. 비서가 갑자기 훨씬 오래 함께 일한 동료처럼 느껴지는 순간입니다.
노코드로 붙이는 가장 쉬운 조합
코딩 없이도 이 구조는 충분히 만들 수 있습니다. 출발은 거창할 필요가 없습니다. 가장 쉬운 조합은 세 단계면 됩니다.
첫째, 규칙은 프롬프트에 고정합니다. 역할, 말투, 승인 조건은 AI 도구의 시스템 지시나 기본 지침에 넣습니다.
둘째, 지식은 문서 저장소에 모읍니다. 노션, 구글 드라이브, 구글 문서, PDF 폴더 중 하나를 정해 SOP와 FAQ, 메모를 정리합니다.
셋째, 개인 메모와 상태는 표나 데이터베이스로 관리합니다. 좋아하는 말투, 금지 표현, 자주 쓰는 답변, 이번 주 우선순위를 한눈에 보이는 곳에 적습니다.
여기서 더 나아가면 노코드 자동화 도구를 붙일 수 있습니다. 예를 들어 회의가 끝나면 요약을 만들고, 그 요약에서 결정사항만 뽑아 상태판을 갱신합니다. 또는 새 고객 문의가 들어오면 FAQ와 SOP를 바탕으로 초안을 만들고, 발송 전 승인 대기 칸에 넣습니다. 이렇게 하면 AI는 단순 답변기가 아니라 문서를 읽고, 맥락을 반영하고, 다음 행동까지 이어주는 비서가 됩니다.
무엇을 기억시키고, 무엇은 그냥 지나가게 할까
여기서 또 하나 중요합니다. 모든 대화를 다 저장할 필요는 없습니다. 오히려 그러면 잡음이 늘고, 오래된 정보가 섞이고, 엉뚱한 답이 튀어나오기 쉽습니다. 기억 후보는 세 가지 기준으로 고르면 됩니다.
반복해서 다시 쓸 정보인가
앞으로의 답변이나 행동을 실제로 바꿀 정보인가
저장해도 안전한 정보인가
예를 들어 "저는 보고서를 먼저 요약부터 보고 싶어요"는 저장할 가치가 큽니다. 앞으로 거의 모든 보고서 응답 방식이 달라지기 때문입니다. 반면 "오늘 커피를 두 잔 마셨어요"는 특별한 업무 의미가 없다면 흘려보내도 괜찮습니다.
저장 가치가 높은 정보는 대개 이런 종류입니다.
안정적인 선호: 말투, 형식, 회의 길이, 보고 방식
반복 규칙: 승인 기준, 자주 쓰는 절차, 체크리스트
장기 프로젝트 맥락: 현재 진행 중인 일, 주요 이해관계자, 목표
검증된 사실: 서비스 가격, 팀 역할, 공식 정책
반대로 저장에 신중해야 하는 것도 있습니다. 비밀번호, 계좌 정보, 민감한 개인 정보, 잠깐 나온 추측, 아직 확인되지 않은 사실입니다. 기억은 편리함을 주지만, 엉터리 기억이나 과한 기억은 실수도 함께 키웁니다.
자주 실패하는 이유는 기억이 아니라 분류가 없어서다
기억 시스템을 붙였는데도 만족스럽지 않은 경우가 있습니다. 대부분 이유는 네 가지입니다.
첫째, 규칙과 사실을 섞어 넣습니다. "메일은 정중하게 쓴다"는 규칙이고, "A사는 월말 정산을 선호한다"는 사실입니다. 이 둘이 섞이면 수정도 어렵고 충돌도 잦습니다.
둘째, 오래된 정보를 치우지 않습니다. 예전 가격표, 지난 분기 일정, 이미 바뀐 담당자를 계속 들고 있으면 AI는 틀린 자신감을 갖게 됩니다.
셋째, 출처 없는 메모를 쌓습니다. 누가 적었는지, 언제 업데이트했는지 모르면 나중에 사람도 믿지 못합니다. AI도 마찬가지입니다.
넷째, 오늘 상태와 장기 기억을 구분하지 않습니다. 오늘 마감할 일은 오늘의 상태판에 둬야지, 영구 메모에 박아둘 것은 아닙니다.
이 문제를 막는 가장 쉬운 습관은 메모에 짧게 꼬리표를 다는 것입니다. 예를 들어 "선호", "규칙", "일시 상태", "공식 문서", "승인 필요" 같은 태그를 붙여두면 나중에 AI가 꺼내 쓸 때도 훨씬 선명해집니다.
바로 써먹는 기억 설계 예시
이제 참가자가 직접 자기 일을 대신할 AI 역할을 설계한다고 생각해봅시다. 예를 들어 당신이 1인 사업자이고, 자주 하는 일이 고객 문의 답변, 일정 조율, 간단한 제안서 초안 작성이라고 해봅시다. 이때 기억 구조는 이렇게 잡을 수 있습니다.
규칙 서랍
외부 발송 문서는 항상 정중한 한국어로 작성
비용, 일정 확정, 계약 표현은 승인 후에만 사용
모호한 요청은 먼저 한 가지 확인 질문으로 정리
지식 서랍
서비스 소개 문서
가격표
자주 묻는 질문 모음
제안서 샘플
고객 응대 SOP
개인 서랍
회의는 30분 선호
오전 9시부터 11시는 집중 시간
메일은 짧고 또렷한 문체 선호
"검토 부탁드립니다"보다 "확인 후 회신 부탁드립니다"를 자주 사용
상태 서랍
A사 견적 초안 승인 대기
B사 미팅 일정 재조율 필요
이번 주 우선순위는 신규 고객 제안 2건
이렇게만 설계해도 결과가 달라집니다. 누군가 "A사에 답장 초안 써줘"라고 말하면 AI는 가격표와 FAQ를 참고하고, 평소 말투를 반영하고, 아직 승인되지 않은 일정은 확정 표현을 피한 초안을 만들 수 있습니다. 바로 이 차이가 맥락입니다.
프롬프트도 기억 자리를 남겨둬야 한다
5장에서 만든 템플릿은 이번 장에서 더 강해집니다. 이제 프롬프트 안에 기억이 들어올 자리를 미리 만들어두면 됩니다. 아주 거창할 필요는 없습니다. 아래 네 칸만 있어도 충분합니다.
현재 역할과 작업 목표
관련 문서에서 찾은 핵심 정보
사용자 선호와 개인 메모
오늘의 상태와 승인 필요 여부
예를 들어 회의 조율 비서라면 이런 식입니다.
너는 일정 조율 비서다.
사용자의 선호는 오전 집중 시간 보호, 미팅 30분 선호, 금요일 오후 미팅 지양이다.
관련 규칙은 외부 일정 확정 전 승인 필수다.
아래 일정 정보와 최근 대화 맥락을 바탕으로 답장을 작성하라.
이제 AI는 단순히 "가능한 시간이 언제인가요?"라고 묻지 않습니다. 먼저 내가 피하고 싶은 시간대를 고려하고, 승인 전 확정 표현을 피하고, 최근 대화 흐름을 이어서 초안을 만듭니다. 즉, 프롬프트는 지시서이고, 기억은 재료입니다. 둘이 합쳐져야 제대로 일합니다.
일정과 선호가 붙으면 비서는 훨씬 살아난다
문서만 붙인 AI는 똑똑한 사전이 되기 쉽습니다. 하지만 일정과 선호까지 붙으면 비서에 가까워집니다. 이유는 간단합니다. 비서는 정보를 아는 사람이라기보다, 내 리듬에 맞춰 움직이는 사람이기 때문입니다.
예를 들어 같은 "다음 주 미팅 잡아줘"라는 요청도 개인 선호가 없는 AI는 빈칸 채우기만 합니다. 하지만 선호와 일정 정보가 있는 AI는 더 실무적인 제안을 할 수 있습니다. 화요일 오전은 집중 시간이라 제외하고, 수요일 오후 2시 이후 30분 슬롯을 먼저 제안하거나, 이미 비슷한 성격의 미팅이 목요일에 몰려 있다면 분산을 제안할 수 있습니다.
이런 기능이 거창한 기술처럼 보일 수 있지만, 핵심은 어렵지 않습니다. 일정 데이터와 선호 메모를 함께 쓰는 것입니다. 달력은 사실의 저장소이고, 선호는 판단의 힌트입니다. 둘이 합쳐지면 AI는 비로소 "가능한 시간"이 아니라 "좋은 시간"을 제안하기 시작합니다.
기억에도 청소 시간이 필요하다
한 번 연결했다고 끝이 아닙니다. 기억은 살아 있는 자산이라서 주기적으로 정리해야 합니다. 이 점을 놓치면 AI는 점점 낡은 메모에 기대는 고집 센 동료가 됩니다.
기억 청소는 어렵지 않습니다. 한 주에 한 번만 해도 충분합니다. 아래 세 가지만 보면 됩니다.
더 이상 유효하지 않은 규칙은 없는가
이미 바뀐 가격, 담당자, 일정 패턴은 없는가
자주 꺼내 쓰지 않는 메모가 너무 많이 쌓이지 않았는가
오늘의 잡다한 메모를 전부 영구 기억으로 밀어 넣으면, 나중에 중요한 정보가 잡음에 묻힙니다. 좋은 기억 시스템은 많이 쌓는 시스템이 아니라, 잘 버리는 시스템이기도 합니다.
데모데이에서 빛나는 AI 동료는 무엇이 다를까
마지막 데모데이에서 참가자가 만든 AI 동료가 더 인상적으로 보이는 순간은, 답변이 길고 화려할 때가 아닙니다. "이 AI가 왜 이런 답을 하는지"가 보일 때입니다. 즉, 맥락이 드러날 때입니다.
데모를 할 때는 세 장면만 보여주면 충분합니다.
문서나 SOP를 근거로 답하는 장면
개인 선호를 반영해 더 나다운 초안을 만드는 장면
승인 조건을 지키며 다음 행동을 제안하는 장면
예를 들어 이렇게 시연할 수 있습니다. "이 비서는 우리 팀 온보딩 SOP를 읽고 신입 체크리스트를 바로 꺼냅니다. 동시에 제 말투 선호를 반영해 안내 메일을 짧고 분명하게 씁니다. 그리고 외부 일정 확정은 제 승인 없이는 진행하지 않습니다." 이 정도만 보여줘도 사람들은 금방 느낍니다. 이건 그냥 말 잘하는 AI가 아니라, 실제로 함께 일할 수 있는 동료라는 것을.
이 장의 핵심 정리
맥락은 사치가 아닙니다. AI 비서를 비서답게 만드는 핵심 장치입니다. 모델은 원래 매번 새로 시작하므로, 기억을 따로 설계하지 않으면 나를 오래 이해하지 못합니다.12 그래서 우리는 기억을 네 칸으로 나눴습니다. 규칙, 지식, 개인 메모, 오늘의 상태입니다. 이 네 가지가 분리되어야 AI는 덜 헷갈리고, 나는 덜 반복 설명하게 됩니다.
문서와 SOP는 구조를 다듬어 연결하고, 개인 선호는 짧고 명확하게 메모하고, 오늘의 상태는 가볍고 자주 갱신합시다. 모든 것을 저장하려 하지 말고, 실제로 미래의 답변과 행동을 바꿀 정보만 남깁시다. 그러면 AI는 그럴듯한 챗봇에서 한 단계 올라와, 내 맥락을 바탕으로 일하는 비서가 됩니다.
다음 장에서는 여기서 한 걸음 더 나아갑니다. 이제 비서가 기억만 하는 것이 아니라, 실제로 도구를 써서 일을 하게 만들어볼 차례입니다. 말만 잘하는 동료가 아니라, 메일 초안을 쓰고 일정을 옮기고 후속 작업까지 이어주는 동료로 진화시키는 단계입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.