부록 E. 용어 해설: context, agent, MCP, harness, multimodal, local LLM

이 부록을 어떻게 보면 좋은가

책을 끝까지 읽고 나면 이상한 일이 생긴다. 분명 다 읽었는데, 막상 누가 "컨텍스트 엔지니어링이 뭐였지?" 하고 물으면 머릿속에서 단어들이 서로 자리를 바꿔 앉는다. context는 프롬프트 같기도 하고, agent는 챗봇 같기도 하고, MCP는 도구 연결 같기도 하다. 그러니 이 부록은 새로운 내용을 더하는 장이 아니라, 책 전체의 뼈대를 다시 만져 보는 장이다.

여기서는 여섯 개의 핵심 용어를 가장 실용적인 기준으로 다시 설명한다. 각 용어마다 "무엇인가", "무엇과 다른가", "실무에서 왜 중요한가"를 중심으로 정리했다. 처음 읽을 때보다 지금 더 잘 이해될 것이다. 한 바퀴 다 돌고 나서 보는 지도는, 처음 받았을 때보다 훨씬 또렷하니까.

context

context는 AI가 지금 이 작업을 이해하는 데 필요한 맥락이다. 쉽게 말해, AI가 답을 만들 때 참고하는 작업 배경이라고 보면 된다. 질문 한 줄만 있는 상태에서는 맥락이 거의 없다. 하지만 목표, 배경 설명, 첨부 문서, 이전 대화, 원하는 독자, 출력 형식, 금지 사항까지 함께 주어지면 맥락이 풍부해진다.

많은 사람이 context를 단순히 "많이 넣는 정보"라고 생각한다. 하지만 핵심은 양이 아니라 관련성이다. 쓸모없는 정보가 많으면 오히려 중요한 신호가 묻힌다. 회의록 전체를 붙여 넣는다고 항상 좋은 답이 나오는 것이 아니라, 그중 어떤 결정이 이미 내려졌고 무엇이 아직 미정인지 정리해 주는 편이 더 도움이 된다.

context는 프롬프트와 같지 않다. 프롬프트가 AI에게 내리는 지시문이라면, context는 그 지시를 제대로 이해하게 만드는 주변 정보다. 둘은 겹치기도 하지만 완전히 같은 말은 아니다. "요약해 줘"는 지시이고, "이 문서는 투자자 보고용이며 1페이지로 줄여야 한다"는 맥락이다.

실전에서는 context를 잘 다루는 사람이 AI를 더 잘 쓴다. 질문을 예쁘게 쓰는 것보다, 필요한 배경을 정확히 정리해 주는 능력이 더 큰 차이를 만든다. 그래서 이 책에서도 프롬프트보다 컨텍스트를 더 넓은 관점에서 다루었다.

기억하기 쉽게 한 줄로 정리하면 이렇다. context는 AI가 지금 상황을 오해하지 않게 해 주는 배경 정보다.

agent

agent는 단순히 대답만 하는 AI가 아니라, 목표를 향해 여러 단계를 거치며 작업을 수행하는 AI 시스템을 뜻한다. 질문 하나에 답 하나를 내놓는 수준을 넘어서, 계획을 세우고, 필요한 도구를 고르고, 중간 결과를 확인하고, 때로는 다시 시도하는 흐름까지 포함한다.

예를 들어 챗봇은 "이 이메일을 요약해 줘"라는 요청에 답을 줄 수 있다. 반면 agent는 메일함을 읽고, 중요한 메일만 분류하고, 일정과 연결하고, 초안 회신까지 만들 수 있다. 즉, 대화 상대에 가까운 것이 챗봇이라면, 작업 수행자에 가까운 것이 agent다.

여기서 중요한 점은 agent가 꼭 완전 자율적일 필요는 없다는 것이다. 어떤 agent는 사람 승인 없이는 다음 단계로 가지 않고, 어떤 agent는 도구 사용 범위가 엄격하게 제한된다. 그러니 agent를 "혼자 다 알아서 하는 AI"로만 이해하면 실제 모습을 놓치게 된다. 더 정확히 말하면, agent는 목표 중심으로 움직이는 작업형 AI다.

또 agent는 모델 하나와도 다르다. 모델은 언어를 생성하는 엔진에 가깝고, agent는 그 모델을 포함해 기억, 규칙, 도구 연결, 실행 절차까지 얹은 구조에 가깝다. 자동차 엔진과 실제 자동차의 차이를 떠올리면 이해가 쉽다. 엔진만 있다고 주행이 되지 않듯, 모델만 있다고 agent가 되는 것은 아니다.

기억하기 쉽게 한 줄로 정리하면 이렇다. agent는 말만 하는 AI가 아니라, 목표를 향해 단계적으로 움직이는 AI다.

MCP

MCP는 Model Context Protocol의 약자다. 이름은 조금 딱딱하지만, 뜻은 의외로 실용적이다. AI가 바깥의 도구나 데이터와 표준 방식으로 연결되도록 해 주는 규약이라고 생각하면 된다. 쉽게 말해, AI에게 세상과 연결되는 공통 콘센트 같은 것이다.

왜 이런 것이 필요할까. AI가 파일을 읽고, 데이터베이스를 조회하고, 검색을 하고, 캘린더를 보고, 문서를 수정하려면 각각의 도구와 연결되어야 한다. 그런데 도구마다 연결 방식이 제각각이면, 붙일 때마다 새로 배선 공사를 해야 한다. MCP는 이 연결 방식을 일정한 형태로 맞추려는 시도다.

중요한 것은 MCP가 도구 그 자체가 아니라는 점이다. MCP는 검색엔진도 아니고 데이터베이스도 아니다. 그것은 AI와 도구 사이의 약속, 즉 연결 규칙에 가깝다. 따라서 "MCP를 쓴다"는 말은 "AI가 외부 기능을 더 일관되게 사용하도록 연결 구조를 갖춘다"는 뜻에 가깝다.

실무에서는 이 차이가 크다. 연결 구조가 정리되면 AI는 단순히 글만 쓰는 존재가 아니라, 파일을 읽고 비교하고 실행하는 작업 환경의 일부가 된다. 책에서 MCP를 중요하게 다룬 이유도 여기 있다. AI 활용이 대화 중심에서 작업 중심으로 넘어갈수록, 도구 연결은 선택이 아니라 기반이 되기 쉽다.

기억하기 쉽게 한 줄로 정리하면 이렇다. MCP는 AI가 외부 도구와 통일된 방식으로 연결되게 하는 약속이다.

harness

harness는 AI 시스템을 시험하고 점검하는 평가 장치다. 자동차 경주에서 차만 좋다고 끝이 아니듯, AI도 "왠지 잘 되는 것 같다" 수준으로 쓰면 금방 한계에 부딪힌다. harness는 같은 작업을 반복해서 돌려 보고, 결과를 비교하고, 바뀐 설정이 실제로 나아졌는지 확인하게 해 주는 틀이다.

많은 사람이 AI 개선을 프롬프트 수정으로만 생각한다. 하지만 실제로는 무엇이 좋아졌는지 측정하지 않으면 개선인지 착각인지 알 수 없다. 어제는 좋아 보였는데 오늘은 엉망일 수도 있다. harness는 이런 흔들림을 줄인다. 테스트 문제 묶음, 평가 기준, 실행 절차, 결과 기록이 함께 있어야 비로소 시스템을 다듬을 수 있다.

harness는 모델과도 다르고, 프롬프트와도 다르고, 단순 체크리스트와도 다르다. 체크리스트가 사람이 눈으로 확인하는 기준이라면, harness는 그것을 더 반복 가능하고 비교 가능하게 만든 운영 틀에 가깝다. 특히 실무에서 여러 프롬프트 버전, 여러 모델, 여러 워크플로를 비교할 때 매우 중요하다.

예를 들어 고객 문의 분류 시스템을 만든다고 해 보자. 몇 개 사례만 보고 "괜찮네요"라고 하면 금방 사고가 난다. 자주 틀리는 유형, 애매한 표현, 길이가 긴 입력, 오탈자가 많은 입력까지 모아 계속 돌려 봐야 한다. 그 반복 실험장을 만드는 것이 harness다.

기억하기 쉽게 한 줄로 정리하면 이렇다. harness는 AI를 믿기 전에 먼저 시험해 보는 평가용 레일이다.

multimodal

multimodal은 AI가 텍스트만이 아니라 여러 형태의 정보를 함께 다루는 능력을 뜻한다. 여기서 mode는 정보의 형식이라고 생각하면 된다. 글, 이미지, 음성, 영상, 음악처럼 서로 다른 형식이 각각 하나의 모드다. multimodal은 이런 모드를 둘 이상 다룬다는 뜻이다.

예전의 많은 AI 활용은 텍스트 중심이었다. 질문을 글로 쓰고, 답도 글로 받았다. 하지만 이제는 이미지를 보고 설명하거나, 이미지를 바탕으로 글을 쓰거나, 영상을 이해하고 요약하거나, 텍스트로 이미지를 생성하는 일까지 가능해졌다. 즉, AI의 입과 귀와 눈이 조금씩 붙기 시작한 셈이다.

multimodal을 단순히 "이미지 생성"으로만 이해하면 좁다. 실제로는 입력과 출력 모두를 포함한다. 사진을 읽는 것도 멀티모달이고, 스크린샷을 분석하는 것도 멀티모달이며, 대본을 바탕으로 영상을 만드는 것도 멀티모달이다. 중요한 것은 서로 다른 표현 형식 사이를 오갈 수 있다는 점이다.

실무에서는 이 능력이 워크플로를 크게 바꾼다. 예를 들어 회의 화이트보드 사진을 정리해서 문서 초안으로 바꾸거나, 제품 이미지를 보고 광고 문구를 만들거나, 강의 영상을 요약해 학습 노트로 만드는 식이다. 텍스트만 다루던 AI보다 훨씬 넓은 영역을 건드릴 수 있다.

기억하기 쉽게 한 줄로 정리하면 이렇다. multimodal은 AI가 글만이 아니라 이미지, 음성, 영상 같은 여러 형식을 넘나들며 일하는 능력이다.

local LLM

local LLM은 내 컴퓨터나 내 소유 환경에서 직접 실행하는 대규모 언어 모델을 뜻한다. 보통 우리가 많이 쓰는 AI 서비스는 클라우드에 있는 모델에 접속해 결과를 받는다. 반면 local LLM은 모델을 로컬 환경에 내려받거나 배치해, 인터넷 너머의 서비스가 아니라 내 장비에서 추론을 돌리는 방식이다.

사람들이 local LLM에 관심을 갖는 이유는 분명하다. 민감한 데이터를 밖으로 보내지 않고 싶을 수 있고, 반복 사용 비용을 줄이고 싶을 수도 있으며, 도구 연결과 실험을 더 자유롭게 하고 싶을 수도 있다. 특히 개인용 AI 환경을 직접 만들고 싶은 사람에게는 꽤 매력적인 선택지다.

하지만 local LLM이 만능은 아니다. 모델 크기, 메모리, 속도, 품질, 설정 난이도 같은 현실적인 제약이 있다. 최고 성능의 클라우드 모델과 비교하면 품질 차이를 느낄 수도 있고, 긴 문맥이나 고급 추론, 멀티모달 기능에서 한계가 있을 수도 있다. 그러니 로컬은 무조건 좋고 클라우드는 무조건 나쁘다는 식으로 생각하면 곤란하다.

핵심은 용도에 맞게 보는 것이다. 개인 문서 정리, 사내 폐쇄망 사용, 가벼운 자동화, 실험용 환경 구축에는 local LLM이 잘 맞을 수 있다. 반면 최고 수준의 추론, 대규모 멀티모달 작업, 빠른 최신 성능 활용은 클라우드가 더 유리할 때가 많다. 그래서 이 책에서도 둘 중 하나만 고집하기보다, 함께 쓰는 전략을 강조했다.

기억하기 쉽게 한 줄로 정리하면 이렇다. local LLM은 AI를 빌려 쓰는 것이 아니라 내 환경에서 직접 돌리는 방식이다.

헷갈리기 쉬운 차이 한 번에 잡기

이 여섯 용어는 서로 연결되어 있지만, 가리키는 층위가 다르다. context는 AI가 이해해야 하는 배경 정보이고, agent는 그 정보를 바탕으로 실제 작업을 수행하는 구조다. MCP는 agent나 AI가 외부 도구와 연결되는 방식에 가깝고, harness는 그렇게 만든 시스템이 잘 작동하는지 시험하는 장치다. multimodal은 다룰 수 있는 정보 형식의 범위를 말하고, local LLM은 그 AI를 어디에서 실행하느냐의 문제다.

조금 더 직관적으로 비유해 보자. context는 요리할 때 레시피 옆에 붙은 상황 설명이고, agent는 실제로 요리를 진행하는 조리사다. MCP는 조리사가 오븐, 냉장고, 타이머를 표준 방식으로 쓰게 해 주는 연결 규칙이고, harness는 그 요리가 매번 같은 품질로 나오는지 점검하는 테스트 주방이다. multimodal은 글 레시피뿐 아니라 사진, 영상, 음성 지시까지 이해하는 능력이고, local LLM은 그 주방이 외부 식당이 아니라 내 집 주방에 있다는 뜻이다.

이렇게 층위를 나눠 보면 용어들이 덜 엉킨다. 어떤 말은 "무엇을 아는가"에 관한 것이고, 어떤 말은 "어떻게 일하는가"에 관한 것이며, 어떤 말은 "무엇과 연결되는가", "어디서 실행되는가", "어떻게 검증하는가"에 관한 것이다.

이 책 전체를 다시 묶는 여섯 단어

이 책의 큰 흐름은 사실 이 여섯 단어로 다시 요약할 수 있다. 먼저 좋은 결과를 얻으려면 프롬프트만이 아니라 context를 설계해야 한다. 다음으로 반복 성과를 내려면 한 번의 요청이 아니라 workflow와 agent 관점으로 넘어가야 한다. 그리고 AI를 더 쓸모 있게 만들려면 MCP 같은 연결 구조로 외부 도구를 붙여야 한다. 그 위에서 multimodal 능력은 적용 범위를 넓히고, local LLM은 운영 방식의 선택지를 넓힌다. 마지막으로 harness는 이 모든 것을 실제로 믿고 쓸 수 있게 만드는 검증 장치다.

즉, AI를 잘 쓴다는 것은 멋진 한 줄 프롬프트를 외우는 일이 아니다. 필요한 맥락을 주고, 적절한 작업 구조를 만들고, 도구를 연결하고, 여러 형식을 다루고, 환경을 선택하고, 결과를 검증하는 일이다. 이 부록의 용어들이 따로따로가 아니라 하나의 시스템처럼 보이기 시작하면, 책의 핵심을 제대로 잡은 것이다.

마지막 한 줄 요약

다시 아주 짧게 정리해 보자.

• context: AI가 이해해야 할 배경 정보

• agent: 목표를 향해 단계적으로 일하는 AI

• MCP: AI와 외부 도구를 잇는 표준 연결 방식

• harness: AI 시스템을 시험하고 평가하는 틀

• multimodal: 여러 정보 형식을 함께 다루는 능력

• local LLM: 내 환경에서 직접 실행하는 언어 모델

이 여섯 단어를 손에 쥐고 있으면, 앞으로 새로운 AI 도구를 만나도 훨씬 덜 헷갈린다. 이름은 바뀌어도 본질은 대개 이 안에서 다시 설명되기 때문이다. 결국 도구는 계속 바뀌지만, 이해의 축은 그렇게 자주 바뀌지 않는다.