인공지능 시대, LLM 확장이 남긴 '씁쓸한 교훈'과 미래 예측
인공지능(AI) 기술이 빠르게 진화하며, 우리가 대형 언어 모델(LLM)을 사용하는 방식도 크게 바뀌었습니다. 단순한 대화봇의 시대에서, 이제는 복잡한 커스터마이징과 다양한 확장 기능을 자유롭게 선택하는 사용자 중심 시대가 열리고 있죠. 오늘은 최근 수년간의 LLM 확장 역사와 그 안에 숨은 'The Bitter Lesson' — 그리고 앞으로의 AI 활용 전략까지, 쉽고 재미있게 풀어보려 합니다.
LLM 확장: 단순한 프롬프트에서 진화한 맞춤형 AI
LLM과의 첫 만남은 대체로 한 줄짜리 프롬프트 입력에서 시작됐습니다. 사용자는 명령을 입력하고, 모델은 그에 맞춰 반응했죠. 하지만 기대에 미치지 못하는 경우가 많았습니다. 어느 순간부터, "이 모델이 내 스타일과 목표에 꼭 맞게 반응하려면 어떻게 해야 하지?"라는 고민이 생기기 시작합니다.
이런 수요에 맞춰 AI 플랫폼들은 점차 더 강력한 확장 옵션을 내놓기 시작했습니다. 프롬프트 엔지니어링(문장 설계)으로부터 시작해서, API 연결, 코드 인터프리터, 커스텀 지침, 그리고 메모리 기능까지, 점점 더 섬세하게 사용자의 개별 환경과 요구에 맞출 수 있도록 진화하고 있죠.
도구 사용의 혁신: ChatGPT 플러그인부터 MCP까지
2023년에는 OpenAI가 ChatGPT 플러그인을 선보이며 "API 사양을 AI에 알려주면, 모델이 직접 다양한 도구를 사용하게 하자"는 야심찬 시도를 했습니다. 원래는 아주 똑똑한 AGI(범용 인공지능)처럼, 각종 REST API를 모델이 알아서 활용하는 그림이었습니다. 하지만 당시 모델(GPT-3.5, 초기 GPT-4)의 한계로 인해 API 검색에서 오류가 잦았고, 매번 플러그인을 직접 켜는 불편함도 있었죠.
이 과정에서 등장한 Code Interpreter(후에 Advanced Data Analysis)는 지금까지도 AI 개발 도구 및 데이터 분석에서 빼놓을 수 없는 핵심 기능으로 자리잡았습니다. 복잡한 코드 환경에서 직접 데이터를 해석하고, 사용자 의도에 맞춰 분석 결과를 내놓기 때문이죠.
반복적 설정의 해결책: 커스텀 지침과 저장된 규칙
프롬프트 반복 입력이 귀찮다는 불만은, 자연스럽게 "사용자 맞춤 설정"을 끌어냈습니다. OpenAI의 커스텀 지침(예: "항상 간결하게 대답해줘", "내 취향은 OO야" 등)은 각 챗마다 수동으로 입력하지 않고, 전체 대화에 적용할 수 있도록 설계되었습니다.
더 나아가, Cursor 같은 개발환경에서는 Git 저장소에 규칙 파일(.cursorrules)을 아예 보관해 두는 방식으로 진화했습니다. 예를 들어 "우리는 탭만 써", "콜론 대신 세미콜론 금지" 같은 조직별 코드 규칙을 디지털로 체계화한 셈이죠. 이처럼 단순한 텍스트 설정이 프로젝트 전체에 일관성을 불어넣습니다.
"진짜 AI 비서"의 등장: 자동 메모리와 애플리케이션 통합
2024년 이후에는 대화 내용과 사용자의 특성을 AI가 기억해 자동으로 활용하도록 하는 '메모리' 기능이 주목받았습니다. ChatGPT의 메모리 기능은 사용자가 별도의 설정 없이도, 과거 대화를 토대로 개인화된 답변을 제공합니다. 예를 들어, "채식주의자인데..."라고 한 번 언급하면, 다음 번에 식단을 물을 때 이미 그 정보를 반영합니다.
이처럼 메모리와 장기 상태 관리가 강화되면서, AI는 단순히 대화만 하는 존재를 넘어 실제로 사용자의 환경에 맞춰 '비서', '에이전트' 역할을 할 수 있게 됐죠.
모델 컨텍스트 프로토콜(MCP): AI와 도구의 본격적인 결합
Anthropic의 MCP(Model Context Protocol)는 2024년 말부터 본격 도입되어, 모델이 실제 도구(예: DB, 코드 저장소)를 직접 읽고 쓸 수 있게 되었습니다. 단순 프롬프트 추가 방식과 달리, MCP는 서버-클라이언트 구조로 툴·자원·프롬프트를 모델에게 직접 배포합니다.
여기서의 씁쓸한 교훈? 제대로 쓰자면 복잡한 설정이 필요하고, 일반 사용자가 쉽게 접근하기엔 UX 장벽이 큽니다. 그래서 ChatGPT 앱 등은 MCP를 최대한 사용자 친화적으로 감춰, 확장성과 접근성을 동시에 추구하고 있죠.
에이전트 스킬과 미래 애플리케이션의 청사진
2025년부터는 단순한 도구 연결을 넘어, '에이전트 스킬'이라는 새로운 확장 메커니즘이 Claude Code 등에 도입됐습니다. 이 방식은 복잡한 서버 통신보다는 폴더와 마크다운 파일 몇 개로 다양한 기능을 정의해, AI가 필요한 순간에 적절한 스킬만 꺼내 쓰게 만드는 방식입니다.
이 방식은 실은 ChatGPT 플러그인의 꿈, 즉 "모델에게 일반적인 툴을 자유롭게 주고 스스로 활용하게 만들자"는 아이디어의 진화형입니다. 한편으로는 범용 컴퓨터 접근 권한이 필요하다는 단점이 있지만, 점점 강력해지는 AI 모델 덕분에 직접 코드를 작성하고 실행하면서 필요한 작업을 똑똑하게 처리하는 시대가 현실이 되고 있습니다.
프롬프트 엔지니어링과 컨텍스트 관리: AI 시대의 필수 역량
이 모든 변화를 가능하게 한 핵심은 결국 '프롬프트 엔지니어링'과 '컨텍스트 관리'입니다. 프롬프트는 모델이 내 의도를 제대로 이해하게 만드는 설계법(문장 구조, 역할 부여, 스타일 지정 등)입니다. 초기 프롬프트 설계법에서부터, COSTAR·CREATE·CLEAR 같은 다양한 프레임워크(구조화 방법)까지, 프롬프트는 이미 AI 활용의 첫 번째 전략으로 떠올랐죠.
하지만 진짜 고수들은 '컨텍스트 엔지니어링'이라는 더 넓은 관점에서 접근합니다. 이 분야는 단순한 프롬프트를 넘어서, 사용자 메모리, 각종 자료(RAG), API 연결 등 '모델이 볼 수 있는 전체 정보'를 최적화하는 시스템 설계죠. 대화와 작업이 복잡해질수록, 더 영리하게 정보를 관리해야 AI가 제대로 작동합니다.
AI 확장 기술의 씁쓸한 교훈과 앞으로의 방향
많은 확장 기능들이 등장하며 시장은 빠르게 진화 중입니다. 하지만, 지나치게 복잡한 확장 방식(예: MCP)의 한계와, '모델 자체가 충분히 똑똑해졌을 때 자연어 프롬프트만으로 더 효과적인 에이전트가 된다'는 교훈이 다시금 주목을 받고 있습니다.
결국, LLM 확장 기술의 진짜 미래는 사용자 친화적인 접근과, 자연스러운 인간 중심 커스터마이징에 있습니다. 복잡한 설정 없이, '내가 원하는 대로, 간단하게' AI를 활용할 수 있는 환경—그게 진정한 혁신이죠.
마무리: AI 시대, ‘내 스타일’에 맞춘 확장을 어떻게 고를까?
LLM 확장을 고민할 때, 가장 중요한 것은 내 목표와 취향에 꼭 맞는 방식을 선택하는 일입니다. 단순 프롬프트 튜닝에서부터, 자동화된 메모리, 특화 스킬과 컨텍스트 관리까지, 다양한 옵션 중 '직관적이고 활용도가 높은 것'이 궁극적으로 승자가 될 가능성이 높습니다.
AI를 더 스마트하게 쓰고 싶다면?
반복적인 설정은 ‘커스텀 지침’이나 규칙 파일로 자동화
복잡한 툴 연동은 ‘에이전트 스킬’로 쉽게 추가
컨텍스트 엔지니어링으로 대화와 작업 정보를 체계적으로 관리
변화에 맞춰 최신 프롬프트 구조와 컨텍스트 전략 익히기
AI는 이미 내 컴퓨터, 앱, 환경에 찰떡같이 붙어 함께 일하는 동료가 됐습니다. 앞으로는 말 한마디, 파일 하나만 남겨도 ‘내 취향’대로 ‘한 번에’ 일하는 슈퍼비서 시대가 펼쳐질 거라 기대해도 좋겠습니다!
참고
[1] OpenAI & ChatGPT Timeline: From GPT-1 to GPT-5.1 (2025 Update) - ScriptByAI
[2] The strategic choice: Making sense of LLM customization | Red Hat Developer - Red Hat Developer
[3] Prompt Engineering Guide | IBM - IBM
[4] What is Context Engineering? - Applied AI Tools - Applied AI Tools