개요
이 강의는 "AI에이전트랩 - AI Agents in Action 2강"으로, LLM의 기본 작동 원리와 이를 활용해 자율형 AI 에이전트를 만들기 위한 준비 과정을 다룬다.1
핵심 주제는 LLM이 어떻게 텍스트를 생성하는지, 좋은 LLM 서비스가 어떤 학습 과정을 거쳐 만들어지는지, 그리고 이런 모델을 에이전트 시스템 안에서 어떻게 활용할 수 있는지다.
핵심 요약
LLM은 분류 모델이 아니라 생성 모델이다. 스팸 여부나 이미지의 종류를 고르는 방식이 아니라, 주어진 문맥 다음에 올 가능성이 높은 토큰을 확률적으로 예측하면서 새로운 텍스트를 이어간다.
성공적인 LLM 서비스는 하나의 요소만으로 만들어지지 않는다. 방대한 학습 데이터, 트랜스포머 기반 모델 아키텍처, 사용자의 지시를 따르도록 만드는 인스트럭션 튜닝, 특정 목적에 맞춘 파인튜닝이 함께 작동해야 한다.
트랜스포머와 자기주의 메커니즘은 현대 LLM의 핵심 구조다. 문장 안의 단어들이 서로 어떤 관계를 맺는지 계산하고, 긴 문맥을 더 잘 처리하며, 대규모 병렬 학습을 가능하게 한다.
사전학습만으로는 실제 서비스에 충분하지 않다. 모델이 언어 패턴을 배웠더라도 사용자의 의도를 정확히 따르거나 안전하고 유용한 답변을 보장하지는 못한다. 그래서 인스트럭션 튜닝과 RLHF 같은 정렬 과정이 필요하다.
AI 에이전트는 단순히 답변을 생성하는 챗봇을 넘어선다. 목표를 이해하고, 계획을 세우고, 필요한 도구를 선택하고, 외부 API를 호출해 실제 작업을 수행하는 시스템으로 발전한다.
분류 모델과 생성 모델의 차이
분류 모델은 입력된 데이터를 정해진 범주 중 하나로 판별한다. 예를 들어 이메일이 스팸인지 아닌지, 이미지가 고양이인지 강아지인지 판단하는 모델이 여기에 해당한다. 이 모델의 목표는 새로운 내용을 만드는 것이 아니라, 이미 정의된 선택지 중에서 가장 적절한 답을 고르는 것이다.
반면 생성 모델은 정해진 답을 고르지 않는다. 현재까지 주어진 문맥을 바탕으로 다음에 올 가능성이 높은 토큰을 예측하고, 그 과정을 반복하면서 문장을 만들어 낸다. LLM은 이런 생성 모델의 대표적인 예다.
이 차이를 이해하는 것은 중요하다. LLM의 답변은 데이터베이스에서 정답을 꺼내오는 방식이 아니라, 문맥상 자연스러운 텍스트를 확률적으로 구성하는 과정에 가깝다. 그래서 같은 질문에도 설정이나 temperature 값, 앞선 대화 맥락에 따라 답변이 달라질 수 있다.
LLM을 구성하는 네 가지 핵심 요소
LLM을 이해할 때는 학습 데이터, 모델 아키텍처, 인스트럭션 튜닝, 파인튜닝을 함께 봐야 한다.
학습 데이터는 모델이 언어와 세상에 대한 패턴을 배우는 기반이다. 웹 문서, 책, 코드, 위키피디아, 커뮤니티 텍스트 같은 대규모 자료가 여기에 포함된다. 데이터의 양도 중요하지만, 어떤 품질의 데이터로 학습했는지도 모델의 성능에 큰 영향을 준다.
모델 아키텍처는 데이터를 처리하는 신경망의 구조다. 현대 LLM에서는 트랜스포머가 핵심 구조로 사용된다. 트랜스포머는 문장 안의 단어들을 순서대로만 보는 것이 아니라, 서로의 관계를 계산하면서 문맥을 이해한다.
인스트럭션 튜닝은 모델이 사용자의 지시를 더 잘 따르도록 만드는 과정이다. 사전학습 모델은 언어를 이어 쓰는 능력은 갖고 있지만, "요약해줘", "비교해줘", "코드로 작성해줘" 같은 요청을 항상 기대한 방식으로 처리하지는 못한다. 인스트럭션 튜닝은 이런 사용자의 요청 형식을 모델이 더 잘 이해하게 만든다.
파인튜닝은 특정 분야나 업무에 맞게 모델을 더 세밀하게 조정하는 단계다. 예를 들어 법률, 의료, 고객 상담, 코딩 지원처럼 특정 도메인에서 필요한 응답 스타일과 지식을 강화할 수 있다.
트랜스포머와 자기주의 메커니즘
트랜스포머는 LLM이 긴 문맥을 이해하고 대규모 학습을 수행할 수 있게 만든 핵심 기술이다. 기존 방식보다 병렬 처리가 유리하기 때문에 많은 데이터를 빠르게 학습하는 데 적합하다.
자기주의 메커니즘은 문장 안의 각 토큰이 다른 토큰들과 얼마나 관련이 있는지를 계산한다. 예를 들어 어떤 단어의 의미가 앞 문장에 나온 특정 표현과 강하게 연결되어 있다면, 모델은 그 관계에 더 큰 비중을 둔다.
이 구조 덕분에 LLM은 단순히 바로 앞 단어만 보고 다음 단어를 고르는 것이 아니라, 전체 문맥 안에서 중요한 정보를 참고할 수 있다. 에이전트 관점에서도 이 능력은 중요하다. 에이전트는 사용자의 목표, 이전 대화, 도구 호출 결과를 함께 고려해야 하기 때문이다.
사전학습 이후의 정렬 과정
사전학습은 LLM이 방대한 텍스트에서 언어 패턴과 지식을 익히는 단계다. 이 단계에서 모델은 문법, 상식, 코드 구조, 문서 형식 등 다양한 패턴을 배운다.
하지만 사전학습만 끝난 모델은 실제 사용자가 원하는 답변을 안정적으로 제공하기 어렵다. 사용자의 의도를 오해할 수 있고, 불필요하게 장황하거나 위험한 답변을 할 수도 있다. 즉, 언어를 그럴듯하게 이어 쓰는 능력과 좋은 assistant처럼 행동하는 능력은 다르다.
그래서 인스트럭션 튜닝과 RLHF가 필요하다. 인스트럭션 튜닝은 지시를 따르는 능력을 높이고, RLHF는 인간의 선호와 피드백을 반영해 더 유용하고 안전한 답변을 하도록 모델을 조정한다. 이 과정은 모델을 단순한 텍스트 생성기에서 실제 서비스에 가까운 대화형 시스템으로 바꾸는 핵심 단계다.
API와 메시지 구조
LLM을 실제 애플리케이션에서 사용하려면 API 구조를 이해해야 한다. 특히 Chat Completion 방식에서는 시스템, 사용자, 어시스턴트 역할 구분이 중요하다.
시스템 메시지는 모델의 전체 행동 규칙과 역할을 정한다. 예를 들어 "너는 친절한 튜터다" 또는 "간결하게 답하라" 같은 지침이 여기에 들어간다.
사용자 메시지는 실제 사용자의 요청이다. 질문, 명령, 입력 데이터 등이 포함된다. 어시스턴트 메시지는 모델이 생성한 응답을 의미하며, 대화가 이어질 때 이전 응답 역시 문맥의 일부가 된다.
temperature 값도 중요한 설정이다. temperature가 낮으면 더 일관되고 예측 가능한 답변이 나오기 쉽고, 높으면 더 다양하고 창의적인 답변이 나올 수 있다. 에이전트를 만들 때는 작업 성격에 따라 이 값을 조절해야 한다. 예를 들어 계산, 추출, 분류처럼 정확성이 중요한 작업에서는 낮은 값이 유리하고, 아이디어 생성처럼 다양성이 필요한 작업에서는 상대적으로 높은 값이 도움이 될 수 있다.
실습 준비와 보안
자율형 에이전트를 만들려면 개념 이해만으로는 부족하다. 실제 개발 환경을 준비하고, API를 호출하고, 필요한 패키지를 설치하며, 실행 흐름을 구성할 수 있어야 한다.
가상환경 설정은 프로젝트별 의존성을 분리하는 데 도움이 된다. 패키지 설치와 버전 관리를 안정적으로 할 수 있고, 다른 프로젝트와 충돌할 가능성을 줄인다.
API 키 관리도 매우 중요하다. 키를 코드에 직접 적어두면 저장소 업로드나 공유 과정에서 유출될 수 있다. API 키가 노출되면 무단 사용으로 비용이 발생하거나 서비스 접근 권한이 악용될 수 있다.
따라서 API 키는 환경변수나 .env 파일로 관리하는 것이 좋다. 에이전트는 외부 API와 도구를 자주 연결하기 때문에, 초기 단계부터 보안 습관을 갖추는 것이 중요하다.
AI 에이전트 관점의 의미
LLM은 에이전트의 언어 이해와 판단 능력의 기반이다. 사용자의 요청을 해석하고, 현재 상황을 설명하고, 다음 행동을 자연어로 계획하는 데 LLM이 중심 역할을 한다.
하지만 LLM만 있다고 에이전트가 되는 것은 아니다. 에이전트는 목표를 세분화하고, 필요한 단계를 계획하고, 도구를 선택하고, 외부 시스템을 호출하고, 그 결과를 다시 해석할 수 있어야 한다.
따라서 에이전트 개발자는 모델의 작동 원리뿐 아니라 API 구조, 프롬프트 설계, 실행 환경, 보안 관리까지 함께 이해해야 한다. LLM을 잘 쓰는 능력은 단순히 좋은 질문을 던지는 수준을 넘어, 모델이 실제 작업 흐름 안에서 안전하고 일관되게 움직이도록 설계하는 능력에 가깝다.
핵심 키워드
LLM, 생성 모델, 분류 모델, 트랜스포머, 자기주의 메커니즘, 사전학습, 인스트럭션 튜닝, 파인튜닝, RLHF, Chat Completion, API 키 보안, AI 에이전트
한 줄 정리
이 강의는 LLM이 문맥에 맞는 텍스트를 생성하고 인간의 지시에 맞게 조정되는 과정을 설명하며, 이를 바탕으로 자율형 AI 에이전트를 만들기 위한 개념적·실습적 토대를 제공한다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.