6부 29장. 도구를 쓰는 AI, 계획하는 AI, 실행하는 AI

에이전트도 다 같은 에이전트가 아니다

앞 장에서 우리는 챗봇과 에이전트의 차이를 살펴봤다. 챗봇의 중심이 대답이라면, 에이전트의 중심은 수행이라는 점도 확인했다. 그런데 여기서 한 가지 질문이 더 남는다.

모든 에이전트가 같은 수준으로 일할까?

그렇지는 않다. 어떤 AI는 문서와 검색 도구를 불러와 참고할 수 있다. 어떤 AI는 해야 할 일을 순서대로 나누고 계획을 세운다. 어떤 AI는 거기서 멈추지 않고 실제로 파일을 수정하고, 테스트를 돌리고, 메시지를 보내고, 작업을 끝까지 밀고 간다.

겉으로는 전부 "에이전트"처럼 보일 수 있다. 하지만 실제 능력은 꽤 다르다. 이 차이를 구분하지 못하면, 별것 아닌 도구 호출도 대단한 자율성처럼 보이고, 반대로 꽤 강력한 실행 시스템도 그냥 똑똑한 챗봇 정도로 오해하게 된다.

이번 장의 핵심은 간단하다. 에이전트를 볼 때는 이름보다 무엇을 할 수 있는가를 봐야 한다. 특히 다음 세 층위를 구분할 수 있어야 한다.

• 도구를 쓰는 AI

• 계획하는 AI

• 실행하는 AI

이 세 가지를 구분하면, 어떤 AI 도구가 실제로 어느 수준까지 일을 대신할 수 있는지 훨씬 정확하게 판단할 수 있다.

첫 번째 층위: 도구를 쓰는 AI

가장 먼저 이해할 층위는 도구를 쓰는 AI다. 이것은 말 그대로 자기 머릿속 말만 하는 것이 아니라, 바깥의 자원에 손을 뻗을 수 있는 AI다.

예를 들어 검색을 한다. 파일을 읽는다. 데이터베이스를 조회한다. 캘린더를 확인한다. 코드 저장소를 훑는다. 이런 행동이 가능해지면 AI는 더 이상 "아는 척만 하는 존재"에 머물지 않는다. 실제 자료를 보고 대답할 수 있기 때문이다.

이 차이는 생각보다 크다. 도구가 없는 AI는 질문을 받으면 학습된 지식과 현재 대화만 바탕으로 답한다. 반면 도구를 쓰는 AI는 지금 필요한 문서를 직접 확인하고, 최신 정보를 검색하고, 실제 파일 내용에 근거해 답할 수 있다.

그래서 도구 사용 능력은 에이전트의 출발점이라고 할 수 있다. 입으로만 일하던 AI가 손과 눈을 갖게 되는 순간이기 때문이다.

하지만 여기서 흔히 생기는 착각이 있다. 도구를 쓴다고 곧바로 높은 수준의 에이전트가 되는 것은 아니다.

검색 한 번 해 보고 요약해 주는 AI는 유용하다. 문서 한 개를 읽고 핵심을 정리해 주는 AI도 쓸모가 크다. 하지만 그것만으로는 아직 "작업을 운영한다"고 보기 어렵다. 그저 도구가 달린 챗봇일 수도 있다.

쉽게 말하면 이 단계의 AI는 필요한 연장을 집어 들 수는 있지만, 그 연장을 어떤 순서로 써서 무엇을 완성해야 하는지까지는 아직 약한 경우가 많다.

도구 사용이 중요한 이유

그렇다고 도구 사용 층위를 가볍게 보면 안 된다. 실무에서 많은 문제는 사실 이 단계만 제대로 되어도 크게 좋아진다.

예를 들어 사내 문서를 읽을 수 있는 AI는 회의 준비를 훨씬 잘 도와준다. 코드베이스를 읽을 수 있는 AI는 막연한 설명 대신 실제 파일을 보고 조언할 수 있다. 검색 도구가 연결된 AI는 최신 동향 정리나 자료 수집에서 훨씬 현실적인 도움을 준다.

즉, 도구 사용은 에이전트의 시작점이면서, 동시에 많은 업무에서 이미 큰 생산성 차이를 만드는 능력이다.

다만 이 단계의 한계도 분명하다. 대개 이런 시스템은 사용자가 "이 파일 읽어 줘", "이 링크 확인해 줘", "이 자료를 비교해 줘"라고 하나씩 방향을 잡아 줘야 한다. 무엇을 먼저 봐야 하는지, 다음에 무엇이 필요한지, 부족한 정보는 무엇인지까지 스스로 이어 가는 힘은 아직 제한적일 수 있다.

두 번째 층위: 계획하는 AI

다음은 계획하는 AI다. 이 단계부터는 AI가 단순히 도구를 사용할 수 있는 수준을 넘어, 무엇을 어떤 순서로 해야 할지 정리하는 능력을 갖는다.

예를 들어 사용자가 "경쟁사 분석 보고서를 만들어 줘"라고 말하면, 계획하는 AI는 바로 보고서를 쓰기보다 먼저 머릿속에서 일을 나눈다.

먼저 대상 경쟁사를 확인해야 한다. 그다음 비교 기준을 정해야 한다. 자료를 수집해야 한다. 중복되거나 부족한 정보를 확인해야 한다. 마지막으로 보고서 형식으로 정리해야 한다.

이런 식으로 과업을 쪼개고 순서를 세우는 것이 계획이다.

사람도 비슷하게 일한다. 막연한 큰일을 받으면 곧바로 완성본부터 만들지 않는다. 해야 할 일을 나누고, 우선순위를 정하고, 중간 점검 지점을 잡는다. 계획하는 AI는 이 과정을 어느 정도 흉내 낼 수 있다.

이 층위의 장점은 분명하다. 복잡한 작업을 한 번의 대답으로 뭉개지 않고, 여러 단계로 나누어 다룰 수 있게 된다. 덕분에 작업 품질이 좋아지고, 빠진 부분을 발견하기 쉬워진다.

하지만 여기서도 주의할 점이 있다. 계획을 세운다고 실행을 잘하는 것은 아니다.

여행 일정표를 아주 멋지게 짜는 사람과, 실제로 항공편을 비교하고 예약 조건을 확인하고 비용을 맞추는 사람은 다를 수 있다. AI도 마찬가지다. 계획은 그럴듯하지만, 정작 실제 행동 연결이 약한 경우가 많다.

좋은 계획과 그럴듯한 계획은 다르다

계획하는 AI를 평가할 때는 계획이 길고 화려한지보다, 작업에 맞게 현실적인지를 봐야 한다.

가끔 AI는 지나치게 복잡한 계획을 세운다. 세 단계면 될 일을 열두 단계로 늘리고, 중요한 확인은 빠뜨린 채 겉보기에만 그럴듯한 로드맵을 만든다. 이것은 계획처럼 보이지만 실제로는 장식에 가깝다.

좋은 계획은 복잡한 말이 아니라 올바른 순서다. 무엇을 먼저 확인해야 하는지, 어디서 실패할 가능성이 큰지, 언제 사람에게 다시 물어야 하는지, 언제 멈추고 검토해야 하는지가 담겨 있어야 한다.

즉, 계획하는 AI는 "생각하는 척"하는 AI가 아니라, 작업 구조를 세울 수 있는 AI여야 한다.

세 번째 층위: 실행하는 AI

세 번째는 실행하는 AI다. 여기서부터 에이전트라는 말이 훨씬 실감 나기 시작한다.

실행하는 AI는 자료를 읽고 계획을 세우는 데서 멈추지 않는다. 실제로 행동을 이어 간다. 파일을 생성한다. 코드를 수정한다. 테스트를 실행한다. 초안을 저장한다. 티켓을 만든다. 메시지를 보낸다. 일정 후보를 등록한다.

중요한 것은 "문장을 많이 만든다"가 아니라 세상에 흔적을 남긴다는 점이다.

예를 들어 버그 수정 작업을 생각해 보자. 도구를 쓰는 AI는 로그를 읽고 관련 파일을 찾아 줄 수 있다. 계획하는 AI는 어떤 순서로 원인을 좁혀 갈지 제안할 수 있다. 실행하는 AI는 테스트를 돌리고, 수정 패치를 만들고, 다시 테스트해 결과를 비교하고, 필요한 경우 다른 접근으로 재시도할 수 있다.

이 차이는 아주 크다. 실행하는 AI는 사용자의 손발 일부를 실제로 대신하기 시작한다.

물론 그래서 더 강력하고, 동시에 더 위험하다. 잘못된 파일을 고칠 수도 있고, 엉뚱한 메시지를 보낼 수도 있고, 문제를 해결하려다 더 큰 문제를 만들 수도 있다. 실행 능력은 곧 책임 문제를 불러온다.

실행 능력은 왜 특별한가

실행은 단순한 기능 추가가 아니다. 다른 두 층위를 한데 묶어 현실 세계로 밀어 넣는 단계다.

도구 사용이 눈과 손이라면, 계획은 머리다. 실행은 걸음이다. 걸음을 떼는 순간부터 AI는 더 이상 조언가만이 아니다. 실제 작업 참가자가 된다.

그래서 실행하는 AI를 볼 때는 능력만 보면 안 된다. 권한, 범위, 검토, 중단 조건을 함께 봐야 한다. 예를 들어 다음 질문이 중요하다.

• 무엇을 실행할 수 있는가?

• 어디까지 자동으로 해도 되는가?

• 어떤 단계에서 사람 승인이 필요한가?

• 실패했을 때 어떻게 되돌릴 수 있는가?

• 잘못된 방향으로 가면 언제 멈추는가?

실행이 붙는 순간부터 에이전트 평가는 "똑똑한가"의 문제가 아니라 "안전하고 믿을 만한가"의 문제로 확장된다.

세 층위를 한눈에 보면

세 층위는 서로 끊어진 별개가 아니라, 점점 더 많은 책임을 지는 방향으로 쌓인다.

도구를 쓰는 AI는 바깥의 정보를 다룰 수 있다. 계획하는 AI는 그 정보를 바탕으로 작업 순서를 세울 수 있다. 실행하는 AI는 그 순서를 따라 실제 행동을 수행할 수 있다.

같은 요청을 예로 들어 보면 차이가 더 잘 보인다.

"지난 분기 고객 이탈 원인을 분석해 보고서를 만들어 줘"라는 요청이 들어왔다고 하자.

도구를 쓰는 AI는 CRM 데이터, 회의록, 고객 인터뷰 문서를 읽고 요약해 줄 수 있다.

계획하는 AI는 먼저 이탈 고객군을 나누고, 주요 원인을 분류하고, 정성 자료와 정량 자료를 맞춰 보고, 마지막에 경영진용 요약과 실무팀용 세부 분석을 따로 만들겠다는 식으로 접근할 수 있다.

실행하는 AI는 실제로 파일을 모으고, 필요한 쿼리를 실행하고, 보고서 초안을 생성하고, 검토 버전을 저장하고, 누락 데이터가 있으면 사용자에게 확인을 요청하며 작업을 이어 갈 수 있다.

세 시스템 모두 도움은 준다. 하지만 도움의 방식과 맡길 수 있는 범위가 완전히 다르다.

현실에서는 층위가 섞여 있다

여기서 기억해야 할 점이 하나 있다. 실제 제품은 이 세 칸 중 하나에만 깔끔하게 들어가지 않는다.

어떤 시스템은 도구 사용은 강하지만 계획 능력은 약하다. 또 어떤 시스템은 멋진 계획을 세우지만 실제 실행 범위는 매우 좁다. 어떤 시스템은 제한된 실행만 가능하다. 예를 들어 파일 읽기와 초안 작성은 자동으로 하지만, 메일 발송이나 코드 반영은 반드시 사람 승인을 받게 설계할 수 있다.

즉, 이것은 계단처럼 딱 끊기는 구분이라기보다 기능의 조합에 가깝다.

그래도 이 구분이 중요한 이유는 있다. 그래야 "이 AI는 검색도 하니까 다 되는 에이전트다" 같은 과장을 피할 수 있다. 반대로 "계획만 잘하지 실제 일은 못 하네" 같은 한계도 정확히 볼 수 있다.

더 높은 층위가 항상 더 좋은 것은 아니다

많은 사람은 실행하는 AI가 가장 발전된 형태이니 언제나 최고라고 생각한다. 하지만 실제로는 그렇지 않다.

간단한 개념 설명, 초안 작성, 아이디어 정리처럼 사람의 판단이 중심인 일은 도구 없이도 충분한 경우가 많다. 사내 문서 몇 개만 참고해 답하면 되는 일은 도구 사용 층위면 충분할 수 있다. 큰 그림을 먼저 설계해야 하는 기획 업무는 계획 층위가 가장 중요할 수 있다.

실행이 붙으면 편해지는 만큼 관리 비용도 늘어난다. 권한을 나눠야 하고, 실수를 막아야 하고, 결과를 검토해야 한다. 괜히 작은 일을 거창한 에이전트로 만들면 오히려 느려지고 복잡해질 수 있다.

즉, 핵심은 "가장 높은 단계"를 찾는 것이 아니라 작업에 맞는 단계를 고르는 것이다.

망치가 강력하다고 해서 모든 일을 못으로 만들 필요는 없다.

에이전트를 판단할 때 던져야 할 질문

에이전트 도구를 만났을 때는 광고 문구보다 다음 질문을 먼저 떠올리는 편이 좋다.

첫째, 이 AI는 실제 도구에 접근할 수 있는가? 아니면 그냥 설명만 하는가?

둘째, 작업을 스스로 하위 단계로 나눌 수 있는가? 우선순위를 정할 수 있는가?

셋째, 계획을 세운 뒤 실제 행동으로 이어 가는가? 아니면 사용자 지시를 매번 기다리는가?

넷째, 중간 결과를 보고 방향을 조정하는가? 실패를 감지하고 다시 시도하는가?

다섯째, 실행 권한과 중단 조건이 분명한가? 잘못될 때 누가 브레이크를 잡는가?

이 질문에 답하다 보면, 그 시스템이 단순한 도구 호출형인지, 계획형인지, 실행형인지 꽤 분명해진다.

초보 사용자가 특히 자주 하는 오해

이 부분은 꼭 짚고 넘어가야 한다. 초보 사용자는 종종 다음 두 가지를 헷갈린다.

하나는 도구 사용과 자율성을 같은 것으로 보는 것이다. AI가 파일 하나 읽었다고 해서 알아서 다 하는 것은 아니다.

다른 하나는 계획과 성과를 같은 것으로 보는 것이다. 멋진 단계 목록을 써 줬다고 해서 실제로 일이 끝난 것은 아니다.

결국 중요한 것은 "무엇을 말했는가"보다 "무엇을 실제로 해냈는가"다.

에이전트를 제대로 보려면 설명, 계획, 실행을 분리해서 봐야 한다. 그래야 어디가 강하고 어디가 약한지 보인다.

실무에서 가장 유용한 관점: 맡길 수 있는 범위를 구분하라

이 장의 내용을 실전에 바로 연결하려면, 에이전트를 볼 때 "이 도구는 무엇이냐"보다 "여기까지 맡길 수 있느냐"를 묻는 습관이 필요하다.

도구 사용형 AI에게는 자료 수집, 문서 읽기, 근거 정리 같은 일을 맡기면 좋다.

계획형 AI에게는 복잡한 작업의 구조화, 체크리스트 작성, 단계 설계, 리스크 점검 같은 일을 맡기면 좋다.

실행형 AI에게는 범위가 명확하고 되돌릴 수 있으며 검증 가능한 작업을 맡기는 것이 좋다. 예를 들어 테스트 실행, 초안 생성, 파일 변환, 정해진 형식의 문서 갱신 같은 일부터 시작하는 편이 안전하다.

이렇게 보면 에이전트는 마법 상자가 아니라, 서로 다른 수준의 책임을 가진 작업 파트너처럼 보이기 시작한다. 이 관점이 생기면 기대도 더 정확해지고, 설계도 더 현실적이 된다.

결국 핵심은 세 가지를 따로 보는 눈이다

앞으로 에이전트라는 말을 들을 때마다 이렇게 생각하면 된다.

이 AI는 도구를 쓸 수 있는가?

이 AI는 계획을 세울 수 있는가?

이 AI는 실행까지 이어 갈 수 있는가?

이 셋은 비슷해 보이지만 서로 다른 능력이다. 도구 사용은 정보 접근의 문제다. 계획은 작업 구조화의 문제다. 실행은 책임 있는 행동의 문제다.

이 차이를 이해하는 순간, 에이전트에 대한 눈이 훨씬 선명해진다. 제품 소개 문구에 휘둘리지 않고, 실제 능력을 냉정하게 볼 수 있다. 무엇을 맡기고 무엇은 아직 사람이 붙들고 있어야 하는지도 훨씬 잘 판단하게 된다.

이 장의 정리

에이전트는 하나의 덩어리가 아니다. 기능의 층위로 나누어 볼 필요가 있다.

도구를 쓰는 AI는 외부 자료와 시스템에 접근해 더 현실적인 답을 만든다. 계획하는 AI는 복잡한 작업을 단계로 나누고 순서를 세운다. 실행하는 AI는 실제 행동을 이어 가며 세상에 결과를 남긴다.

이 세 층위를 구분할 수 있으면, 어떤 AI가 어느 수준까지 일을 대신할 수 있는지 더 정확하게 판단할 수 있다. 그리고 그 판단은 곧 사용 전략으로 이어진다. 자료 조사만 맡길 것인지, 계획 수립까지 맡길 것인지, 아니면 실행까지 넘길 것인지가 선명해지기 때문이다.

다음 장에서는 이 논의를 한 걸음 더 확장해 본다. 에이전트가 하나일 때와 여러 개일 때는 무엇이 달라질까. 싱글 에이전트와 멀티 에이전트를 이해하면, 이제 우리는 에이전트의 구조를 더 입체적으로 보게 된다.