10부 51장. 왜 로컬에서 돌리려 하는가

AI를 쓰다 보면 어느 순간 이런 생각이 든다. "매번 인터넷으로 보내야 하나?" "이 문서, 이 코드, 이 회의록을 외부 서버에 올려도 괜찮을까?" "구독료와 사용량 비용이 계속 늘어나는데, 다른 방법은 없을까?"

바로 이 지점에서 사람들은 로컬 AI, 더 정확히는 내 컴퓨터나 내 장비에서 직접 돌아가는 LLM에 관심을 갖기 시작한다. 처음에는 마니아의 취미처럼 보일 수 있다. 성능 수치를 비교하고, GPU를 이야기하고, 모델 파일을 내려받는 모습만 보면 더 그렇게 느껴진다. 하지만 실제 이유는 훨씬 현실적이다. 많은 사람은 재미가 아니라 프라이버시, 비용, 통제권 때문에 로컬 실행을 찾는다.

이 장의 핵심은 단순하다. 로컬 AI는 "신기한 장난감"이 아니라, 어떤 상황에서는 매우 실용적인 선택이라는 점이다.

로컬에서 돌린다는 것은 무엇인가

로컬에서 AI를 돌린다는 말은, 질문을 던졌을 때 그 처리가 주로 내 기기 안에서 이루어진다는 뜻이다. 노트북, 데스크톱, 개인 서버, 사내 장비 등 형태는 다양할 수 있다. 중요한 것은 요청과 응답의 핵심 경로를 내가 관리한다는 점이다.

클라우드 AI는 편하다. 접속하면 바로 쓸 수 있고, 대체로 최신 모델을 빠르게 이용할 수 있다. 반면 로컬 AI는 준비가 필요하다. 모델을 내려받아야 하고, 하드웨어 여건도 따져야 하며, 속도와 품질도 직접 맞춰야 한다.

그런데도 많은 사람이 로컬을 진지하게 검토하는 이유는 분명하다. 편의성 하나만으로는 해결되지 않는 문제가 있기 때문이다.

첫 번째 이유: 내 데이터를 내가 지키고 싶어서

가장 먼저 등장하는 이유는 거의 언제나 프라이버시다.

우리는 AI에 생각보다 많은 것을 넣는다. 업무 문서, 고객 정보, 미공개 기획안, 계약서 초안, 연구 노트, 개인 메모, 일기, 건강 기록, 소스 코드, 서버 설정 파일까지 들어간다. 문제는 이 정보들이 단순한 텍스트가 아니라는 점이다. 그것은 곧 나의 일, 나의 관계, 나의 책임이기도 하다.

클라우드 서비스를 쓸 때는 보안 정책, 저장 정책, 학습 사용 여부, 로그 보존 여부, 지역 규정 같은 요소를 신경 써야 한다. 대형 서비스는 대체로 상당한 보안 체계를 갖추고 있지만, 사용자는 여전히 질문하게 된다.

"정말 이 문서를 외부에 보내도 되는가?"

이 질문에 조금이라도 망설임이 생기면, 로컬 실행은 갑자기 매력적인 선택이 된다. 문서가 내 컴퓨터 안에 머무르고, 처리도 내 환경에서 이루어지면 심리적 부담이 크게 줄어든다. 특히 다음과 같은 상황에서는 그 차이가 크다.

• 회사 내부 문서를 자주 다룰 때

• 고객 데이터나 민감 정보를 포함한 텍스트를 분석할 때

• 외부 전송 자체가 규정상 까다로운 조직에 있을 때

여기서 중요한 것은 "클라우드는 위험하고 로컬은 안전하다"라는 단순한 구도가 아니다. 진짜 핵심은 데이터의 이동 경로와 보관 위치를 내가 더 명확히 이해하고 관리할 수 있느냐다. 로컬은 그 통제 범위를 넓혀 준다.

두 번째 이유: 비용을 예측하고 싶어서

AI를 많이 쓰기 시작하면 비용 구조도 달라진다. 가볍게 질문 몇 번 하는 수준에서는 클라우드가 매우 합리적이다. 하지만 다음 단계로 넘어가면 상황이 바뀐다.

예를 들어 긴 문서를 반복해서 요약하고, 회의록을 매일 정리하고, 코드베이스를 자주 분석하고, 개인 지식창고를 계속 검색하며, 여러 번 재질문과 재작성까지 한다고 해 보자. 이때는 사용량이 생각보다 빠르게 불어난다.

처음에는 "한 번에 몇 원, 몇십 원이니까 괜찮네"라고 느낀다. 그런데 하루에 수십 번, 일주일에 수백 번, 팀 단위로는 수천 번 호출이 쌓이기 시작하면 이야기가 달라진다. 특히 긴 문맥을 자주 넣는 작업은 비용 부담이 커질 수 있다.

이때 로컬 AI는 다른 계산법을 제시한다. 초기 세팅 비용이나 장비 비용은 들 수 있지만, 한 번 환경을 갖추면 반복 사용 비용이 매우 낮아지거나 거의 고정비처럼 느껴질 수 있다.

물론 공짜는 아니다. 전기료도 들고, 장비 구매비도 들고, 세팅하는 시간도 비용이다. 그래도 어떤 사용자에게는 "쓸 때마다 과금되는 구조"보다 "미리 투자하고 마음껏 쓰는 구조"가 더 편하다.

특히 실험을 많이 하는 사람에게 그렇다. 프롬프트를 조금 바꾸고, 다시 돌리고, 출력 형식을 바꾸고, 문서를 나눠 넣고, 비교 테스트를 반복하는 과정에서는 호출 1회당 비용보다 마음 놓고 시도할 수 있는 자유가 더 중요해진다.

세 번째 이유: 통제권을 갖고 싶어서

로컬 AI의 가장 큰 매력은 어쩌면 성능이 아니라 통제감이다.

클라우드 환경에서는 대개 사용자가 서비스가 정해 놓은 틀 안에서 움직인다. 어떤 모델을 쓸 수 있는지, 어떤 기능이 제공되는지, 어떤 제한이 있는지, 얼마나 긴 문맥을 허용하는지, 응답 속도가 어떤지, 정책이 언제 바뀌는지는 대체로 서비스 제공자가 정한다.

반면 로컬 환경에서는 내가 정할 수 있는 것이 많아진다. 예를 들어 이런 선택들이 가능해진다.

• 어떤 모델을 내려받아 쓸지

• 어떤 파일과 데이터를 연결할지

• 어떤 워크플로를 자동화할지

• 어떤 버전을 유지하고 언제 바꿀지

• 인터넷 없이도 돌아가게 만들지

이 통제권은 단순한 취향 문제가 아니다. 실무에서는 매우 현실적인 가치가 된다. 어떤 팀은 특정 버전의 모델로 검토 기준을 맞추고 싶어 한다. 어떤 개발자는 코드 보조 환경을 자기 저장소 구조에 딱 맞게 구성하고 싶어 한다. 어떤 연구자는 외부 정책 변경에 흔들리지 않는 재현 가능한 실험 환경을 원한다.

즉, 로컬을 찾는 이유는 "내가 직접 만지고 싶어서"가 아니라 내 작업 방식에 맞는 AI 환경을 만들고 싶어서인 경우가 많다.

네 번째 이유: 연결이 불안정해도 쓰고 싶어서

우리는 AI를 언제나 빠른 인터넷이 있는 곳에서만 쓰는 것처럼 생각하기 쉽다. 하지만 실제 작업 환경은 그렇지 않다. 이동 중일 수도 있고, 보안상 외부 접속이 제한된 망 안에 있을 수도 있고, 네트워크가 느린 환경일 수도 있다.

이럴 때 로컬 AI는 아주 단순한 장점을 준다. 연결 상태와 관계없이 계속 일할 수 있다는 점이다.

물론 모든 기능이 완전히 오프라인으로 대체되는 것은 아니다. 웹 검색이나 외부 API 연동은 당연히 제한된다. 그래도 문서 요약, 초안 작성, 코드 설명, 로컬 파일 기반 질의응답, 아이디어 정리 같은 일은 충분히 가능한 경우가 많다.

이 차이는 생각보다 크다. AI가 인터넷이 될 때만 켜는 도구가 아니라, 컴퓨터의 기본 작업 환경 일부가 되기 때문이다.

다섯 번째 이유: 개인화된 작업 환경을 만들 수 있어서

로컬 AI에 관심을 갖는 사람들 중에는 "내 자료를 바탕으로 오래 함께 일하는 조수"를 만들고 싶은 사람이 많다.

클라우드 서비스에서도 어느 정도는 가능하다. 하지만 로컬 환경은 파일 시스템, 메모 폴더, 프로젝트 문서, 개인 지식베이스, 코드 저장소 같은 자산을 더 촘촘히 연결하는 데 유리할 수 있다. 즉, 내 컴퓨터 안에 쌓여 있는 실제 작업 흔적과 AI를 이어 붙이기 쉽다.

이 말은 곧 AI를 일회성 질문 도구가 아니라 지속적으로 함께 쓰는 환경으로 바꿀 수 있다는 뜻이다.

예를 들어 어떤 사람은 이런 식으로 쓰고 싶어 한다.

"내 문서 폴더를 읽고 회의 준비 메모를 만들어 줘." "이 프로젝트 저장소를 보고 변경 위험 구간을 알려 줘." "지난달 작성한 보고서 톤을 참고해서 이번 초안을 써 줘."

이런 사용 방식은 단순한 대화형 AI보다, 로컬 파일과 습관과 워크플로에 가까운 AI를 필요로 한다. 그래서 로컬 실행은 자연스럽게 '내 작업 환경 설계'의 문제로 이어진다.

로컬을 찾는 사람은 누구인가

로컬 AI는 모든 사람의 기본 선택은 아니다. 하지만 특정한 사용자에게는 점점 더 자연스러운 선택이 된다.

먼저, 민감한 자료를 많이 다루는 사람이다. 법무, 연구, 개발, 기획, 재무, 의료, 교육처럼 문서의 성격이 중요한 분야에서는 외부 전송 여부 자체가 큰 이슈가 될 수 있다.

다음으로, AI를 아주 자주 쓰는 사람이다. 하루에 한두 번이 아니라, 작업 흐름 곳곳에서 계속 호출하는 사람에게는 비용과 속도, 세팅 자유도가 중요한 기준이 된다.

또한, 자기만의 환경을 만들고 싶은 사람도 로컬에 끌린다. 이미 생산성 도구를 직접 조합해 써 본 경험이 있는 사람일수록 로컬 AI를 "모델"이 아니라 "작업 인프라"로 본다.

로컬은 반클라우드 운동이 아니다

여기서 오해하지 말아야 할 것이 있다. 로컬을 선택한다고 해서 클라우드를 부정하는 것은 아니다. 대부분의 경우 현실적인 답은 둘 중 하나만 고르는 것이 아니라 둘을 목적에 따라 나누어 쓰는 것에 가깝다.

예를 들어 가장 높은 품질의 추론이 필요하거나, 최신 대형 모델 성능이 중요하거나, 멀티모달 기능이 풍부해야 하거나, 협업 서비스와 바로 연결되어야 하는 작업은 여전히 클라우드가 강하다.

반대로 개인 문서 정리, 사내 텍스트 분류, 코드베이스 보조, 반복 요약, 오프라인 작업, 민감 정보 처리처럼 통제와 프라이버시가 중요한 작업은 로컬이 강점을 보일 수 있다.

중요한 것은 진영 논리가 아니다. 어떤 일을 어디서 처리하는 것이 더 적절한가를 구분하는 감각이다.

사람들이 로컬을 진지하게 보기 시작한 이유

예전에는 로컬 AI가 "성능이 부족하지만 재미있는 실험"으로 여겨지는 경우가 많았다. 하지만 이제는 상황이 조금 달라졌다.

모델은 점점 더 작아지면서도 쓸 만해졌고, 양자화 같은 방법을 통해 적은 자원으로도 실행이 가능해졌으며, 개인용 도구도 훨씬 쉬워졌다. 게다가 사람들의 AI 사용 방식도 변했다. 단순 질답보다 문서 처리, 코드 작업, 개인 데이터 활용, 반복 자동화가 중요해지면서, 로컬의 가치가 더 또렷해졌다.

한마디로 말하면 이렇다.

예전에는 "로컬에서도 되네?"였다면, 지금은 "이 작업은 로컬이 더 낫겠는데?"가 된 것이다.

이 차이는 작지 않다. 취미 영역의 호기심이 실무적 선택지로 바뀌는 순간이기 때문이다.

그래도 먼저 물어야 할 질문

로컬 AI에 관심이 생기면 바로 설치부터 하고 싶어진다. 하지만 더 중요한 것은 질문이다.

내가 로컬을 원하는 이유는 무엇인가? 민감한 자료 때문인가, 비용 때문인가, 속도 때문인가, 통제권 때문인가, 아니면 그저 신기해서인가?

이 질문을 먼저 해야 한다. 이유에 따라 선택이 완전히 달라지기 때문이다. 프라이버시가 최우선이면 외부 전송을 줄이는 구성이 중요해지고, 비용이 핵심이면 반복 작업량을 기준으로 따져야 하며, 통제권이 중요하면 모델 자체보다 연결 방식과 워크플로 설계가 중요해진다.

로컬은 만능 해답이 아니다. 그러나 분명한 문제의식이 있는 사람에게는 매우 설득력 있는 해답이 될 수 있다.

로컬 AI는 결국 '내가 책임지는 AI'다

클라우드 AI는 강력하고 편리하다. 하지만 많은 것을 서비스가 대신 결정한다. 반면 로컬 AI는 더 많은 자유를 주는 대신, 더 많은 책임도 함께 준다.

내가 설치해야 하고, 내가 연결해야 하며, 내가 관리해야 하고, 내가 품질을 이해해야 한다.

그 대신 얻는 것도 분명하다. 내 데이터에 대한 감각, 비용 구조에 대한 예측 가능성, 내 환경에 대한 통제권, 그리고 AI를 내 일의 흐름 속에 깊게 심을 수 있는 자유다.

그래서 사람들은 로컬에서 돌리려 한다. 단지 멋져 보여서가 아니다. 더 안전하게 쓰고 싶고, 더 오래 쓰고 싶고, 더 많이 실험하고 싶고, 무엇보다 내 방식대로 쓰고 싶기 때문이다.

이제 로컬 LLM은 일부 애호가만의 장난감이 아니다. 잘 맞는 사람에게는 충분히 현실적인 도구다. 다음 장에서는 그 현실적인 선택이 실제로 어떤 장점과 한계를 가지는지 더 구체적으로 살펴보겠다.