공개 노트

LM Studio 사용법 완전 가이드 - 내 PC에서 무료로 AI 모델 돌리기 (2026)

2026-08-17Views 501약 9분

내 컴퓨터에서 AI를 돌린다는 건, 생각보다 훨씬 쉬워졌다. ChatGPT나 Claude 같은 서비스는 결국 남의 서버에 내 데이터를 보내는 구조인데, LM Studio를 쓰면 모델 파일을 내려받아 내 PC 안에서 전부 처리할 수 있다. 인터넷을 꺼도 돌아가고, 요금도 없고, 대화 내용이 밖으로 나가지 않는다.

이 글은 로컬 LLM을 한 번도 안 써본 사람 기준으로, 설치부터 첫 대화, 속도 튜닝, 개발자용 API 서버 연결까지 순서대로 정리한 가이드다. 2026년 8월 기준 0.4 버전대를 기준으로 썼다.

1. LM Studio가 뭔가

LM Studio는 오픈 LLM(Llama, Qwen, gpt-oss, Gemma 등)을 내 컴퓨터에서 실행해주는 데스크톱 앱이다. 터미널 명령어를 몰라도 되고, 파이썬 환경을 만들 필요도 없다. 앱을 깔고, 목록에서 모델을 고르고, 채팅창에 입력하면 끝이다.

내부적으로는 llama.cpp(범용)와 MLX(애플 실리콘 전용) 엔진을 쓰는데, 이건 몰라도 사용에 지장이 없다. 알아두면 좋은 것만 정리하면:

완전 오프라인 동작 — 모델을 한 번 받아두면 네트워크 없이도 쓸 수 있다
OpenAI 호환 API 서버 내장 — 기존 OpenAI SDK 코드에서 주소만 바꿔 붙일 수 있다
문서 대화(RAG) — PDF 같은 파일을 올려서 그 내용 기반으로 질문 가능
MCP 지원 — 로컬 모델에 외부 도구를 붙일 수 있다
macOS / Windows / Linux 모두 지원

언제 로컬 LLM이 유리한가

솔직히 말하면 순수 성능은 아직 클라우드 최상위 모델이 앞선다. 그럼에도 로컬을 쓰는 이유는 따로 있다.

상황	로컬 LLM이 나은 이유
회사 내부 문서, 계약서, 개인 기록 처리	데이터가 기기 밖으로 안 나감
대량 반복 작업 (요약, 분류, 태깅)	토큰 요금이 0원
비행기, 지하, 폐쇄망 환경	인터넷 없이 동작
프롬프트 실험, 파라미터 튜닝 학습	마음껏 돌려도 비용 부담 없음
모델 자체를 이해하고 싶을 때	양자화, 컨텍스트, 샘플링을 직접 만져봄

반대로 최고 수준의 추론력이 필요한 작업이라면, 굳이 로컬을 고집할 필요는 없다. 둘을 섞어 쓰는 게 현실적이다.

2. 내 컴퓨터에서 돌아갈까 — 시스템 요구사항

설치 전에 이것부터 확인하자. 여기서 걸리면 뒤가 다 막힌다.

macOS

애플 실리콘(M1/M2/M3/M4) 필수. 인텔 맥은 지원하지 않는다.
macOS 14.0 이상
통합 메모리 16GB 이상 권장 (8GB도 작은 모델은 가능)

Windows

x64는 AVX2 명령어 지원 CPU 필요 (2013년 이후 인텔/AMD CPU면 대체로 있다)
ARM(Snapdragon X Elite)도 지원
RAM 16GB 이상 권장
GPU는 전용 VRAM 4GB 이상 권장

Linux

AppImage 형태로 배포, Ubuntu 20.04 이상
x64(AVX2) 및 ARM64 지원
RAM 16GB 이상 권장

핵심은 결국 메모리다

로컬 LLM에서 가장 중요한 숫자는 VRAM(그래픽카드 메모리), 맥이라면 통합 메모리다. 모델 파일 크기가 이 용량 안에 들어가야 GPU가 빠르게 돌린다. 넘치면 CPU와 시스템 RAM으로 흘러가면서 속도가 급격히 떨어진다.

대략적인 감을 잡자면:

가용 메모리	현실적으로 돌릴 수 있는 모델
8GB	3B~4B급 (Qwen 3B, Llama 3.2 3B 등)
16GB	7B~8B급 — 일상 사용의 기본선
24GB	14B급, 또는 8B를 긴 컨텍스트로
32GB 이상	27B~32B급
64GB 이상	70B급 양자화 모델까지

3. 설치하기

lmstudio.ai 접속
사이트가 OS를 자동 감지해서 맞는 설치 파일을 준다. 다운로드
Windows는 .exe 실행, macOS는 .dmg 열어서 Applications로 드래그, Linux는 AppImage에 실행 권한을 주고 실행
앱을 열면 온보딩 화면이 뜬다. 사용 수준(User / Power User / Developer)을 고르라고 하는데, 처음이면 User로 시작하자. 나중에 우하단에서 언제든 바꿀 수 있다

설치 용량 자체는 수백 MB 수준이지만, 모델은 별도로 GB 단위를 잡아먹는다. 저장 공간을 최소 30~50GB 정도 비워두는 걸 권한다.

4. 첫 모델 다운로드하기

앱 왼쪽의 Discover 탭(돋보기 아이콘)으로 간다. 단축키는 Windows/Linux Ctrl+2, macOS ⌘+2.

검색창에는 이렇게 넣을 수 있다.

키워드: qwen, llama, gemma
저장소 형식: 사용자명/모델명
Hugging Face URL 통째로 붙여넣기

처음 받을 모델 추천

고민되면 아래 중 하나로 시작하자. 모두 라이선스가 무난하고 한국어도 어느 정도 한다.

Qwen 계열 7B~8B — 한국어 품질이 괜찮은 편이라 국내 사용자에게 무난한 첫 선택
Llama 3.1 8B Instruct — 자료와 예제가 가장 많아 문제 생겼을 때 검색이 쉬움
gpt-oss 계열 — OpenAI가 공개한 오픈 웨이트 모델
Gemma 계열 4B급 — 저사양 PC에서 가볍게

양자화(Quantization) 고르는 법

모델을 클릭하면 Q3_K_S, Q4_K_M, Q6_K, Q8_0 같은 옵션이 여러 개 나온다. 여기서 대부분 막힌다.

양자화는 모델 파일을 압축해서 용량과 메모리 사용량을 줄이는 대신, 품질을 조금 포기하는 것이다. 숫자는 가중치 하나당 비트 수를 뜻한다.

양자화	특징	추천
Q3 이하	가장 작고 빠르지만 품질 저하가 체감됨	메모리가 정말 부족할 때만
Q4_K_M	용량 대비 품질 균형이 가장 좋음	대부분의 경우 정답
Q5_K_M	Q4보다 조금 낫고 조금 무거움	여유 있으면
Q6_K / Q8_0	원본에 가까운 품질, 용량 큼	고사양에서 품질 우선일 때

요약: 잘 모르겠으면 Q4_K_M을 받으면 된다. 공식 문서도 최소 4비트 이상을 권한다.

LM Studio는 각 옵션 옆에 내 하드웨어에서 돌아갈지 여부를 표시해준다. "Likely too large" 같은 경고가 뜨면 한 단계 낮추거나 더 작은 모델을 고르자.

5. 첫 대화 나누기

다운로드가 끝나면 Chat 탭(Ctrl+1 / ⌘+1)으로 이동한다.

상단 모델 선택 바를 클릭 → 받은 모델 선택
로딩 설정 화면이 뜬다 (아래에서 설명)
Load Model 클릭 → 몇 초~수십 초 대기
아래 입력창에 질문 입력

첫 응답이 나오면 성공이다. 응답 하단에 초당 토큰 수(tok/s)가 표시되는데, 이게 속도 지표다. 체감상 10 tok/s 이상이면 읽는 속도를 따라오는 수준, 5 tok/s 아래면 답답하다.

로딩 설정에서 봐야 할 것

Context Length (컨텍스트 길이) 모델이 한 번에 기억할 수 있는 토큰 수다. 길게 잡을수록 긴 문서를 다룰 수 있지만 메모리를 훨씬 많이 먹는다. 처음엔 4096~8192 정도로 두고, 긴 문서 작업이 필요할 때만 늘리자.

GPU Offload (GPU 오프로딩) 모델의 몇 개 레이어를 GPU에 올릴지 정한다. 이게 속도에 가장 큰 영향을 준다.

최대로 올렸을 때 로딩이 되면 → 그대로 두기 (가장 빠름)
로딩 중 실패하거나 PC가 멈추면 → 단계적으로 낮추기
맥의 애플 실리콘은 통합 메모리라 대체로 최대로 둬도 무난하다

Flash Attention 켜면 메모리 사용량이 줄고 긴 컨텍스트에서 유리하다. 지원되면 켜두자.

채팅 중 조정할 것

오른쪽 사이드바에서 생성 파라미터를 만질 수 있다.

Temperature — 0에 가까울수록 일관적이고 예측 가능, 1 이상이면 창의적이고 산만해진다. 코드나 요약은 0.2~0.5, 아이디어 발산은 0.8~1.0
Top P — 후보 단어 풀의 크기. 보통 0.9~0.95 기본값이면 충분
Max Tokens — 응답 최대 길이. 답변이 자꾸 중간에 끊기면 이걸 늘리자
System Prompt — 모델의 역할을 고정하는 지시문. "너는 한국어로만 답하는 기술 문서 작성자다" 같은 식으로 넣으면 톤이 확 잡힌다

한국어 응답이 자꾸 영어로 새거나 어색하면, 시스템 프롬프트에 "반드시 한국어로 답변하라"를 명시하는 것만으로 상당히 개선된다.

6. 내 문서와 대화하기 (RAG)

채팅 입력창의 클립 아이콘으로 PDF, 텍스트 파일 등을 첨부할 수 있다. LM Studio가 문서를 잘라서 색인하고, 질문과 관련된 부분만 골라 모델에게 넘긴다.

주의할 점:

문서가 컨텍스트 길이보다 짧으면 통째로 넣고, 길면 관련 조각만 검색해서 넣는다
따라서 "이 문서 전체를 요약해줘" 같은 요청은 긴 문서에서 잘 안 먹힌다. 장별로 나눠 요청하는 게 낫다
질문을 구체적으로 할수록 검색 정확도가 올라간다. "3장에서 말하는 비용 구조가 뭐야?"가 "이거 뭐야?"보다 훨씬 잘 나온다

계약서 검토나 개인 일기 분석처럼 절대 외부로 보내고 싶지 않은 문서에서 로컬 LLM의 가치가 가장 크게 나온다.

7. 개발자용: 로컬 API 서버 켜기

여기서부터가 LM Studio를 진짜 도구로 만드는 부분이다.

좌측 Developer 탭으로 가서 서버를 Start 하면, 기본적으로 http://localhost:1234에 OpenAI 호환 서버가 뜬다. 포트는 바꿀 수 있다.

curl로 확인:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local-model",
    "messages": [
      {"role": "system", "content": "너는 한국어로 답하는 조수다."},
      {"role": "user", "content": "로컬 LLM의 장점 세 가지만 말해줘."}
    ],
    "temperature": 0.7
  }'

파이썬에서는 OpenAI SDK를 그대로 쓸 수 있다. base_url만 바꾸면 된다.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"  # 아무 문자열이나 가능
)

resp = client.chat.completions.create(
    model="local-model",
    messages=[
        {"role": "user", "content": "파이썬으로 피보나치 수열 짜줘"}
    ],
)
print(resp.choices[0].message.content)

지원하는 엔드포인트는 대략 이렇다.

/v1/chat/completions — 채팅
/v1/completions — 단순 텍스트 생성
/v1/embeddings — 임베딩 (벡터 검색 만들 때)
/v1/models — 로드된 모델 목록
/api/v1/... — LM Studio 자체 REST API (모델 로드/언로드/다운로드 제어)

Anthropic Messages API 형식도 지원해서, Claude용으로 짠 코드를 로컬 모델로 돌려볼 수도 있다.

실전 활용 예시

VS Code의 Continue 같은 확장에 로컬 모델을 코드 어시스턴트로 연결
Obsidian, 노트 앱의 AI 플러그인에 로컬 백엔드 붙이기
n8n, LangChain 등 워크플로 도구에서 무료 LLM 노드로 사용
개인 프로젝트 프로토타이핑을 API 요금 없이

CLI (`lms`)

터미널이 편한 사람은 lms 명령어도 있다.

lms ls              # 설치된 모델 목록
lms load <model>    # 모델 로드
lms server start    # 서버 시작
lms server status   # 상태 확인

서버 환경용 헤드리스 모드도 제공되므로, GUI 없는 리눅스 서버에 올려서 사내 공용 LLM 엔드포인트로 쓰는 구성도 가능하다.

8. MCP 연동 — 로컬 모델에 도구 달기

MCP(Model Context Protocol)는 LLM에 외부 도구와 데이터 소스를 붙이는 표준이다. LM Studio는 MCP 서버를 붙일 수 있어서, 로컬 모델이 파일 시스템을 읽거나 웹을 검색하거나 외부 서비스를 호출하게 만들 수 있다.

다만 현실적인 조언 하나. 도구 호출(tool calling)은 모델 크기를 많이 탄다. 3B급 작은 모델은 도구를 제대로 못 부르고 헤매는 경우가 많다. MCP를 제대로 쓰려면 최소 7B 이상, 가능하면 도구 호출에 특화된 모델을 고르는 게 좋다.

9. 자주 겪는 문제와 해결

모델 로딩이 실패한다 메모리 부족이 대부분이다. GPU 오프로딩 레이어를 낮추거나, 컨텍스트 길이를 줄이거나, 더 작은 양자화(Q4 → Q3)를 받자. 다른 무거운 앱을 닫는 것도 의외로 효과가 있다.

속도가 너무 느리다 GPU 오프로딩이 0이거나 낮게 잡혔을 가능성이 높다. 모델 로딩 설정에서 확인하자. 그래도 느리면 모델 크기 자체를 한 단계 줄이는 게 정답이다. 14B를 억지로 돌리는 것보다 8B를 쾌적하게 쓰는 편이 실사용 만족도가 훨씬 높다.

한국어가 어색하거나 영어로 답한다 시스템 프롬프트에 한국어 지시를 명시하고, 한국어 학습 비중이 높은 모델(Qwen 계열, 한국어 파인튜닝 모델)로 바꿔보자. 같은 크기여도 모델별 한국어 편차가 크다.

답변이 중간에 끊긴다 Max Tokens 값을 늘린다. 컨텍스트가 꽉 찬 경우라면 대화를 새로 시작하거나 컨텍스트 길이를 늘려야 한다.

같은 말을 계속 반복한다 Temperature가 너무 낮거나, Repeat Penalty가 낮을 때 생긴다. Temperature를 0.7 근처로 올리고 Repeat Penalty를 1.1 정도로 조정해보자.

Windows에서 앱이 아예 안 켜진다 CPU의 AVX2 지원 여부를 확인하자. 오래된 CPU라면 지원 자체가 안 될 수 있다.

디스크가 꽉 찬다 모델은 개당 2~40GB를 차지한다. My Models 탭에서 안 쓰는 모델을 정리하고, 설정에서 모델 저장 경로를 용량 큰 드라이브로 옮길 수 있다.

10. 이렇게 시작하면 된다

정리하면 순서는 이렇다.

내 메모리 용량 확인 → 돌릴 수 있는 모델 급수 파악
LM Studio 설치
Discover에서 7B~8B급 모델을 Q4_K_M으로 다운로드
Chat에서 GPU 오프로딩 최대, 컨텍스트 4096으로 로드
시스템 프롬프트에 한국어 지시 넣고 대화 시작
익숙해지면 Developer 탭에서 로컬 API 서버를 켜고 코드에 붙이기

처음엔 "클라우드 모델보다 못하네" 싶을 수 있다. 맞다. 하지만 로컬 LLM의 가치는 성능 순위표가 아니라 비용이 0이고, 데이터가 나가지 않고, 마음껏 실험할 수 있다는 조건 자체에 있다. 이 조건이 필요한 작업이 생각보다 많다.

일단 8B 모델 하나 받아서 한 시간만 만져보자. 파라미터를 직접 조정해보는 경험만으로도 LLM이 어떻게 동작하는지에 대한 감각이 확 달라진다.