Qwen 3.5 로컬 실행 방법: Ollama부터 vLLM까지 한 번에

최근 Qwen 3.5가 공개되면서 "이 정도 성능을 내 PC에서 돌릴 수 있다"는 이야기가 본격적으로 현실이 됐습니다.¹ 게다가 Qwen 3.5는 4비트 같은 강한 양자화에서도 정확도를 잘 유지하도록 설계됐다고 알려져, 로컬 운영 난이도가 더 내려갔고요.² 이 글에서는 Qwen 3.5를 내 컴퓨터에서 가장 빠르게 띄우는 방법(Ollama)부터, 개발·서빙용(vLLM/llama.cpp) 선택지까지 깔끔하게 정리합니다.

Qwen 3.5 로컬 실행, 모델 선택부터가 반이다

"Qwen 3.5"는 한 가지가 아니라 여러 크기의 라인업입니다. 노트북·사무용 PC라면 보통 Qwen3.5-9B가 가장 무난한 출발점입니다. 실제로 9B는 표준 노트북에서도 돌아간다는 반응이 많고, 로컬 퍼포먼스 대비 체감 지능이 꽤 좋다는 평가를 받습니다.³

반면 문서 뭉치를 길게 넣고 요약하거나, 에이전트처럼 길게 '작업'시키고 싶다면 27B·35B 같은 중형 모델이 욕심날 수 있어요. 이쪽은 GPU VRAM이나 양자화(GGUF Q4/Q5/Q8) 선택이 사실상 필수입니다. 참고로 Qwen 3.5는 하이브리드 구조(일부는 풀 어텐션, 일부는 선형 계열)가 들어가 긴 컨텍스트 효율을 노린 설계가 특징으로 소개됩니다.⁴

Ollama로 Qwen 3.5 가장 쉽게 돌리기(초보자 추천)

로컬 LLM 입문에서 "설치하다가 지치는 구간"을 Ollama가 대부분 없애줍니다. 설치 후 아래 한 줄이면 끝입니다.

ollama run qwen3.5:9b

처음 한 번은 모델을 내려받느라 시간이 걸리지만, 다음부터는 바로 채팅이 열립니다. 그리고 많은 분들이 놓치는 포인트가 하나 더 있는데요. Ollama는 뒤에서 로컬 API 서버도 같이 띄웁니다. 기본 주소는 http://localhost:11434라서, 간단한 스크립트나 사내 도구에 바로 연결하기 좋습니다.⁵

만약 "회사 문서가 외부로 나가면 안 된다" 같은 요구가 있다면, 이 구성만으로도 프라이버시와 비용(토큰 과금) 스트레스를 크게 줄일 수 있습니다. 로컬 실행의 가장 큰 실익이 여기서 나옵니다.

llama.cpp로 GGUF 양자화 모델 세밀 튜닝하기

Ollama가 "바로 쓰기"라면, llama.cpp는 "내가 조절하면서 쓰기"에 가깝습니다. 특히 GGUF 양자화 파일(Q4/Q5/Q8 등)을 받아서 CPU-only로도 돌려보고, CUDA/Metal로 가속도 붙일 수 있다는 점이 매력입니다.⁶

다만 27B 이상을 CPU로만 돌리는 건 인내심 테스트가 되기 쉽습니다. 그래서 현실적인 전략은 이렇습니다. 첫째, Q4~Q5 양자화로 메모리를 낮추고, 둘째, 컨텍스트 길이를 무작정 최대로 잡지 말고(예: 8K부터) 용도에 맞게 올리는 겁니다. 긴 컨텍스트는 멋있지만, 그만큼 RAM/VRAM과 속도를 같이 잡아먹거든요.

vLLM/SGLang로 "로컬 서버"처럼 운영하기(다중 사용자/에이전트용)

한 대의 머신에서 여러 요청을 동시에 처리하거나, 사내 서비스처럼 "항상 켜져 있는 Qwen"이 필요하면 vLLM/SGLang 계열이 편합니다. 이런 서빙 프레임워크는 동시성 처리와 배치 최적화가 강점이라, 단순 채팅보다 팀 단위 활용에서 만족도가 높습니다. 특히 AMD ROCm 환경에서도 Qwen 3.5 서빙을 빠르게 붙일 수 있다는 가이드가 공개돼, NVIDIA가 아니어도 선택지가 넓어지는 분위기입니다.⁷

정리하면, 개인용은 Ollama가 가장 빠르고, 실험·튜닝은 llama.cpp, 다중 사용자·프로덕션 느낌은 vLLM/SGLang이 잘 맞습니다.

시사점

Qwen 3.5 로컬 실행은 이제 "가능하냐"보다 "내 목적에 맞게 뭘 고르냐"의 문제에 가깝습니다. 처음이라면 Qwen3.5-9B를 Ollama로 띄워 대화 품질과 속도를 감 잡아보세요. 그 다음 단계에서 문서 길이·동시 사용자·GPU 유무에 따라 llama.cpp(양자화 튜닝) 또는 vLLM/SGLang(서빙)으로 넘어가면 시행착오가 확 줄어듭니다.

로컬 LLM의 재미는, 어느 순간부터 AI가 '웹 서비스'가 아니라 '내 컴퓨터의 기본 기능'처럼 느껴진다는 데 있습니다. Qwen 3.5는 그 감각을 가장 빨리 맛보게 해주는 최신 선택지 중 하나예요.

참고

¹How to run Qwen 3.5 locally

²Alibaba's new open source Qwen3.5-Medium models offer Sonnet 4.5 performance on local computers

³Alibaba's small, open source Qwen3.5-9B beats OpenAI's gpt-oss-120B and can run on standard laptops

⁴Day 0 Support for Qwen 3.5 on AMD Instinct GPUs

⁵The Simple Guide to Running Qwen 3.5 9B Locally with Ollama - Rushi's

⁶How to Run Qwen3.5 27B Locally on CPU or GPU?

⁷Day 0 Support for Qwen 3.5 on AMD Instinct GPUs