"Qwen3.5-27B를 RTX 3090에서 207 tok/s로 돌렸다"는 사례가 나왔습니다.1 숫자만 보면 속도 자랑처럼 보이지만, 지금 중요한 건 다른 데 있습니다. 로컬 LLM 선택에서 이제 질문은 "이 모델 좋나?"가 아니라 "내 하드웨어와 작업에 맞는 가장 똑똑한 선택인가?"로 바뀌고 있다는 점입니다.
특히 Qwen3.5-27B는 그 변화를 잘 보여줍니다. 27B급 dense 모델인데도, 24GB급 소비자 GPU에서 현실적으로 굴릴 수 있는 크기이고, 기본 컨텍스트가 262K이며, Q4 계열 양자화 파일이 15~17GB 수준이라 단일 GPU 운용의 중심선에 걸쳐 있습니다.234 즉 "벤치마크 1등"보다 "내 장비에서 계속 쓰게 되는 모델"을 고르는 문제로 들어온 겁니다.
27B가 더 큰 모델보다 실사용에서 나을 수 있는 이유
확인 가능한 사실부터 보겠습니다. Qwen3.5-27B는 27B dense 모델이고, Ollama의 Q4_K_M 배포는 17GB로 표시됩니다.2 다른 가이드들은 Q4 기준 VRAM 요구량을 대략 15GB 수준으로 잡습니다.45 반면 같은 Qwen3.5 계열의 35B-A3B는 MoE라 더 빠를 수 있지만, 메모리 자체는 더 많이 요구합니다. Unsloth도 "27B와 35B-A3B 중 메모리가 빠듯하면 27B, 속도가 더 중요하면 35B-A3B"라고 정리합니다.3
이게 뜻하는 바는 단순합니다. "더 큰 모델"이 항상 더 좋은 선택이 아닙니다. 로컬에서는 모델이 겨우 올라가느냐, 컨텍스트를 얼마나 남기느냐, 응답 지연이 참을 만하냐가 성능표 못지않게 중요합니다. 27B는 바로 그 균형점에 있습니다.
실무적으로는 이런 식입니다.
코딩, 문서 요약, 에이전트 실험, 다국어 작업까지 한 모델로 묶고 싶다면 27B는 꽤 설득력 있습니다. 공식 벤치마크에서도 Qwen3.5-27B는 IFEval 95.0, SWE-bench Verified 72.4, LongBench v2 60.6으로 중형급 로컬 모델치고 고르게 강합니다.4 반대로 "절대 속도"가 우선이면 35B-A3B 같은 MoE가 더 나을 수 있습니다. 활성 파라미터가 적어 토큰 생성이 빠르기 때문입니다.35
무엇을 최적화하느냐에 따라 27B의 평가는 달라진다
Qwen3.5-27B의 장점은 "무난하게 강하다"가 아닙니다. 작업 종류별로 강점이 꽤 분명합니다.
첫째, 긴 문맥이 필요한 작업입니다. 이 모델은 기본 262,144 토큰 컨텍스트를 지원하고, 최대 100만 토큰대 확장도 안내됩니다.34 긴 회의록, 대형 코드베이스, 여러 문서를 한 번에 넣는 실험에선 작은 모델보다 훨씬 판단력이 안정적일 가능성이 큽니다.
둘째, 로컬에서 한글·영문·중문 섞인 환경입니다. Qwen3.5 계열은 201개 언어 및 방언 지원을 내세우고 있고, 다국어 벤치 수치도 비교적 안정적입니다.24
하지만 약점도 있습니다. "3090 한 장으로 아주 긴 컨텍스트까지 넉넉하게"는 별개 문제입니다. 모델 가중치가 들어간 뒤 남는 VRAM은 KV 캐시와 런타임 오버헤드가 먹습니다. 즉 27B가 24GB 카드에 들어간다고 해서, 262K 컨텍스트를 아무 제약 없이 쓰는 건 아닙니다.35 여기서 207 tok/s 같은 수치는 인상적이지만, 어떤 백엔드·양자화·배치·컨텍스트 조건에서 나온 값인지 함께 봐야 합니다.1
양자화는 "몇 비트냐"보다 "어디서 무너지느냐"가 더 중요하다
많은 글이 "VRAM 부족하면 더 낮은 quant 쓰면 된다"로 끝납니다. 실전은 그렇게 단순하지 않습니다.
Qwen3.5-27B 배포는 Q4_K_M가 널리 쓰이고, Unsloth는 동적 4비트 계열에서 일부 중요한 레이어를 상향 정밀도로 처리한다고 설명합니다.23 이건 왜 중요할까요. 4비트라는 숫자만 같아도 실제 품질 저하는 구현 방식에 따라 크게 다르기 때문입니다. 그래서 "Q4는 된다, Q2도 된다"가 아니라, 어느 지점부터 코딩·툴콜·장문 문맥에서 체감 하락이 급격해지는지를 봐야 합니다.
여기서 실무 기준은 단순합니다.
24GB GPU 한 장이면 Q4 계열부터 시작하는 게 안전합니다. 더 작은 quant로 내려갈수록 "실행은 된다"와 "계속 쓰고 싶다" 사이 간격이 커집니다. 특히 툴 사용, 장문 추론, 코드 수정처럼 일관성이 중요한 작업은 그렇습니다. 반대로 단순 채팅이나 초안 생성 위주라면 더 공격적인 양자화도 검토할 수 있습니다.
다운로드 전에 정해야 할 것: 내가 오래 쓸 모델인가
Qwen3.5-27B는 분명 매력적입니다. 하지만 모두에게 정답은 아닙니다.
이 모델이 잘 맞는 사람은 24GB급 GPU를 갖고 있고, 9B보다 한 단계 위의 안정감이 필요하며, 122B급 다중 GPU 세팅까지는 원하지 않는 사용자입니다. 반대로 짧은 질의응답 위주고 지연시간이 최우선이면 9B나 35B-A3B가 더 나을 수 있습니다.35
추천 순서는 이렇습니다.
처음엔 Q4 계열 27B로 시작합니다. 응답 속도, 첫 토큰 시간, 긴 프롬프트에서의 일관성, 코딩/문서 작업 정확도를 봅니다. 여기서 불만이 "느리다"면 MoE로 갈 시점이고, 불만이 "품질이 아쉽다"면 더 큰 모델이나 덜 공격적인 양자화를 고민할 시점입니다. 반대로 불만이 "VRAM이 너무 빡빡하다"면, 그때는 27B를 억지로 다듬는 것보다 9B나 14B급으로 내려가는 편이 대개 낫습니다.
결국 3090에서의 207 tok/s는 하나의 인상적인 결과입니다.1 하지만 더 중요한 메시지는 이것입니다. 로컬 LLM의 승부는 모델 크기 경쟁이 아니라, 아키텍처, 양자화, 컨텍스트, 실제 GPU 제약을 함께 읽는 선택 능력에서 갈립니다. 지금 Qwen3.5-27B를 봐야 하는 사람은 "강한 모델"을 찾는 사람이 아니라, "내 장비에서 가장 합리적인 상한선"을 찾는 사람입니다.
참고
1We got 207 tok/s with Qwen3.5-27B on an RTX 3090
3💜Qwen3.5 - How to Run Locally
4unsloth/Qwen3.5-27B-GGUF · Hugging Face
5Qwen 3.5 Local Hardware Guide 2026: Every Model from 0.8B to 397B
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.