Qwen3.8-Flash-Next: 긴 문맥을 효율적으로 처리하는 Qwen4 프리뷰
긴 문맥을 다루는 모델은 성능뿐 아니라 메모리 사용량과 응답 속도도 중요하다. Qwen3.8-Flash-Next는 이를 고려해 설계된 Qwen의 오픈 웨이트 멀티모달 MoE 모델이며, Qwen4 아키텍처의 초기 프리뷰로 소개됐다.1
125B 모델에서 6B만 활성화하는 MoE
Qwen3.8-Flash-Next의 언어 모델 규모는 125B지만, 토큰을 처리할 때 활성화되는 파라미터는 6B다. 전체 512개 전문가 중 토큰마다 라우팅 전문가 10개와 공유 전문가 1개만 사용하기 때문이다.1
언어 모델 외에도 51B N-그램 임베딩 파라미터와 4B MTP 파라미터가 포함된다. N-그램 임베딩은 두 번째 레이어에서 바이그램과 트라이그램을 인덱싱해 짧은 토큰 조합 정보를 처리한다.1
따라서 활성 파라미터 6B만 보고 일반적인 6B급 모델과 같은 메모리 요구량을 예상해서는 안 된다. 실제 배포에서는 전체 가중치와 추가 파라미터를 저장할 공간까지 고려해야 한다.
긴 문맥을 위한 하이브리드 구조
모델은 총 48개 레이어로 구성되며, Gated DeltaNet 3개와 Qwen Sparse Attention 1개가 반복된다.1 두 구조는 긴 문맥에서 발생하는 비용을 서로 다른 방식으로 줄인다.
Gated DeltaNet은 과거 문맥을 고정 크기의 순환 상태로 압축한다. 입력 시퀀스가 길어질수록 KV 캐시가 계속 확장되는 문제를 방지하는 방식이다.2
Qwen Sparse Attention은 개별 토큰 전체를 비교하는 대신 마이크로 블록 단위로 중요도를 계산하고 관련 영역을 선택한다. 선택 예산은 512개 블록 또는 2,048토큰이다.1 이러한 설계를 바탕으로 기본 262,144토큰의 컨텍스트 길이를 지원하며, 최대 100만 토큰까지 확장할 수 있다.1
로컬 도입 전 확인할 기준
Qwen3.8-Flash-Next를 평가할 때는 “125B 모델을 실행할 수 있는가”보다 실제 작업에서 긴 문맥의 비용을 얼마나 줄일 수 있는지 확인해야 한다. 에이전트 코딩, 대형 저장소 분석, 장문 문서 처리처럼 과거 정보를 오래 유지해야 하는 작업이 주요 평가 대상이다.
로컬 실행에서는 양자화 수준에 따른 메모리와 품질의 균형도 중요하다. 한 실행 사례에서는 DGX Spark에서 72.5GB UD-IQ1_S와 78.9GB UD-Q2_K_XL 양자화 모델을 사용했다.3 따라서 도입 전에는 다음 항목을 함께 측정하는 편이 실용적이다.
목표 작업에서 필요한 실제 컨텍스트 길이
첫 토큰 응답 시간과 이후 생성 속도
양자화에 따른 정확도 변화
모델 가중치와 컨텍스트를 포함한 전체 메모리 사용량
요약: Qwen3.8-Flash-Next는 단순히 규모를 키운 모델이 아니다. MoE의 선택적 활성화, Gated DeltaNet의 문맥 압축, Qwen Sparse Attention의 블록 단위 선택을 결합해 긴 작업을 효율적으로 처리하려는 Qwen4의 설계 방향을 보여준다. 실제 도입 여부는 6B 활성 파라미터만이 아니라 전체 메모리, 처리 속도, 컨텍스트 길이, 양자화 품질을 함께 검증해 판단해야 한다.
1Qwen/Qwen3.8-Flash-Next · Hugging Face
2Experiment with Qwen3.8-Flash-Next on NVIDIA GB300 NVL72 for Agentic Coding
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.