DGX Spark를 둘러싼 관심은 결국 하나의 질문으로 모입니다. “로컬에서 대형 모델을 얼마나 빠르게, 얼마나 실용적으로 돌릴 수 있는가?”
다만 답은 단순한 tok/s 숫자 하나로 나오지 않습니다. 같은 장비라도 모델 크기, 정밀도, 추론 엔진, speculative decoding 설정, 출력 토큰 수에 따라 결과가 크게 달라집니다. DGX Spark의 의미를 제대로 보려면 최고 속도보다 어떤 조건에서 나온 성능인지를 먼저 봐야 합니다.
DGX Spark는 로컬 AI 실험실에 가깝다
DGX Spark는 NVIDIA GB10 Grace Blackwell 기반의 데스크톱 AI 시스템입니다. 128GB 통합 메모리와 FP4 기준 최대 1PFLOP AI 성능을 내세우며, 로컬에서 대형 모델 추론과 프로토타이핑을 겨냥합니다.1
핵심은 “작은 서버”라기보다 “책상 위의 AI 실험 환경”이라는 점입니다. 클라우드로 보내기 어려운 데이터, 반복적인 모델 테스트, 에이전트 개발, 코드 생성 실험처럼 빠른 피드백이 중요한 작업에서 가치가 커집니다.
그래서 DGX Spark의 성능을 볼 때도 단순히 “빠르다/느리다”가 아니라, 로컬 환경에서 대형 모델을 어느 정도까지 현실적으로 다룰 수 있는지를 기준으로 봐야 합니다.
벤치마크 숫자는 조건과 함께 읽어야 한다
NVIDIA 개발자 포럼에는 DGX Spark / GB10 전용 카테고리가 있으며, 사용자들이 모델별 설정과 벤치마크를 공유하고 있습니다.2 이런 자료는 실제 사용 조건을 이해하는 데 유용하지만, 숫자만 떼어내면 오해하기 쉽습니다.
예를 들어 2026년 4월 5일 게시된 Qwen3.5-122B-A10B 단일 DGX Spark 벤치마크는 fp8 모델, tensor parallelism tp=2, dflash=15 설정을 사용했습니다.2 해당 글의 v2 업데이트는 단일 DGX Spark에서 최대 51 tok/s를 달성했다고 설명합니다.2
세부 실행 결과를 보면 작업 유형에 따라 수치가 달라집니다.
Q&A 256토큰 생성: 4.94초, 51.8 tok/s
Code 512토큰 생성: 8.39초, 61.0 tok/s
LongCode 2048토큰 생성: 29.84초, 68.6 tok/s2
이 결과는 “DGX Spark는 몇 tok/s다”라고 일반화하기보다, 122B급 모델을 특정 정밀도와 추론 설정에서 단일 장비로 어느 정도 처리했는지를 보여주는 사례로 읽는 편이 정확합니다.
속도를 키우는 변수: speculative decoding
DGX Spark 성능 논의에서 함께 봐야 할 개념이 speculative decoding입니다. 이는 작은 초안 모델이 여러 토큰을 먼저 예측하고, 큰 모델이 이를 검증하는 방식으로 추론 속도를 높이는 접근입니다.
포럼 글에서도 DFlash 설정이 등장하며, vLLM PR 40898이 DFlash drafter에 Sliding Window Attention 지원을 추가한다고 언급했습니다.2 즉, DGX Spark의 체감 성능은 하드웨어만이 아니라 vLLM 같은 추론 소프트웨어와 관련 최적화의 영향을 크게 받습니다.
이 점이 중요합니다. 앞으로 같은 DGX Spark라도 소프트웨어 스택 업데이트에 따라 성능이 달라질 수 있습니다. NVIDIA의 DGX Spark 사용자 가이드도 2026년 5월 8일에 마지막으로 업데이트되어, 관련 문서와 환경이 계속 정리되고 있음을 보여줍니다.3
실제 판단 기준은 “내 워크로드에서 빠른가”다
DGX Spark를 평가할 때 가장 실용적인 질문은 “최고 속도가 얼마인가”가 아닙니다. 더 중요한 질문은 “내 작업에서 안정적으로 빠른가”입니다.
코딩, 짧은 질의응답, 긴 문맥 처리, 에이전트 루프, 여러 요청의 동시 처리 등은 각각 병목이 다릅니다. 따라서 벤치마크를 볼 때는 다음 조건을 함께 확인해야 합니다.
모델명과 모델 구조
정밀도(fp8, fp4 등)
tensor parallelism 설정
speculative decoding 사용 여부
컨텍스트 길이와 출력 토큰 수
추론 엔진(vLLM, llama.cpp 등)
단일 사용자 테스트인지, 동시 요청 환경인지
결론은 명확합니다. DGX Spark는 로컬 LLM 실험과 추론 성능의 기준선을 끌어올리는 장비입니다. 다만 tok/s 숫자는 최종 결론이 아니라 출발점입니다. 재현 가능한 설정, 소프트웨어 스택, 그리고 자신의 워크로드에서의 체감 속도가 실제 판단 기준입니다.
1Blackwell 기반의 개인용 AI 슈퍼컴퓨터 | NVIDIA DGX Spark
2Qwen3.5-122B-A10B on single Spark - NVIDIA Developer Forums
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.