NVIDIA DGX Spark에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

사양

메모리 구성: 128GB
메모리 대역폭: 273.0 GB/s
FP16 연산: 62.5 TFLOPS
출시 연도: 2025
가격: 출시가 US$3,999

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트, 메모리 128GB 기준입니다.

쾌적8개원활10개겨우 가능10개불가1개양자화를 더 낮추면 1개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

NVIDIA DGX Spark 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 29개(판정·속도 순), 메모리 128GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
EXAONE 4.0 1.2B	쾌적	추정 83.1 tok/s66.5–99.8보정된 추정 ±20%	Q4_K_M	1.9 / 89.6GB	통합 메모리	최대 64k	—
HyperCLOVA X SEED 1.5B	쾌적	추정 60.2 tok/s48.1–72.2보정된 추정 ±20%	Q4_K_M	2.4 / 89.6GB	통합 메모리	최대 16k	—
Qwen3.5 35B-A3B	쾌적	추정 53.1 tok/s42.5–63.7보정된 추정 ±20%	Q4_K_M	23.4 / 89.6GB	통합 메모리	최대 128k	—
gpt-oss-20b	쾌적	추정 47.7 tok/s38.2–57.3보정된 추정 ±20%	MXFP4	12.9 / 89.6GB	통합 메모리	최대 32k	리즈닝 모델
Qwen3 30B-A3B (2507)	쾌적	추정 38.8 tok/s31.1–46.6보정된 추정 ±20%	Q4_K_M	19.9 / 89.6GB	통합 메모리	최대 32k	—
Gemma 4 26B-A4B	쾌적	추정 37.8 tok/s30.2–45.3보정된 추정 ±20%	Q4_K_M	17.9 / 89.6GB	통합 메모리	최대 64k	—
Kanana 1.5 15.7B-A3B	쾌적	추정 35.6 tok/s28.5–42.7보정된 추정 ±20%	Q4_K_M	12.1 / 89.6GB	통합 메모리	최대 16k	—
gpt-oss-120b	쾌적	35.0 tok/s8k 추정 35.6 tok/s (28.5–42.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	64.3 / 89.6GB	통합 메모리	최대 16k	리즈닝 모델
DeepSeek R1 Distill Llama 8B	원활	추정 18.2 tok/s14.6–21.9보정된 추정 ±20%	Q4_K_M	6.6 / 89.6GB	통합 메모리	최대 16k	리즈닝 모델
Kanana 1.5 8B	원활	추정 18.2 tok/s14.6–21.9보정된 추정 ±20%	Q4_K_M	6.6 / 89.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적
Llama 3.1 8B	원활	추정 18.2 tok/s14.6–21.9보정된 추정 ±20%	Q4_K_M	6.6 / 89.6GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적
Qwen3.5 9B	원활	추정 17.8 tok/s14.2–21.3보정된 추정 ±20%	Q4_K_M	6.7 / 89.6GB	통합 메모리	최대 128k	—
Qwen3 8B	원활	추정 17.5 tok/s14.0–21.0보정된 추정 ±20%	Q4_K_M	6.8 / 89.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적
Qwen3.5 122B-A10B	원활	추정 16.9 tok/s13.5–20.3보정된 추정 ±20%	Q4_K_M	79.0 / 89.6GB	통합 메모리	최대 256k	UD-Q2_K_XL (품질 손실 큼): 쾌적
Gemma 4 12B	원활	추정 14.3 tok/s11.4–17.1보정된 추정 ±20%	Q4_K_M	8.2 / 89.6GB	통합 메모리	최대 64k	UD-Q2_K_XL (품질 손실 큼): 쾌적
Gemma 3 12B	원활	추정 13.9 tok/s11.1–16.7보정된 추정 ±20%	Q4_K_M	8.4 / 89.6GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적
Solar Open 100B	원활	추정 12.3 tok/s9.8–14.7보정된 추정 ±20%	Q4_K_M	64.4 / 89.6GB	통합 메모리	최대 16k	—
Qwen3 14B	원활	추정 10.6 tok/s8.4–12.7보정된 추정 ±20%	Q4_K_M	10.9 / 89.6GB	통합 메모리	최대 16k	—
HyperCLOVA X SEED Think 14B	겨우 가능	추정 10.7 tok/s7.5–13.9이론 추정 ±30%	Q4_K_M	10.8 / 89.6GB	통합 메모리	최대 128k	리즈닝 모델
Phi-4	겨우 가능	추정 10.2 tok/s8.1–12.2보정된 추정 ±20%	Q4_K_M	11.3 / 89.6GB	통합 메모리	최대 16k	리즈닝 모델
Mistral Small 3.2 24B	겨우 가능	추정 7.0 tok/s5.6–8.4보정된 추정 ±20%	Q4_K_M	16.2 / 89.6GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활
Gemma 3 27B	겨우 가능	추정 6.3 tok/s5.1–7.6보정된 추정 ±20%	Q4_K_M	17.8 / 89.6GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활
Qwen3.5 27B	겨우 가능	추정 6.2 tok/s5.0–7.4보정된 추정 ±20%	Q4_K_M	18.2 / 89.6GB	통합 메모리	최대 256k	UD-Q2_K_XL (품질 손실 큼): 원활
EXAONE 4.0 32B	겨우 가능	추정 5.5 tok/s4.4–6.6보정된 추정 ±20%	Q4_K_M	20.5 / 89.6GB	통합 메모리	최대 128k	리즈닝 모델
EXAONE 4.5 33B	겨우 가능	추정 5.3 tok/s4.2–6.4보정된 추정 ±20%	Q4_K_M	21.2 / 89.6GB	통합 메모리	최대 128k	리즈닝 모델
Qwen3 32B	겨우 가능	추정 5.0 tok/s4.0–6.0보정된 추정 ±20%	Q4_K_M	22.5 / 89.6GB	통합 메모리	최대 32k	—
DeepSeek R1 Distill Qwen 32B	겨우 가능	추정 5.0 tok/s4.0–6.0보정된 추정 ±20%	Q4_K_M	22.6 / 89.6GB	통합 메모리	최대 32k	리즈닝 모델
Llama 3.3 70B	겨우 가능	추정 2.4 tok/s1.9–2.9보정된 추정 ±20%	Q4_K_M	45.8 / 89.6GB	통합 메모리	최대 32k	—
Solar Open 2 250B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 15.3 tok/s10.7–19.9이론 추정 ±30%	Q2_K	RAM 95.8GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.

리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).

NVIDIA DGX Spark 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

NVIDIA DGX Spark 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
gpt-oss-120b	MXFP4	llama.cpp	2k	1,717.0	35.0	—	github.com	2025-10-14

자주 묻는 질문

NVIDIA DGX Spark에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Qwen3.5 122B-A10B Q4_K_M(78.26GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 128GB에 전부 올라가고, 속도는 추정 16.9 tok/s (13.5–20.3, 보정된 추정 ±20%)입니다.

NVIDIA DGX Spark에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 128GB 기준으로 등록된 모델 29개를 보면 쾌적 8개, 원활 10개, 겨우 가능 10개, 불가 1개입니다.

NVIDIA DGX Spark에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

Q4_K_M, 통합 메모리 기준 판정: 겨우 가능, 속도: 추정 2.4 tok/s (1.9–2.9, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.