NVIDIA DGX Spark에서 돌아가는 로컬 LLM

통합 메모리: Linux와 데스크톱이 쓰고 남은 메모리를 GPU가 씁니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

NVIDIA DGX Spark 사용자가 알아 둘 점

DGX Spark는 NVIDIA가 GB10 칩으로 만든 데스크톱입니다. NVIDIA는 128GB 제품을 팔고, 협력 제조사는 같은 칩을 ASUS Ascent GX10, Dell Pro Max with GB10, Lenovo ThinkStation PGX 같은 자기 제품 이름으로 팝니다. 64GB 구성은 NVIDIA가 밝힌 협력 제조사 여섯 곳(Acer, ASUS, Dell, GIGABYTE, HP, MSI)만 팝니다. 두 구성 모두 대역폭이 273 GB/s라서, 들어가는 모델이면 추정 속도가 같습니다. CanRun은 Linux와 데스크톱이 쓰고 남은 메모리를 GPU 몫으로 봅니다. 공개된 부팅 기록으로 계산하면 128GB 구성은 116.9GB입니다. 64GB 구성은 공개된 기록이 없어서 같은 기록을 바탕으로 48.2GB로 잡았습니다.

두 구성은 이 몫에서 갈립니다. 64GB에서도 gpt-oss-20b와 Qwen3.6 35B-A3B는 쾌적하게 돌아갑니다. Llama 3.3 70B는 Q4_K_M 파일이 GPU에 들어가지만 느리게 돌아가고, gpt-oss-120b는 올라가지 않습니다. 128GB에서는 gpt-oss-120b가 쾌적하게, Qwen3.5 122B-A10B가 원활하게 돌아가고, 둘 다 공개 벤치마크 결과가 있습니다.

NVIDIA는 내장 ConnectX-7 네트워크로 최대 네 대까지 잇는 것을 지원합니다. 두세 대는 케이블로 바로 잇고, 네 대면 스위치를 권합니다. 아래 표에는 두 대나 네 대를 이어 llama.cpp로 돌리는 경우도 있습니다.

사양

메모리 구성: 64GB · 128GB
메모리 대역폭: 273.0 GB/s
FP16 연산: 62.5 TFLOPS
출시 연도: 2025
가격: 128GB 구성 출시가 US$3,999(약 530만 원)
다른 표기: DGX Spark, GB10, ASUS Ascent GX10, Dell Pro Max with GB10, HP ZGX Nano G1n, Lenovo ThinkStation PGX, MSI EdgeXpert, Acer Veriton GN100, GIGABYTE AI TOP ATOM

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

64GB쾌적31개원활9개겨우 가능10개불가9개양자화를 더 낮추면 3개가 더 돌아갑니다.
128GB쾌적34개원활12개겨우 가능10개불가3개양자화를 더 낮추면 1개가 더 돌아갑니다.
64GB × 2대쾌적3개원활3개겨우 가능0개불가3개1대로 충분50개
128GB × 2대쾌적0개원활3개겨우 가능0개불가0개1대로 충분56개
64GB × 4대쾌적0개원활8개겨우 가능0개불가1개양자화를 더 낮추면 1개가 더 돌아갑니다.1대로 충분50개
128GB × 4대쾌적0개원활2개겨우 가능1개불가0개1대로 충분56개

“× 2대”·“× 4대” 행은 내장 ConnectX-7 네트워크로 두 대나 네 대를 잇고 llama.cpp RPC로 층을 기기마다 나눠 올린 경우입니다. 메모리는 합쳐지지만 토큰마다 모든 기기를 차례로 지나고, 기기를 건널 때마다 토큰 하나에 드는 시간이 늘어납니다. 그래서 이어도 CanRun의 한 대 추정보다 빨라지지 않습니다. 공개 결과에서 gpt-oss-120b는 두 대에서 한 대보다 20%쯤 느렸습니다. 기준 양자화가 같은 메모리 한 대의 GPU에 이미 다 들어가는 모델은 이어 봐야 느려지기만 하므로, 이 행에 판정과 속도 대신 ‘1대로 충분’이라고 적습니다. 이 행의 판정은 이론 추정(±30%)입니다. NVIDIA 공식 안내에서 쓰는 vLLM 텐서 병렬은 더 빠를 수 있습니다. 세 대로 잇는 경우는 계산기에서 확인할 수 있습니다. 이 요약의 “× 2대”·“× 4대” 행은 연결이 필요한 모델만 판정별로 세고, 나머지 모델은 ‘1대로 충분’으로 셉니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

NVIDIA DGX Spark 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순), 메모리 128GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 238.9 tok/s191.1–286.7보정된 추정 ±20%	Q4_K_M	1.5 / 116.9GB	통합 메모리	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 197.5 tok/s158.0–236.9보정된 추정 ±20%	Q4_K_M	1.7 / 116.9GB	통합 메모리	최대 128k	—
Ling-3.0 Tiny	쾌적	추정 179.8 tok/s125.8–233.7이론 추정 ±30%	Q4_K_M	5.5 / 116.9GB	통합 메모리	최대 128k	생각 모드
EXAONE 4.0 1.2B	쾌적	추정 162.1 tok/s129.7–194.6보정된 추정 ±20%	Q4_K_M	1.9 / 116.9GB	통합 메모리	최대 64k	생각 모드
LFM2.5 2.6B	쾌적	추정 118.0 tok/s82.6–153.4이론 추정 ±30%	Q4_K_M	2.4 / 116.9GB	통합 메모리	최대 128k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 117.3 tok/s93.8–140.8보정된 추정 ±20%	Q4_K_M	2.4 / 116.9GB	통합 메모리	최대 16k	—
Gemma 4 E2B	쾌적	추정 115.9 tok/s81.1–150.6이론 추정 ±30%	Q4_K_M	3.7 / 116.9GB	통합 메모리	최대 128k	생각 모드
MiniCPM5 2B	쾌적	추정 111.4 tok/s89.1–133.6보정된 추정 ±20%	Q4_K_M	2.5 / 116.9GB	통합 메모리	최대 64k	생각 모드
Mellum2.1 12B-A2.5B Thinking	쾌적	추정 104.4 tok/s83.5–125.2보정된 추정 ±20%	Q4_K_M	8.8 / 116.9GB	통합 메모리	최대 128k	생각 모드
MiniCPM-V 4.7 35B-A3B	쾌적	추정 76.0 tok/s60.8–91.2보정된 추정 ±20%	Q4_K_M	21.9 / 116.9GB	통합 메모리	최대 128k	생각 모드
Spark-X2.5 4B	쾌적	추정 73.4 tok/s58.7–88.1보정된 추정 ±20%	Q4_K_M	3.5 / 116.9GB	통합 메모리	최대 64k	생각 모드
Llama 3.2 3B	쾌적	추정 72.0 tok/s57.6–86.3보정된 추정 ±20%	Q4_K_M	3.5 / 116.9GB	통합 메모리	최대 64k	—
gpt-oss-20b	쾌적	추정 71.7 tok/s57.4–86.0보정된 추정 ±20%	MXFP4	12.9 / 116.9GB	통합 메모리	최대 128k	생각 모드
Qwen3.6 35B-A3B	쾌적	추정 70.5 tok/s56.4–84.6보정된 추정 ±20%	Q4_K_M	23.0 / 116.9GB	통합 메모리	최대 128k	생각 모드
Nemotron 3.5 Lightning 30B-A3B	쾌적	추정 69.8 tok/s48.8–90.7이론 추정 ±30%	Q4_K_M	26.1 / 116.9GB	통합 메모리	최대 256k	생각 모드
Qwen3.5 4B	쾌적	추정 68.7 tok/s55.0–82.5보정된 추정 ±20%	Q4_K_M	3.7 / 116.9GB	통합 메모리	최대 64k	생각 모드
Kanana 1.5 15.7B-A3B	쾌적	추정 62.2 tok/s49.7–74.6보정된 추정 ±20%	Q4_K_M	12.1 / 116.9GB	통합 메모리	최대 32k	—
Qwen3.5 35B-A3B	쾌적	추정 61.9 tok/s49.5–74.2보정된 추정 ±20%	Q4_K_M	23.4 / 116.9GB	통합 메모리	최대 128k	생각 모드
Gemma 4 E4B	쾌적	추정 61.5 tok/s43.1–80.0이론 추정 ±30%	Q4_K_M	5.7 / 116.9GB	통합 메모리	최대 128k	생각 모드
Qwen3 30B-A3B (2507)	쾌적	추정 60.7 tok/s48.6–72.9보정된 추정 ±20%	Q4_K_M	19.9 / 116.9GB	통합 메모리	최대 64k	—
gpt-oss-120b	쾌적	58.7 tok/s8k 추정 50.8 tok/s (40.6–60.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	64.3 / 116.9GB	통합 메모리	최대 64k	생각 모드
Ling-3.0 Flash	쾌적	추정 52.8 tok/s36.9–68.6이론 추정 ±30%	Q4_K_M	77.7 / 116.9GB	통합 메모리	최대 256k	생각 모드
Kolibri 1	쾌적	추정 52.2 tok/s41.7–62.6보정된 추정 ±20%	Q4_K_M	50.5 / 116.9GB	통합 메모리	최대 128k	생각 모드
Gemma 4 26B-A4B	쾌적	47.0 tok/s8k 추정 51.5 tok/s (41.2–61.8, 보정된 추정 ±20%)실측 1건 (32k 컨텍스트)	Q4_K_M	17.7 / 116.9GB	통합 메모리	최대 128k	생각 모드
Qwen3 8B	쾌적	43.9 tok/s8k 추정 34.1 tok/s (27.3–41.0, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	6.8 / 116.9GB	통합 메모리	최대 8k	생각 모드
K2-Horizon MoVA 36B-A4B	쾌적	추정 37.7 tok/s26.4–49.1이론 추정 ±30%	Q4_K_M	24.6 / 116.9GB	통합 메모리	최대 8k	생각 모드
DeepSeek R1 Distill Llama 8B	쾌적	추정 35.5 tok/s28.4–42.6보정된 추정 ±20%	Q4_K_M	6.6 / 116.9GB	통합 메모리	최대 16k	생각 모드
Kanana 1.5 8B	쾌적	추정 35.5 tok/s28.4–42.6보정된 추정 ±20%	Q4_K_M	6.6 / 116.9GB	통합 메모리	최대 32k	—
Llama 3.1 8B	쾌적	추정 35.5 tok/s28.4–42.6보정된 추정 ±20%	Q4_K_M	6.6 / 116.9GB	통합 메모리	최대 32k	—
Qwen3.5 9B	쾌적	35.2 tok/s8k 추정 34.7 tok/s (27.8–41.6, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트)	Q4_K_M	6.7 / 116.9GB	통합 메모리	최대 32k	생각 모드
Nanbeige4.2 3B	쾌적	추정 34.8 tok/s24.3–45.2이론 추정 ±30%	Q4_K_M	4.7 / 116.9GB	통합 메모리	최대 8k	생각 모드
DeepSeek R1 0528 Qwen3 8B	쾌적	추정 34.1 tok/s27.3–41.0보정된 추정 ±20%	Q4_K_M	6.8 / 116.9GB	통합 메모리	최대 8k	생각 모드
K2-Horizon 7B	쾌적	추정 31.3 tok/s25.1–37.6보정된 추정 ±20%	Q4_K_M	7.4 / 116.9GB	통합 메모리	최대 8k	생각 모드
Gemma 3 12B	쾌적	추정 27.2 tok/s21.7–32.6보정된 추정 ±20%	Q4_K_M	8.4 / 116.9GB	통합 메모리	최대 32k	—
Gemma 4 12B	원활	추정 29.4 tok/s23.5–35.2보정된 추정 ±20%	Q4_K_M	7.8 / 116.9GB	통합 메모리	최대 256k	IQ4_XS: 쾌적 생각 모드
Qwen3.5 122B-A10B	원활	29.0 tok/s8k 추정 24.0 tok/s (19.2–28.8, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트)	Q4_K_M	79.0 / 116.9GB	통합 메모리	최대 256k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Laguna S 2.1	원활	추정 28.4 tok/s22.7–34.1보정된 추정 ±20%	Q4_K_M	68.6 / 116.9GB	통합 메모리	최대 128k	생각 모드
Solar Open 100B	원활	추정 22.8 tok/s18.3–27.4보정된 추정 ±20%	Q4_K_M	64.4 / 116.9GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적 생각 모드
HyperCLOVA X SEED Think 14B	원활	추정 20.9 tok/s14.6–27.2이론 추정 ±30%	Q4_K_M	10.8 / 116.9GB	통합 메모리	최대 32k	생각 모드
Qwen3 14B	원활	추정 20.6 tok/s16.5–24.7보정된 추정 ±20%	Q4_K_M	10.9 / 116.9GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적 생각 모드
DeepSeek R1 Distill Qwen 14B	원활	추정 20.1 tok/s16.1–24.1보정된 추정 ±20%	Q4_K_M	11.2 / 116.9GB	통합 메모리	최대 32k	생각 모드
Phi-4	원활	추정 19.8 tok/s15.9–23.8보정된 추정 ±20%	Q4_K_M	11.3 / 116.9GB	통합 메모리	최대 16k	—
Mistral Small 3.2 24B	원활	추정 13.6 tok/s10.9–16.3보정된 추정 ±20%	Q4_K_M	16.2 / 116.9GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적
Gemma 3 27B	원활	추정 12.4 tok/s9.9–14.8보정된 추정 ±20%	Q4_K_M	17.8 / 116.9GB	통합 메모리	최대 64k	—
Qwen3.6 27B	원활	추정 12.3 tok/s9.8–14.7보정된 추정 ±20%	Q4_K_M	17.9 / 116.9GB	통합 메모리	최대 8k	생각 모드
Muse Glimmer 30B	원활	추정 12.2 tok/s9.8–14.7보정된 추정 ±20%	Q4_K_M	18.0 / 116.9GB	통합 메모리	최대 16k	생각 모드
Qwen3.8 27B	겨우 가능	추정 11.8 tok/s9.5–14.2보정된 추정 ±20%	Q4_K_M	18.6 / 116.9GB	통합 메모리	최대 256k	IQ4_XS: 원활 생각 모드
Qwen3.5 27B	겨우 가능	11.3 tok/s8k 추정 12.1 tok/s (9.7–14.5, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트)	Q4_K_M	18.2 / 116.9GB	통합 메모리	최대 8k	IQ4_XS: 원활 생각 모드
Granite 4.2 30B	겨우 가능	추정 10.7 tok/s8.6–12.9보정된 추정 ±20%	Q4_K_M	20.4 / 116.9GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활 생각 모드
EXAONE 4.0 32B	겨우 가능	추정 10.7 tok/s8.6–12.9보정된 추정 ±20%	Q4_K_M	20.5 / 116.9GB	통합 메모리	최대 128k	생각 모드
Qwen3 32B	겨우 가능	10.7 tok/s8k 추정 9.7 tok/s (7.8–11.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트)	Q4_K_M	22.5 / 116.9GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활 생각 모드
EXAONE 4.5 33B	겨우 가능	추정 10.3 tok/s8.3–12.4보정된 추정 ±20%	Q4_K_M	21.2 / 116.9GB	통합 메모리	최대 256k	생각 모드
Gemma 4 31B	겨우 가능	10.1 tok/s8k 추정 11.2 tok/s (9.0–13.5, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	19.6 / 116.9GB	통합 메모리	최대 256k	IQ4_XS: 원활 생각 모드
DeepSeek R1 Distill Qwen 32B	겨우 가능	추정 9.7 tok/s7.7–11.6보정된 추정 ±20%	Q4_K_M	22.6 / 116.9GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활 생각 모드
Nanbeige4.3 33B	겨우 가능	추정 9.4 tok/s7.6–11.3보정된 추정 ±20%	Q4_K_M	23.1 / 116.9GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활 생각 모드
Llama 3.3 70B	겨우 가능	4.7 tok/s8k 추정 4.7 tok/s (3.8–5.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트)	Q4_K_M	45.8 / 116.9GB	통합 메모리	최대 128k	—
Solar Open 2 250B	불가Q2_K (품질 손실 큼): 원활	추정 22.0 tok/s17.6–26.3보정된 추정 ±20%	Q2_K	96.4 / 116.9GB	통합 메모리	최대 128k	생각 모드
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.6GB 필요	—	—	약 155.6GB가 필요한데, 여유 메모리는 116.9GB입니다(GPU가 쓸 수 있는 양 116.9GB). 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	182.1GB 필요	—	—	약 182.1GB가 필요한데, 여유 메모리는 116.9GB입니다(GPU가 쓸 수 있는 양 116.9GB). 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	64GB	128GB	64GB × 2대	128GB × 2대	64GB × 4대	128GB × 4대
MiniCPM5 1B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Llama 3.2 1B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Ling-3.0 Tiny	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
EXAONE 4.0 1.2B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
LFM2.5 2.6B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
HyperCLOVA X SEED 1.5B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 4 E2B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
MiniCPM5 2B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Mellum2.1 12B-A2.5B Thinking	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
MiniCPM-V 4.7 35B-A3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Spark-X2.5 4B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Llama 3.2 3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
gpt-oss-20b	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.6 35B-A3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Nemotron 3.5 Lightning 30B-A3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.5 4B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Kanana 1.5 15.7B-A3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.5 35B-A3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 4 E4B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3 30B-A3B (2507)	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
gpt-oss-120b	불가	쾌적	쾌적	1대로 충분	원활	1대로 충분
Ling-3.0 Flash	불가	쾌적	쾌적	1대로 충분	원활	1대로 충분
Kolibri 1	불가	쾌적	쾌적	1대로 충분	원활	1대로 충분
Gemma 4 26B-A4B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3 8B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
K2-Horizon MoVA 36B-A4B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
DeepSeek R1 Distill Llama 8B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Kanana 1.5 8B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Llama 3.1 8B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.5 9B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Nanbeige4.2 3B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
DeepSeek R1 0528 Qwen3 8B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
K2-Horizon 7B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 3 12B	쾌적	쾌적	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 4 12B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.5 122B-A10B	불가	원활	원활	1대로 충분	원활	1대로 충분
Laguna S 2.1	불가	원활	원활	1대로 충분	원활	1대로 충분
Solar Open 100B	불가	원활	원활	1대로 충분	원활	1대로 충분
HyperCLOVA X SEED Think 14B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3 14B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
DeepSeek R1 Distill Qwen 14B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Phi-4	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Mistral Small 3.2 24B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 3 27B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.6 27B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Muse Glimmer 30B	원활	원활	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.8 27B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3.5 27B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Granite 4.2 30B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
EXAONE 4.0 32B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Qwen3 32B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
EXAONE 4.5 33B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Gemma 4 31B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
DeepSeek R1 Distill Qwen 32B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Nanbeige4.3 33B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Llama 3.3 70B	겨우 가능	겨우 가능	1대로 충분	1대로 충분	1대로 충분	1대로 충분
Solar Open 2 250B	불가	불가	불가	원활	원활	원활
DeepSeek V4 Flash 0731	불가	불가	불가	원활	원활	원활
GLM-5.3 Flash	불가	불가	불가	원활	불가	겨우 가능

NVIDIA DGX Spark 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

NVIDIA DGX Spark 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
gpt-oss-120b	MXFP4	llama.cpp	2k	2,444.0	58.7	CUDA, no mmap	github.com	2026-02-05
Gemma 4 31B	Q4_K_M	llama.cpp	512	687.0	10.1	CUDA	github.com	2026-04-14
Gemma 4 26B-A4B	Q4_K_M	llama.cpp	32k	—	47.0	CUDA, depth 32768	github.com	2026-06-11
Qwen3.5 35B-A3B	Q8_0	llama.cpp	2k	2,572.0	49.2	CUDA	github.com	2026-03-12
Qwen3.5 9B	Q4_K_M	llama.cpp	4k	—	35.2	—	github.com	2026-08-13
Qwen3.5 27B	Q4_K_M	llama.cpp	4k	—	11.3	—	github.com	2026-08-13
Qwen3.5 122B-A10B	Q4_K_M	llama.cpp	4k	—	29.0	—	github.com	2026-08-13
Llama 3.3 70B	Q4_K_M	llama.cpp	512	284.0	4.7	CUDA, Vulkan	github.com	2025-11-22
Llama 3.3 70B	Q4_K_M	llama.cpp	512	—	4.6	CUDA	github.com	2026-08-12
Llama 3.3 70B	Q8_0	llama.cpp	512	—	2.9	CUDA	github.com	2026-08-12
Llama 3.3 70B	Q2_K	llama.cpp	512	—	7.2	CUDA	github.com	2026-08-12
Qwen3 32B	Q4_K_M	llama.cpp	512	630.0	10.5	CUDA, Vulkan	github.com	2025-11-22
Qwen3 32B	Q4_K_M	llama.cpp	512	762.0	10.8	CUDA	github.com	2025-12-05
Qwen3 8B	Q4_K_M	llama.cpp	512	3,168.0	43.9	CUDA	github.com	2025-12-05

자주 묻는 질문

NVIDIA DGX Spark에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Ling-3.0 Flash Q4_K_M(77.01GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 128GB에 전부 올라가고, 속도는 추정 52.8 tok/s (36.9–68.6, 이론 추정 ±30%)입니다.

NVIDIA DGX Spark에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 128GB 기준으로 등록된 모델 59개를 보면 쾌적 34개, 원활 12개, 겨우 가능 10개, 불가 3개입니다.

NVIDIA DGX Spark에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

Q4_K_M, 통합 메모리 기준 판정: 겨우 가능, 속도: 실측 4.7 tok/s (512 컨텍스트, 2건; 8k 추정 4.7 tok/s, 3.8–5.7, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.