DGX Spark 128GB vs M5 Ultra 256GB 로컬 LLM 비교
- DGX Spark 128GB: 메모리는 가장 큰 구성인 128GB로 잡고, 8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다.
- M5 Ultra 256GB: 메모리는 가장 큰 구성인 256GB로 잡고, 8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
이 페이지는 DGX Spark 128GB 한 대와 2026년 맥 스튜디오의 M5 Ultra 256GB 구성을 비교합니다. CanRun은 맥에서 메모리의 약 70%인 179.2GB를 GPU 몫으로 보고, DGX Spark에서는 116.9GB를 봅니다. 이 차이가 가장 큰 파일의 판정을 가릅니다. DeepSeek V4 Flash 0731은 M5 Ultra에서 쾌적하게 돌아가고(이론 추정), DGX Spark 한 대에는 들어가지 않습니다. 128GB 두 대나 64GB 네 대를 이으면 원활하게 돌아갑니다. 이 값도 이론 추정입니다. Q4_K_M GLM-5.3-Flash는 맥의 GPU 몫에 들어가지 않아 CPU 전용으로 계산합니다. 그래서 CPU 전용 상한인 ‘겨우 가능’ 배지가 붙습니다. 추정 속도만으로는 더 높은 판정이 나옵니다(이론 추정). macOS 기본 한도는 CanRun의 값보다 높으니 맥에서는 ollama ps로 확인해 보세요.
그보다 작은 모델에서는 대역폭이 큰 M5 Ultra가 앞섭니다. Gemma 4 31B는 M5 Ultra에서 쾌적하게 돌아가고, DGX Spark에서는 겨우 돌아갑니다. DGX Spark 쪽은 공개 벤치마크 값입니다. 긴 프롬프트를 읽는 속도는 CanRun이 대략 추정합니다(±40%). gpt-oss-120b 같은 MoE 모델은 M5 Ultra가 두 배 가까이 빠르고, Gemma 4 31B 같은 dense 모델은 두 기기가 비슷합니다.
DGX Spark 64GB 구성과 M5 Ultra 96GB 구성은 NVIDIA DGX Spark, Apple M5 Ultra 페이지와 DGX Spark 가이드에서 볼 수 있습니다.
속도 비교
글 생성 속도는 M5 Ultra 256GB 쪽이 DGX Spark 128GB보다 약 3.3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 56개의 추정치로 중앙값을 냈습니다.
- 기준 모델
- Ling-3.0 Flash Q4_K_M(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- DGX Spark 128GB
- 추정 52.8 tok/s (36.9–68.6, 이론 추정 ±30%)
- M5 Ultra 256GB
- 추정 106.3 tok/s (74.4–138.2, 이론 추정 ±30%)
- Ling-3.0 Flash 프롬프트 처리
- DGX Spark 128GB: 약 1,129 tok/s (678–1,581, 대략적 추정 ±40%) · M5 Ultra 256GB: 약 2,064 tok/s (1,238–2,889, 대략적 추정 ±40%)
사양 비교
| 항목 | DGX Spark 128GB | M5 Ultra 256GB | 차이 |
|---|---|---|---|
| 메모리 | 통합 메모리 128GB | 통합 메모리 256GB | M5 Ultra 256GB 쪽 +128GB |
| 메모리 대역폭 | 273.0 GB/s | 1,228.0 GB/s | M5 Ultra 256GB 쪽 4.5배 |
| FP16 연산 | 62.5 TFLOPS | 33.2 TFLOPS | DGX Spark 128GB 쪽 1.88배 |
| 출시 연도 | 2025 | 2026 | — |
| 가격 | 128GB 구성 출시가 US$3,999(약 530만 원) | — | — |
| 공개 벤치마크 결과 | 14건 | 1건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 59개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- DGX Spark 128GB쾌적34개원활12개겨우 가능10개불가3개
- M5 Ultra 256GB쾌적57개원활1개겨우 가능1개불가0개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 25개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | DGX Spark 128GB 판정 | DGX Spark 128GB 속도 | M5 Ultra 256GB 판정 | M5 Ultra 256GB 속도 |
|---|---|---|---|---|
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 쾌적 | 추정 52.5 tok/s36.7–68.2이론 추정 ±30% |
| Solar Open 2 250BIQ4_XS | 불가Q2_K (품질 손실 큼): 원활 | 추정 22.0 tok/s17.6–26.3보정된 추정 ±20% | 쾌적 | 추정 50.3 tok/s40.3–60.4보정된 추정 ±20% |
| Qwen3.5 122B-A10BQ4_K_M | 원활 | 29.0 tok/s8k 추정 24.0 tok/s (19.2–28.8, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 58.6 tok/s46.9–70.4보정된 추정 ±20% |
| Laguna S 2.1Q4_K_M | 원활 | 추정 28.4 tok/s22.7–34.1보정된 추정 ±20% | 쾌적 | 추정 61.9 tok/s49.5–74.3보정된 추정 ±20% |
| Solar Open 100BQ4_K_M | 원활 | 추정 22.8 tok/s18.3–27.4보정된 추정 ±20% | 쾌적 | 추정 56.5 tok/s45.2–67.8보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 10.3 tok/s8.3–12.4보정된 추정 ±20% | 쾌적 | 추정 34.0 tok/s27.2–40.8보정된 추정 ±20% |
| Nanbeige4.3 33BQ4_K_M | 겨우 가능 | 추정 9.4 tok/s7.6–11.3보정된 추정 ±20% | 쾌적 | 추정 31.1 tok/s24.8–37.3보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 9.7 tok/s7.7–11.6보정된 추정 ±20% | 쾌적 | 추정 31.8 tok/s25.5–38.2보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 10.7 tok/s8k 추정 9.7 tok/s (7.8–11.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 쾌적 | 추정 32.0 tok/s25.6–38.3보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 10.7 tok/s8.6–12.9보정된 추정 ±20% | 쾌적 | 추정 35.2 tok/s28.2–42.3보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 10.1 tok/s8k 추정 11.2 tok/s (9.0–13.5, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 36.9 tok/s29.5–44.2보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 원활 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% | 쾌적 | 추정 40.2 tok/s32.1–48.2보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 10.7 tok/s8.6–12.9보정된 추정 ±20% | 쾌적 | 추정 35.2 tok/s28.2–42.3보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 11.3 tok/s8k 추정 12.1 tok/s (9.7–14.5, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 39.7 tok/s31.7–47.6보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 원활 | 추정 12.3 tok/s9.8–14.7보정된 추정 ±20% | 쾌적 | 추정 40.3 tok/s32.3–48.4보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 11.8 tok/s9.5–14.2보정된 추정 ±20% | 쾌적 | 추정 38.9 tok/s31.1–46.7보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.4 tok/s9.9–14.8보정된 추정 ±20% | 쾌적 | 추정 40.6 tok/s32.5–48.8보정된 추정 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 13.6 tok/s10.9–16.3보정된 추정 ±20% | 쾌적 | 추정 44.7 tok/s35.7–53.6보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 원활 | 추정 20.6 tok/s16.5–24.7보정된 추정 ±20% | 쾌적 | 추정 67.7 tok/s54.1–81.2보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 20.1 tok/s16.1–24.1보정된 추정 ±20% | 쾌적 | 추정 66.0 tok/s52.8–79.2보정된 추정 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.9 tok/s14.6–27.2이론 추정 ±30% | 쾌적 | 추정 68.7 tok/s48.1–89.3이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.8 tok/s15.9–23.8보정된 추정 ±20% | 쾌적 | 추정 65.2 tok/s52.2–78.3보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 원활 | 추정 29.4 tok/s23.5–35.2보정된 추정 ±20% | 쾌적 | 추정 96.5 tok/s77.2–115.8보정된 추정 ±20% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 4.7 tok/s8k 추정 4.7 tok/s (3.8–5.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 원활 | 추정 15.5 tok/s12.4–18.6보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 겨우 가능 | 추정 39.5 tok/s27.6–51.3이론 추정 ±30% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | DGX Spark 128GB 판정 | DGX Spark 128GB 속도 | M5 Ultra 256GB 판정 | M5 Ultra 256GB 속도 |
|---|---|---|---|---|
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 쾌적 | 추정 52.5 tok/s36.7–68.2이론 추정 ±30% |
| Solar Open 2 250BIQ4_XS | 불가Q2_K (품질 손실 큼): 원활 | 추정 22.0 tok/s17.6–26.3보정된 추정 ±20% | 쾌적 | 추정 50.3 tok/s40.3–60.4보정된 추정 ±20% |
| Ling-3.0 FlashQ4_K_M | 쾌적 | 추정 52.8 tok/s36.9–68.6이론 추정 ±30% | 쾌적 | 추정 106.3 tok/s74.4–138.2이론 추정 ±30% |
| Qwen3.5 122B-A10BQ4_K_M | 원활 | 29.0 tok/s8k 추정 24.0 tok/s (19.2–28.8, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 58.6 tok/s46.9–70.4보정된 추정 ±20% |
| Laguna S 2.1Q4_K_M | 원활 | 추정 28.4 tok/s22.7–34.1보정된 추정 ±20% | 쾌적 | 추정 61.9 tok/s49.5–74.3보정된 추정 ±20% |
| gpt-oss-120bMXFP4 | 쾌적 | 58.7 tok/s8k 추정 50.8 tok/s (40.6–60.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 쾌적 | 추정 131.0 tok/s104.8–157.2보정된 추정 ±20% |
| Solar Open 100BQ4_K_M | 원활 | 추정 22.8 tok/s18.3–27.4보정된 추정 ±20% | 쾌적 | 추정 56.5 tok/s45.2–67.8보정된 추정 ±20% |
| Kolibri 1Q4_K_M | 쾌적 | 추정 52.2 tok/s41.7–62.6보정된 추정 ±20% | 쾌적 | 추정 108.1 tok/s86.5–129.8보정된 추정 ±20% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 쾌적 | 추정 37.7 tok/s26.4–49.1이론 추정 ±30% | 쾌적 | 추정 82.3 tok/s57.6–106.9이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 추정 61.9 tok/s49.5–74.2보정된 추정 ±20% | 쾌적 | 추정 116.8 tok/s93.5–140.2보정된 추정 ±20% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 추정 70.5 tok/s56.4–84.6보정된 추정 ±20% | 쾌적 | 추정 125.7 tok/s100.5–150.8보정된 추정 ±20% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 76.0 tok/s60.8–91.2보정된 추정 ±20% | 쾌적 | 추정 130.8 tok/s104.7–157.0보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 10.3 tok/s8.3–12.4보정된 추정 ±20% | 쾌적 | 추정 34.0 tok/s27.2–40.8보정된 추정 ±20% |
| Nanbeige4.3 33BQ4_K_M | 겨우 가능 | 추정 9.4 tok/s7.6–11.3보정된 추정 ±20% | 쾌적 | 추정 31.1 tok/s24.8–37.3보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 9.7 tok/s7.7–11.6보정된 추정 ±20% | 쾌적 | 추정 31.8 tok/s25.5–38.2보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 10.7 tok/s8k 추정 9.7 tok/s (7.8–11.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 쾌적 | 추정 32.0 tok/s25.6–38.3보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 10.7 tok/s8.6–12.9보정된 추정 ±20% | 쾌적 | 추정 35.2 tok/s28.2–42.3보정된 추정 ±20% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 쾌적 | 추정 69.8 tok/s48.8–90.7이론 추정 ±30% | 쾌적 | 추정 168.6 tok/s118.0–219.2이론 추정 ±30% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 10.1 tok/s8k 추정 11.2 tok/s (9.0–13.5, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 36.9 tok/s29.5–44.2보정된 추정 ±20% |
| Qwen3 30B-A3B (2507)Q4_K_M | 쾌적 | 추정 60.7 tok/s48.6–72.9보정된 추정 ±20% | 쾌적 | 추정 106.6 tok/s85.3–127.9보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 원활 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% | 쾌적 | 추정 40.2 tok/s32.1–48.2보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 10.7 tok/s8.6–12.9보정된 추정 ±20% | 쾌적 | 추정 35.2 tok/s28.2–42.3보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 11.3 tok/s8k 추정 12.1 tok/s (9.7–14.5, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 39.7 tok/s31.7–47.6보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 원활 | 추정 12.3 tok/s9.8–14.7보정된 추정 ±20% | 쾌적 | 추정 40.3 tok/s32.3–48.4보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 11.8 tok/s9.5–14.2보정된 추정 ±20% | 쾌적 | 추정 38.9 tok/s31.1–46.7보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.4 tok/s9.9–14.8보정된 추정 ±20% | 쾌적 | 추정 40.6 tok/s32.5–48.8보정된 추정 ±20% |
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 47.0 tok/s8k 추정 51.5 tok/s (41.2–61.8, 보정된 추정 ±20%)실측 1건 (32k 컨텍스트) | 쾌적 | 추정 115.8 tok/s92.6–138.9보정된 추정 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 13.6 tok/s10.9–16.3보정된 추정 ±20% | 쾌적 | 추정 44.7 tok/s35.7–53.6보정된 추정 ±20% |
| gpt-oss-20bMXFP4 | 쾌적 | 추정 71.7 tok/s57.4–86.0보정된 추정 ±20% | 쾌적 | 추정 187.4 tok/s149.9–224.9보정된 추정 ±20% |
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 62.2 tok/s49.7–74.6보정된 추정 ±20% | 쾌적 | 추정 128.1 tok/s102.5–153.7보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 원활 | 추정 20.6 tok/s16.5–24.7보정된 추정 ±20% | 쾌적 | 추정 67.7 tok/s54.1–81.2보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 20.1 tok/s16.1–24.1보정된 추정 ±20% | 쾌적 | 추정 66.0 tok/s52.8–79.2보정된 추정 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.9 tok/s14.6–27.2이론 추정 ±30% | 쾌적 | 추정 68.7 tok/s48.1–89.3이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.8 tok/s15.9–23.8보정된 추정 ±20% | 쾌적 | 추정 65.2 tok/s52.2–78.3보정된 추정 ±20% |
| Gemma 3 12BQ4_K_M | 쾌적 | 추정 27.2 tok/s21.7–32.6보정된 추정 ±20% | 쾌적 | 추정 89.3 tok/s71.5–107.2보정된 추정 ±20% |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 104.4 tok/s83.5–125.2보정된 추정 ±20% | 쾌적 | 추정 183.0 tok/s146.4–219.6보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 원활 | 추정 29.4 tok/s23.5–35.2보정된 추정 ±20% | 쾌적 | 추정 96.5 tok/s77.2–115.8보정된 추정 ±20% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 35.2 tok/s8k 추정 34.7 tok/s (27.8–41.6, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 114.0 tok/s91.2–136.8보정된 추정 ±20% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 31.3 tok/s25.1–37.6보정된 추정 ±20% | 쾌적 | 추정 103.0 tok/s82.4–123.6보정된 추정 ±20% |
| Qwen3 8BQ4_K_M | 쾌적 | 43.9 tok/s8k 추정 34.1 tok/s (27.3–41.0, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 112.2 tok/s89.8–134.7보정된 추정 ±20% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 34.1 tok/s27.3–41.0보정된 추정 ±20% | 쾌적 | 추정 112.2 tok/s89.8–134.7보정된 추정 ±20% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 35.5 tok/s28.4–42.6보정된 추정 ±20% | 쾌적 | 추정 116.8 tok/s93.4–140.1보정된 추정 ±20% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 35.5 tok/s28.4–42.6보정된 추정 ±20% | 쾌적 | 추정 116.8 tok/s93.4–140.1보정된 추정 ±20% |
| Llama 3.1 8BQ4_K_M | 쾌적 | 추정 35.5 tok/s28.4–42.6보정된 추정 ±20% | 쾌적 | 추정 116.8 tok/s93.4–140.1보정된 추정 ±20% |
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 61.5 tok/s43.1–80.0이론 추정 ±30% | 쾌적 | 추정 159.1 tok/s111.4–206.8이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 179.8 tok/s125.8–233.7이론 추정 ±30% | 쾌적 | 추정 264.1 tok/s184.9–343.3이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 115.9 tok/s81.1–150.6이론 추정 ±30% | 쾌적 | 추정 252.2 tok/s176.5–327.9이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 68.7 tok/s55.0–82.5보정된 추정 ±20% | 쾌적 | 추정 225.9 tok/s180.7–271.1보정된 추정 ±20% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 34.8 tok/s24.3–45.2이론 추정 ±30% | 쾌적 | 추정 114.3 tok/s80.0–148.5이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 73.4 tok/s58.7–88.1보정된 추정 ±20% | 쾌적 | 추정 241.2 tok/s193.0–289.4보정된 추정 ±20% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 72.0 tok/s57.6–86.3보정된 추정 ±20% | 쾌적 | 추정 236.5 tok/s189.2–283.8보정된 추정 ±20% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 118.0 tok/s82.6–153.4이론 추정 ±30% | 쾌적 | 추정 388.0 tok/s271.6–504.3이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 111.4 tok/s89.1–133.6보정된 추정 ±20% | 쾌적 | 추정 366.0 tok/s292.8–439.2보정된 추정 ±20% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 117.3 tok/s93.8–140.8보정된 추정 ±20% | 쾌적 | 추정 385.6 tok/s308.5–462.7보정된 추정 ±20% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 162.1 tok/s129.7–194.6보정된 추정 ±20% | 쾌적 | 추정 533.0 tok/s426.4–639.6보정된 추정 ±20% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 197.5 tok/s158.0–236.9보정된 추정 ±20% | 쾌적 | 추정 649.1 tok/s519.2–778.9보정된 추정 ±20% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 238.9 tok/s191.1–286.7보정된 추정 ±20% | 쾌적 | 추정 785.3 tok/s628.2–942.4보정된 추정 ±20% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 4.7 tok/s8k 추정 4.7 tok/s (3.8–5.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 원활 | 추정 15.5 tok/s12.4–18.6보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 겨우 가능 | 추정 39.5 tok/s27.6–51.3이론 추정 ±30% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
DGX Spark 128GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-120b | MXFP4 | llama.cpp | 2k | 2,444.0 | 58.7 | CUDA, no mmap | github.com | 2026-02-05 |
| Gemma 4 31B | Q4_K_M | llama.cpp | 512 | 687.0 | 10.1 | CUDA | github.com | 2026-04-14 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 32k | — | 47.0 | CUDA, depth 32768 | github.com | 2026-06-11 |
| Qwen3.5 35B-A3B | Q8_0 | llama.cpp | 2k | 2,572.0 | 49.2 | CUDA | github.com | 2026-03-12 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | — | 35.2 | — | github.com | 2026-08-13 |
| Qwen3.5 27B | Q4_K_M | llama.cpp | 4k | — | 11.3 | — | github.com | 2026-08-13 |
| Qwen3.5 122B-A10B | Q4_K_M | llama.cpp | 4k | — | 29.0 | — | github.com | 2026-08-13 |
| Llama 3.3 70B | Q4_K_M | llama.cpp | 512 | 284.0 | 4.7 | CUDA, Vulkan | github.com | 2025-11-22 |
| Llama 3.3 70B | Q4_K_M | llama.cpp | 512 | — | 4.6 | CUDA | github.com | 2026-08-12 |
| Llama 3.3 70B | Q8_0 | llama.cpp | 512 | — | 2.9 | CUDA | github.com | 2026-08-12 |
| Llama 3.3 70B | Q2_K | llama.cpp | 512 | — | 7.2 | CUDA | github.com | 2026-08-12 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 630.0 | 10.5 | CUDA, Vulkan | github.com | 2025-11-22 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 762.0 | 10.8 | CUDA | github.com | 2025-12-05 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | 3,168.0 | 43.9 | CUDA | github.com | 2025-12-05 |
M5 Ultra 256GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 4,945.0 | 179.1 | Metal, FA | github.com | 2026-09-30 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 DGX Spark 128GB·M5 Ultra 256GB 중 어느 쪽이 더 빠른가요?
글 생성 속도는 M5 Ultra 256GB 쪽이 DGX Spark 128GB보다 약 3.3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 56개의 추정치로 중앙값을 냈습니다. Ling-3.0 Flash Q4_K_M 기준 예상 속도는 DGX Spark 128GB 추정 52.8 tok/s (36.9–68.6, 이론 추정 ±30%), M5 Ultra 256GB 추정 106.3 tok/s (74.4–138.2, 이론 추정 ±30%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
DGX Spark 128GB에서는 Ling-3.0 Flash Q4_K_M(77.01GB 파일)까지 통합 메모리 128GB에 전부 올라가고, 속도는 추정 52.8 tok/s (36.9–68.6, 이론 추정 ±30%)입니다. M5 Ultra 256GB에서는 DeepSeek V4 Flash 0731 MXFP4(154.99GB 파일)까지 통합 메모리 256GB에 전부 올라가고, 속도는 추정 52.5 tok/s (36.7–68.2, 이론 추정 ±30%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 59개를 보면 DGX Spark 128GB: 쾌적 34개·원활 12개·겨우 가능 10개·불가 3개, M5 Ultra 256GB: 쾌적 57개·원활 1개·겨우 가능 1개·불가 0개입니다. 판정이 갈리는 모델은 25개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.