DGX Spark 128GB vs M5 Ultra 256GB：本地大模型运行对比
- DGX Spark 128GB：使用其最大内存配置 128 GB，按 8k 上下文和 f16 KV 缓存计算。
- M5 Ultra 256GB：使用其最大内存配置 256 GB，按 8k 上下文和 f16 KV 缓存计算。
速度
M5 Ultra 256GB 的文本生成速度约为 DGX Spark 128GB 的 3.3 倍（基于 56 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。
- 参考模型
- Ling-3.0 Flash（Q4_K_M），即以 Q4_K_M 或最接近的可用量化计、两者都能完全装入显存/内存的最大模型
- DGX Spark 128GB
- 估算 52.8 tok/s（36.9–68.6，理论估算 ±30%）
- M5 Ultra 256GB
- 估算 106.3 tok/s（74.4–138.2，理论估算 ±30%）
- Ling-3.0 Flash 的提示词处理
- DGX Spark 128GB：约 1,129 tok/s（678–1,581，粗略估算 ±40%）；M5 Ultra 256GB：约 2,064 tok/s（1,238–2,889，粗略估算 ±40%）
规格对比
| 规格 | DGX Spark 128GB | M5 Ultra 256GB | 差异 |
|---|---|---|---|
| 显存/内存 | 128 GB 统一内存 | 256 GB 统一内存 | M5 Ultra 256GB 多 128 GB |
| 内存带宽 | 273.0 GB/s | 1,228.0 GB/s | M5 Ultra 256GB 是对方的 4.5 倍 |
| FP16 算力 | 62.5 TFLOPS | 33.2 TFLOPS | DGX Spark 128GB 是对方的 1.88 倍 |
| 发布年份 | 2025 | 2026 | — |
| 价格 | 首发价 US$3,999（128 GB） | — | — |
| 公开基准测试结果 | 14 条 | 1 条 | — |
判定一览
共 59 个模型，按 Q4_K_M（或最接近的可用量化）和 8k 上下文判定。
- DGX Spark 128GB运行流畅34 个模型运行良好12 个模型运行较慢10 个模型无法运行3 个模型
- M5 Ultra 256GB运行流畅57 个模型运行良好1 个模型运行较慢1 个模型无法运行0 个模型
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
判定不同的模型
25 个模型在两者上的判定不同。
左右滑动可查看所有列。
| 模型 | DGX Spark 128GB 判定 | DGX Spark 128GB 速度 | M5 Ultra 256GB 判定 | M5 Ultra 256GB 速度 |
|---|---|---|---|---|
| DeepSeek V4 Flash 0731MXFP4 | 无法运行 | — | 运行流畅 | 估算 52.5 tok/s36.7–68.2理论估算 ±30% |
| Solar Open 2 250BIQ4_XS | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 22.0 tok/s17.6–26.3校准估算 ±20% | 运行流畅 | 估算 50.3 tok/s40.3–60.4校准估算 ±20% |
| Qwen3.5 122B-A10BQ4_K_M | 运行良好 | 29.0 tok/s8k 估算 24.0 tok/s（19.2–28.8，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 58.6 tok/s46.9–70.4校准估算 ±20% |
| Laguna S 2.1Q4_K_M | 运行良好 | 估算 28.4 tok/s22.7–34.1校准估算 ±20% | 运行流畅 | 估算 61.9 tok/s49.5–74.3校准估算 ±20% |
| Solar Open 100BQ4_K_M | 运行良好 | 估算 22.8 tok/s18.3–27.4校准估算 ±20% | 运行流畅 | 估算 56.5 tok/s45.2–67.8校准估算 ±20% |
| EXAONE 4.5 33BQ4_K_M | 运行较慢 | 估算 10.3 tok/s8.3–12.4校准估算 ±20% | 运行流畅 | 估算 34.0 tok/s27.2–40.8校准估算 ±20% |
| Nanbeige4.3 33BQ4_K_M | 运行较慢 | 估算 9.4 tok/s7.6–11.3校准估算 ±20% | 运行流畅 | 估算 31.1 tok/s24.8–37.3校准估算 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 运行较慢 | 估算 9.7 tok/s7.7–11.6校准估算 ±20% | 运行流畅 | 估算 31.8 tok/s25.5–38.2校准估算 ±20% |
| Qwen3 32BQ4_K_M | 运行较慢 | 10.7 tok/s8k 估算 9.7 tok/s（7.8–11.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行流畅 | 估算 32.0 tok/s25.6–38.3校准估算 ±20% |
| EXAONE 4.0 32BQ4_K_M | 运行较慢 | 估算 10.7 tok/s8.6–12.9校准估算 ±20% | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% |
| Gemma 4 31BQ4_K_M | 运行较慢 | 10.1 tok/s8k 估算 11.2 tok/s（9.0–13.5，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 36.9 tok/s29.5–44.2校准估算 ±20% |
| Muse Glimmer 30BQ4_K_M | 运行良好 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% | 运行流畅 | 估算 40.2 tok/s32.1–48.2校准估算 ±20% |
| Granite 4.2 30BQ4_K_M | 运行较慢 | 估算 10.7 tok/s8.6–12.9校准估算 ±20% | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% |
| Qwen3.5 27BQ4_K_M | 运行较慢 | 11.3 tok/s8k 估算 12.1 tok/s（9.7–14.5，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 39.7 tok/s31.7–47.6校准估算 ±20% |
| Qwen3.6 27BQ4_K_M | 运行良好 | 估算 12.3 tok/s9.8–14.7校准估算 ±20% | 运行流畅 | 估算 40.3 tok/s32.3–48.4校准估算 ±20% |
| Qwen3.8 27BQ4_K_M | 运行较慢 | 估算 11.8 tok/s9.5–14.2校准估算 ±20% | 运行流畅 | 估算 38.9 tok/s31.1–46.7校准估算 ±20% |
| Gemma 3 27BQ4_K_M | 运行良好 | 估算 12.4 tok/s9.9–14.8校准估算 ±20% | 运行流畅 | 估算 40.6 tok/s32.5–48.8校准估算 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 运行良好 | 估算 13.6 tok/s10.9–16.3校准估算 ±20% | 运行流畅 | 估算 44.7 tok/s35.7–53.6校准估算 ±20% |
| Qwen3 14BQ4_K_M | 运行良好 | 估算 20.6 tok/s16.5–24.7校准估算 ±20% | 运行流畅 | 估算 67.7 tok/s54.1–81.2校准估算 ±20% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 运行良好 | 估算 20.1 tok/s16.1–24.1校准估算 ±20% | 运行流畅 | 估算 66.0 tok/s52.8–79.2校准估算 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 运行良好 | 估算 20.9 tok/s14.6–27.2理论估算 ±30% | 运行流畅 | 估算 68.7 tok/s48.1–89.3理论估算 ±30% |
| Phi-4Q4_K_M | 运行良好 | 估算 19.8 tok/s15.9–23.8校准估算 ±20% | 运行流畅 | 估算 65.2 tok/s52.2–78.3校准估算 ±20% |
| Gemma 4 12BQ4_K_M | 运行良好 | 估算 29.4 tok/s23.5–35.2校准估算 ±20% | 运行流畅 | 估算 96.5 tok/s77.2–115.8校准估算 ±20% |
| Llama 3.3 70BQ4_K_M | 运行较慢 | 4.7 tok/s8k 估算 4.7 tok/s（3.8–5.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行良好 | 估算 15.5 tok/s12.4–18.6校准估算 ±20% |
| GLM-5.3 FlashQ4_K_M | 无法运行 | — | 运行较慢 | 估算 39.5 tok/s27.6–51.3理论估算 ±30% |
两者上的全部模型
左右滑动可查看所有列。
| 模型 | DGX Spark 128GB 判定 | DGX Spark 128GB 速度 | M5 Ultra 256GB 判定 | M5 Ultra 256GB 速度 |
|---|---|---|---|---|
| DeepSeek V4 Flash 0731MXFP4 | 无法运行 | — | 运行流畅 | 估算 52.5 tok/s36.7–68.2理论估算 ±30% |
| Solar Open 2 250BIQ4_XS | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 22.0 tok/s17.6–26.3校准估算 ±20% | 运行流畅 | 估算 50.3 tok/s40.3–60.4校准估算 ±20% |
| Ling-3.0 FlashQ4_K_M | 运行流畅 | 估算 52.8 tok/s36.9–68.6理论估算 ±30% | 运行流畅 | 估算 106.3 tok/s74.4–138.2理论估算 ±30% |
| Qwen3.5 122B-A10BQ4_K_M | 运行良好 | 29.0 tok/s8k 估算 24.0 tok/s（19.2–28.8，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 58.6 tok/s46.9–70.4校准估算 ±20% |
| Laguna S 2.1Q4_K_M | 运行良好 | 估算 28.4 tok/s22.7–34.1校准估算 ±20% | 运行流畅 | 估算 61.9 tok/s49.5–74.3校准估算 ±20% |
| gpt-oss-120bMXFP4 | 运行流畅 | 58.7 tok/s8k 估算 50.8 tok/s（40.6–60.9，校准估算 ±20%）实测（1 次，2k 上下文） | 运行流畅 | 估算 131.0 tok/s104.8–157.2校准估算 ±20% |
| Solar Open 100BQ4_K_M | 运行良好 | 估算 22.8 tok/s18.3–27.4校准估算 ±20% | 运行流畅 | 估算 56.5 tok/s45.2–67.8校准估算 ±20% |
| Kolibri 1Q4_K_M | 运行流畅 | 估算 52.2 tok/s41.7–62.6校准估算 ±20% | 运行流畅 | 估算 108.1 tok/s86.5–129.8校准估算 ±20% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 运行流畅 | 估算 37.7 tok/s26.4–49.1理论估算 ±30% | 运行流畅 | 估算 82.3 tok/s57.6–106.9理论估算 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 运行流畅 | 估算 61.9 tok/s49.5–74.2校准估算 ±20% | 运行流畅 | 估算 116.8 tok/s93.5–140.2校准估算 ±20% |
| Qwen3.6 35B-A3BQ4_K_M | 运行流畅 | 估算 70.5 tok/s56.4–84.6校准估算 ±20% | 运行流畅 | 估算 125.7 tok/s100.5–150.8校准估算 ±20% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 运行流畅 | 估算 76.0 tok/s60.8–91.2校准估算 ±20% | 运行流畅 | 估算 130.8 tok/s104.7–157.0校准估算 ±20% |
| EXAONE 4.5 33BQ4_K_M | 运行较慢 | 估算 10.3 tok/s8.3–12.4校准估算 ±20% | 运行流畅 | 估算 34.0 tok/s27.2–40.8校准估算 ±20% |
| Nanbeige4.3 33BQ4_K_M | 运行较慢 | 估算 9.4 tok/s7.6–11.3校准估算 ±20% | 运行流畅 | 估算 31.1 tok/s24.8–37.3校准估算 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 运行较慢 | 估算 9.7 tok/s7.7–11.6校准估算 ±20% | 运行流畅 | 估算 31.8 tok/s25.5–38.2校准估算 ±20% |
| Qwen3 32BQ4_K_M | 运行较慢 | 10.7 tok/s8k 估算 9.7 tok/s（7.8–11.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行流畅 | 估算 32.0 tok/s25.6–38.3校准估算 ±20% |
| EXAONE 4.0 32BQ4_K_M | 运行较慢 | 估算 10.7 tok/s8.6–12.9校准估算 ±20% | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 运行流畅 | 估算 69.8 tok/s48.8–90.7理论估算 ±30% | 运行流畅 | 估算 168.6 tok/s118.0–219.2理论估算 ±30% |
| Gemma 4 31BQ4_K_M | 运行较慢 | 10.1 tok/s8k 估算 11.2 tok/s（9.0–13.5，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 36.9 tok/s29.5–44.2校准估算 ±20% |
| Qwen3 30B-A3B (2507)Q4_K_M | 运行流畅 | 估算 60.7 tok/s48.6–72.9校准估算 ±20% | 运行流畅 | 估算 106.6 tok/s85.3–127.9校准估算 ±20% |
| Muse Glimmer 30BQ4_K_M | 运行良好 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% | 运行流畅 | 估算 40.2 tok/s32.1–48.2校准估算 ±20% |
| Granite 4.2 30BQ4_K_M | 运行较慢 | 估算 10.7 tok/s8.6–12.9校准估算 ±20% | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% |
| Qwen3.5 27BQ4_K_M | 运行较慢 | 11.3 tok/s8k 估算 12.1 tok/s（9.7–14.5，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 39.7 tok/s31.7–47.6校准估算 ±20% |
| Qwen3.6 27BQ4_K_M | 运行良好 | 估算 12.3 tok/s9.8–14.7校准估算 ±20% | 运行流畅 | 估算 40.3 tok/s32.3–48.4校准估算 ±20% |
| Qwen3.8 27BQ4_K_M | 运行较慢 | 估算 11.8 tok/s9.5–14.2校准估算 ±20% | 运行流畅 | 估算 38.9 tok/s31.1–46.7校准估算 ±20% |
| Gemma 3 27BQ4_K_M | 运行良好 | 估算 12.4 tok/s9.9–14.8校准估算 ±20% | 运行流畅 | 估算 40.6 tok/s32.5–48.8校准估算 ±20% |
| Gemma 4 26B-A4BQ4_K_M | 运行流畅 | 47.0 tok/s8k 估算 51.5 tok/s（41.2–61.8，校准估算 ±20%）实测（1 次，32k 上下文） | 运行流畅 | 估算 115.8 tok/s92.6–138.9校准估算 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 运行良好 | 估算 13.6 tok/s10.9–16.3校准估算 ±20% | 运行流畅 | 估算 44.7 tok/s35.7–53.6校准估算 ±20% |
| gpt-oss-20bMXFP4 | 运行流畅 | 估算 71.7 tok/s57.4–86.0校准估算 ±20% | 运行流畅 | 估算 187.4 tok/s149.9–224.9校准估算 ±20% |
| Kanana 1.5 15.7B-A3BQ4_K_M | 运行流畅 | 估算 62.2 tok/s49.7–74.6校准估算 ±20% | 运行流畅 | 估算 128.1 tok/s102.5–153.7校准估算 ±20% |
| Qwen3 14BQ4_K_M | 运行良好 | 估算 20.6 tok/s16.5–24.7校准估算 ±20% | 运行流畅 | 估算 67.7 tok/s54.1–81.2校准估算 ±20% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 运行良好 | 估算 20.1 tok/s16.1–24.1校准估算 ±20% | 运行流畅 | 估算 66.0 tok/s52.8–79.2校准估算 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 运行良好 | 估算 20.9 tok/s14.6–27.2理论估算 ±30% | 运行流畅 | 估算 68.7 tok/s48.1–89.3理论估算 ±30% |
| Phi-4Q4_K_M | 运行良好 | 估算 19.8 tok/s15.9–23.8校准估算 ±20% | 运行流畅 | 估算 65.2 tok/s52.2–78.3校准估算 ±20% |
| Gemma 3 12BQ4_K_M | 运行流畅 | 估算 27.2 tok/s21.7–32.6校准估算 ±20% | 运行流畅 | 估算 89.3 tok/s71.5–107.2校准估算 ±20% |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 运行流畅 | 估算 104.4 tok/s83.5–125.2校准估算 ±20% | 运行流畅 | 估算 183.0 tok/s146.4–219.6校准估算 ±20% |
| Gemma 4 12BQ4_K_M | 运行良好 | 估算 29.4 tok/s23.5–35.2校准估算 ±20% | 运行流畅 | 估算 96.5 tok/s77.2–115.8校准估算 ±20% |
| Qwen3.5 9BQ4_K_M | 运行流畅 | 35.2 tok/s8k 估算 34.7 tok/s（27.8–41.6，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 114.0 tok/s91.2–136.8校准估算 ±20% |
| K2-Horizon 7BQ4_K_M | 运行流畅 | 估算 31.3 tok/s25.1–37.6校准估算 ±20% | 运行流畅 | 估算 103.0 tok/s82.4–123.6校准估算 ±20% |
| Qwen3 8BQ4_K_M | 运行流畅 | 43.9 tok/s8k 估算 34.1 tok/s（27.3–41.0，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 112.2 tok/s89.8–134.7校准估算 ±20% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 运行流畅 | 估算 34.1 tok/s27.3–41.0校准估算 ±20% | 运行流畅 | 估算 112.2 tok/s89.8–134.7校准估算 ±20% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 运行流畅 | 估算 35.5 tok/s28.4–42.6校准估算 ±20% | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% |
| Kanana 1.5 8BQ4_K_M | 运行流畅 | 估算 35.5 tok/s28.4–42.6校准估算 ±20% | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% |
| Llama 3.1 8BQ4_K_M | 运行流畅 | 估算 35.5 tok/s28.4–42.6校准估算 ±20% | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% |
| Gemma 4 E4BQ4_K_M | 运行流畅 | 估算 61.5 tok/s43.1–80.0理论估算 ±30% | 运行流畅 | 估算 159.1 tok/s111.4–206.8理论估算 ±30% |
| Ling-3.0 TinyQ4_K_M | 运行流畅 | 估算 179.8 tok/s125.8–233.7理论估算 ±30% | 运行流畅 | 估算 264.1 tok/s184.9–343.3理论估算 ±30% |
| Gemma 4 E2BQ4_K_M | 运行流畅 | 估算 115.9 tok/s81.1–150.6理论估算 ±30% | 运行流畅 | 估算 252.2 tok/s176.5–327.9理论估算 ±30% |
| Qwen3.5 4BQ4_K_M | 运行流畅 | 估算 68.7 tok/s55.0–82.5校准估算 ±20% | 运行流畅 | 估算 225.9 tok/s180.7–271.1校准估算 ±20% |
| Nanbeige4.2 3BQ4_K_M | 运行流畅 | 估算 34.8 tok/s24.3–45.2理论估算 ±30% | 运行流畅 | 估算 114.3 tok/s80.0–148.5理论估算 ±30% |
| Spark-X2.5 4BQ4_K_M | 运行流畅 | 估算 73.4 tok/s58.7–88.1校准估算 ±20% | 运行流畅 | 估算 241.2 tok/s193.0–289.4校准估算 ±20% |
| Llama 3.2 3BQ4_K_M | 运行流畅 | 估算 72.0 tok/s57.6–86.3校准估算 ±20% | 运行流畅 | 估算 236.5 tok/s189.2–283.8校准估算 ±20% |
| LFM2.5 2.6BQ4_K_M | 运行流畅 | 估算 118.0 tok/s82.6–153.4理论估算 ±30% | 运行流畅 | 估算 388.0 tok/s271.6–504.3理论估算 ±30% |
| MiniCPM5 2BQ4_K_M | 运行流畅 | 估算 111.4 tok/s89.1–133.6校准估算 ±20% | 运行流畅 | 估算 366.0 tok/s292.8–439.2校准估算 ±20% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 运行流畅 | 估算 117.3 tok/s93.8–140.8校准估算 ±20% | 运行流畅 | 估算 385.6 tok/s308.5–462.7校准估算 ±20% |
| EXAONE 4.0 1.2BQ4_K_M | 运行流畅 | 估算 162.1 tok/s129.7–194.6校准估算 ±20% | 运行流畅 | 估算 533.0 tok/s426.4–639.6校准估算 ±20% |
| Llama 3.2 1BQ4_K_M | 运行流畅 | 估算 197.5 tok/s158.0–236.9校准估算 ±20% | 运行流畅 | 估算 649.1 tok/s519.2–778.9校准估算 ±20% |
| MiniCPM5 1BQ4_K_M | 运行流畅 | 估算 238.9 tok/s191.1–286.7校准估算 ±20% | 运行流畅 | 估算 785.3 tok/s628.2–942.4校准估算 ±20% |
| Llama 3.3 70BQ4_K_M | 运行较慢 | 4.7 tok/s8k 估算 4.7 tok/s（3.8–5.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行良好 | 估算 15.5 tok/s12.4–18.6校准估算 ±20% |
| GLM-5.3 FlashQ4_K_M | 无法运行 | — | 运行较慢 | 估算 39.5 tok/s27.6–51.3理论估算 ±30% |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
公开基准测试
DGX Spark 128GB 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-120b | MXFP4 | llama.cpp | 2k | 2,444.0 | 58.7 | CUDA, no mmap | github.com | 2026-02-05 |
| Gemma 4 31B | Q4_K_M | llama.cpp | 512 | 687.0 | 10.1 | CUDA | github.com | 2026-04-14 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 32k | — | 47.0 | CUDA, depth 32768 | github.com | 2026-06-11 |
| Qwen3.5 35B-A3B | Q8_0 | llama.cpp | 2k | 2,572.0 | 49.2 | CUDA | github.com | 2026-03-12 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | — | 35.2 | — | github.com | 2026-08-13 |
| Qwen3.5 27B | Q4_K_M | llama.cpp | 4k | — | 11.3 | — | github.com | 2026-08-13 |
| Qwen3.5 122B-A10B | Q4_K_M | llama.cpp | 4k | — | 29.0 | — | github.com | 2026-08-13 |
| Llama 3.3 70B | Q4_K_M | llama.cpp | 512 | 284.0 | 4.7 | CUDA, Vulkan | github.com | 2025-11-22 |
| Llama 3.3 70B | Q4_K_M | llama.cpp | 512 | — | 4.6 | CUDA | github.com | 2026-08-12 |
| Llama 3.3 70B | Q8_0 | llama.cpp | 512 | — | 2.9 | CUDA | github.com | 2026-08-12 |
| Llama 3.3 70B | Q2_K | llama.cpp | 512 | — | 7.2 | CUDA | github.com | 2026-08-12 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 630.0 | 10.5 | CUDA, Vulkan | github.com | 2025-11-22 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 762.0 | 10.8 | CUDA | github.com | 2025-12-05 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | 3,168.0 | 43.9 | CUDA | github.com | 2025-12-05 |
M5 Ultra 256GB 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 4,945.0 | 179.1 | Metal, FA | github.com | 2026-09-30 |
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
常见问题
运行本地大模型时，DGX Spark 128GB 和 M5 Ultra 256GB 哪个更快？
M5 Ultra 256GB 的文本生成速度约为 DGX Spark 128GB 的 3.3 倍（基于 56 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。Ling-3.0 Flash Q4_K_M 的速度：DGX Spark 128GB 估算 52.8 tok/s（36.9–68.6，理论估算 ±30%）；M5 Ultra 256GB 估算 106.3 tok/s（74.4–138.2，理论估算 ±30%）。
两者各自能完全装入显存/内存的最大模型是什么？
DGX Spark 128GB 能把 Ling-3.0 Flash Q4_K_M（77.01 GB 文件）完整装入 128 GB 统一内存，估算 52.8 tok/s（36.9–68.6，理论估算 ±30%）。 M5 Ultra 256GB 能把 DeepSeek V4 Flash 0731 MXFP4（154.99 GB 文件）完整装入 256 GB 统一内存，估算 52.5 tok/s（36.7–68.2，理论估算 ±30%）。
两者上各有多少本地大模型能运行良好？
以 Q4_K_M、8k 上下文计，在 59 个已收录的模型中，DGX Spark 128GB：运行流畅 34 个、运行良好 12 个、运行较慢 10 个、无法运行 3 个；M5 Ultra 256GB：运行流畅 57 个、运行良好 1 个、运行较慢 1 个、无法运行 0 个。有 25 个模型的判定不同。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。