CanRun

Ryzen AI Max+ 395 128GB vs DGX Spark 128GB:本地大模型运行对比

使用其最大内存配置 128 GB,按 8k 上下文和 f16 KV 缓存计算。

速度

Ryzen AI Max+ 395 128GB 和 DGX Spark 128GB 的文本生成速度大致相同(基于 55 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型,取我们估算值的中位数)。

参考模型
Ling-3.0 Flash(Q4_K_M),即以 Q4_K_M 或最接近的可用量化计、两者都能完全装入显存/内存的最大模型
Ryzen AI Max+ 395 128GB
估算 48.4 tok/s(33.9–62.9,理论估算 ±30%)
DGX Spark 128GB
估算 52.8 tok/s(36.9–68.6,理论估算 ±30%)
Ling-3.0 Flash 的提示词处理
Ryzen AI Max+ 395 128GB:约 712 tok/s(427–997,粗略估算 ±40%);DGX Spark 128GB:约 1,129 tok/s(678–1,581,粗略估算 ±40%)

规格对比

Ryzen AI Max+ 395 128GB 与 DGX Spark 128GB 的规格
规格Ryzen AI Max+ 395 128GBDGX Spark 128GB差异
显存/内存128 GB 统一内存128 GB 统一内存相同
内存带宽256.0 GB/s273.0 GB/sDGX Spark 128GB 是对方的 1.07 倍
FP16 算力29.7 TFLOPS62.5 TFLOPSDGX Spark 128GB 是对方的 2.1 倍
发布年份20252025—
价格首发价 US$1,999(128 GB)首发价 US$3,999(128 GB)—
公开基准测试结果17 条14 条—

判定一览

共 58 个模型,按 Q4_K_M(或最接近的可用量化)和 8k 上下文判定。

  • Ryzen AI Max+ 395 128GB运行流畅34 个模型运行良好12 个模型运行较慢9 个模型无法运行3 个模型
  • DGX Spark 128GB运行流畅34 个模型运行良好12 个模型运行较慢9 个模型无法运行3 个模型

判定说明

运行流畅
全部载入显卡,且达到 20 tok/s 及以上
运行良好
全部载入显卡且为 8–20 tok/s;MoE 专家放在系统内存且达到 20 tok/s 及以上;或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢
2–8 tok/s;纯 CPU;载入显卡不足 90%;或 MoE 专家放在系统内存且低于 20 tok/s
无法运行
内存装不下,或低于 2 tok/s

判定不同的模型

所有模型在两者上的判定都相同。

两者上的全部模型

左右滑动可查看所有列。

共 58 个模型,先按两者中较好的判定排序,再按模型大小排序
模型Ryzen AI Max+ 395 128GB 判定Ryzen AI Max+ 395 128GB 速度DGX Spark 128GB 判定DGX Spark 128GB 速度
Ling-3.0 FlashQ4_K_M
运行流畅
估算 48.4 tok/s33.9–62.9理论估算 ±30%
运行流畅
估算 52.8 tok/s36.9–68.6理论估算 ±30%
gpt-oss-120bMXFP4
运行流畅
50.2 tok/s8k 估算 48.5 tok/s(38.8–58.1,校准估算 ±20%)实测(1 次,512 上下文)
运行流畅
58.7 tok/s8k 估算 50.8 tok/s(40.6–60.9,校准估算 ±20%)实测(1 次,2k 上下文)
Kolibri 1Q4_K_M
运行流畅
估算 48.0 tok/s38.4–57.6校准估算 ±20%
运行流畅
估算 52.2 tok/s41.7–62.6校准估算 ±20%
K2-Horizon MoVA 36B-A4BQ4_K_M
运行流畅
估算 35.1 tok/s24.5–45.6理论估算 ±30%
运行流畅
估算 37.7 tok/s26.4–49.1理论估算 ±30%
Qwen3.5 35B-A3BQ4_K_M
运行流畅
64.8 tok/s8k 估算 56.0 tok/s(44.8–67.2,校准估算 ±20%)实测(1 次,512 上下文)
运行流畅
估算 61.9 tok/s49.5–74.2校准估算 ±20%
Qwen3.6 35B-A3BQ4_K_M
运行流畅
63.8 tok/s8k 估算 63.1 tok/s(50.5–75.7,校准估算 ±20%)实测(1 次,512 上下文)
运行流畅
估算 70.5 tok/s56.4–84.6校准估算 ±20%
MiniCPM-V 4.7 35B-A3BQ4_K_M
运行流畅
估算 67.5 tok/s54.0–81.1校准估算 ±20%
运行流畅
估算 76.0 tok/s60.8–91.2校准估算 ±20%
Nemotron 3.5 Lightning 30B-A3BQ4_K_M
运行流畅
估算 65.9 tok/s46.1–85.7理论估算 ±30%
运行流畅
估算 69.8 tok/s48.8–90.7理论估算 ±30%
Qwen3 30B-A3B (2507)Q4_K_M
运行流畅
估算 54.2 tok/s43.3–65.0校准估算 ±20%
运行流畅
估算 60.7 tok/s48.6–72.9校准估算 ±20%
Gemma 4 26B-A4BQ4_K_M
运行流畅
54.3 tok/s8k 估算 48.1 tok/s(38.5–57.7,校准估算 ±20%)实测(2 次,512 上下文)
运行流畅
47.0 tok/s8k 估算 51.5 tok/s(41.2–61.8,校准估算 ±20%)实测(1 次,32k 上下文)
gpt-oss-20bMXFP4
运行流畅
估算 68.6 tok/s54.8–82.3校准估算 ±20%
运行流畅
估算 71.7 tok/s57.4–86.0校准估算 ±20%
Kanana 1.5 15.7B-A3BQ4_K_M
运行流畅
估算 57.2 tok/s45.8–68.6校准估算 ±20%
运行流畅
估算 62.2 tok/s49.7–74.6校准估算 ±20%
Gemma 3 12BQ4_K_M
运行流畅
估算 26.8 tok/s21.4–32.1校准估算 ±20%
运行流畅
估算 27.2 tok/s21.7–32.6校准估算 ±20%
Mellum2.1 12B-A2.5B ThinkingQ4_K_M
运行流畅
估算 93.1 tok/s74.5–111.7校准估算 ±20%
运行流畅
估算 104.4 tok/s83.5–125.2校准估算 ±20%
Qwen3.5 9BQ4_K_M
运行流畅
37.2 tok/s8k 估算 34.2 tok/s(27.4–41.0,校准估算 ±20%)实测(1 次,4k 上下文)
运行流畅
35.2 tok/s8k 估算 34.7 tok/s(27.8–41.6,校准估算 ±20%)实测(1 次,4k 上下文)
K2-Horizon 7BQ4_K_M
运行流畅
估算 30.9 tok/s24.7–37.1校准估算 ±20%
运行流畅
估算 31.3 tok/s25.1–37.6校准估算 ±20%
Qwen3 8BQ4_K_M
运行流畅
43.6 tok/s8k 估算 33.7 tok/s(26.9–40.4,校准估算 ±20%)实测(1 次,512 上下文)
运行流畅
43.9 tok/s8k 估算 34.1 tok/s(27.3–41.0,校准估算 ±20%)实测(1 次,512 上下文)
DeepSeek R1 0528 Qwen3 8BQ4_K_M
运行流畅
估算 33.7 tok/s26.9–40.4校准估算 ±20%
运行流畅
估算 34.1 tok/s27.3–41.0校准估算 ±20%
DeepSeek R1 Distill Llama 8BQ4_K_M
运行流畅
估算 35.0 tok/s28.0–42.0校准估算 ±20%
运行流畅
估算 35.5 tok/s28.4–42.6校准估算 ±20%
Kanana 1.5 8BQ4_K_M
运行流畅
估算 35.0 tok/s28.0–42.0校准估算 ±20%
运行流畅
估算 35.5 tok/s28.4–42.6校准估算 ±20%
Llama 3.1 8BQ4_K_M
运行流畅
估算 35.0 tok/s28.0–42.0校准估算 ±20%
运行流畅
估算 35.5 tok/s28.4–42.6校准估算 ±20%
Gemma 4 E4BQ4_K_M
运行流畅
估算 59.3 tok/s41.5–77.1理论估算 ±30%
运行流畅
估算 61.5 tok/s43.1–80.0理论估算 ±30%
Ling-3.0 TinyQ4_K_M
运行流畅
估算 154.3 tok/s108.0–200.5理论估算 ±30%
运行流畅
估算 179.8 tok/s125.8–233.7理论估算 ±30%
Gemma 4 E2BQ4_K_M
运行流畅
估算 109.5 tok/s76.6–142.3理论估算 ±30%
运行流畅
估算 115.9 tok/s81.1–150.6理论估算 ±30%
Qwen3.5 4BQ4_K_M
运行流畅
估算 67.8 tok/s54.2–81.3校准估算 ±20%
运行流畅
估算 68.7 tok/s55.0–82.5校准估算 ±20%
Nanbeige4.2 3BQ4_K_M
运行流畅
估算 34.3 tok/s24.0–44.5理论估算 ±30%
运行流畅
估算 34.8 tok/s24.3–45.2理论估算 ±30%
Spark-X2.5 4BQ4_K_M
运行流畅
估算 72.3 tok/s57.9–86.8校准估算 ±20%
运行流畅
估算 73.4 tok/s58.7–88.1校准估算 ±20%
Llama 3.2 3BQ4_K_M
运行流畅
估算 70.9 tok/s56.7–85.1校准估算 ±20%
运行流畅
估算 72.0 tok/s57.6–86.3校准估算 ±20%
LFM2.5 2.6BQ4_K_M
运行流畅
估算 116.3 tok/s81.4–151.3理论估算 ±30%
运行流畅
估算 118.0 tok/s82.6–153.4理论估算 ±30%
MiniCPM5 2BQ4_K_M
运行流畅
估算 109.8 tok/s87.8–131.7校准估算 ±20%
运行流畅
估算 111.4 tok/s89.1–133.6校准估算 ±20%
HyperCLOVA X SEED 1.5BQ4_K_M
运行流畅
估算 115.6 tok/s92.5–138.8校准估算 ±20%
运行流畅
估算 117.3 tok/s93.8–140.8校准估算 ±20%
EXAONE 4.0 1.2BQ4_K_M
运行流畅
估算 159.8 tok/s127.9–191.8校准估算 ±20%
运行流畅
估算 162.1 tok/s129.7–194.6校准估算 ±20%
Llama 3.2 1BQ4_K_M
运行流畅
估算 194.7 tok/s155.7–233.6校准估算 ±20%
运行流畅
估算 197.5 tok/s158.0–236.9校准估算 ±20%
MiniCPM5 1BQ4_K_M
运行流畅
估算 235.5 tok/s188.4–282.6校准估算 ±20%
运行流畅
估算 238.9 tok/s191.1–286.7校准估算 ±20%
Qwen3.5 122B-A10BQ4_K_M
运行良好
20.9 tok/s8k 估算 22.7 tok/s(18.2–27.2,校准估算 ±20%)实测(1 次,512 上下文)
运行良好
29.0 tok/s8k 估算 24.0 tok/s(19.2–28.8,校准估算 ±20%)实测(1 次,4k 上下文)
Laguna S 2.1Q4_K_M
运行良好
估算 26.4 tok/s21.1–31.7校准估算 ±20%
运行良好
估算 28.4 tok/s22.7–34.1校准估算 ±20%
Solar Open 100BQ4_K_M
运行良好
估算 21.6 tok/s17.3–26.0校准估算 ±20%
运行良好
估算 22.8 tok/s18.3–27.4校准估算 ±20%
Muse Glimmer 30BQ4_K_M
运行良好
估算 12.1 tok/s9.6–14.5校准估算 ±20%
运行良好
估算 12.2 tok/s9.8–14.7校准估算 ±20%
Qwen3.6 27BQ4_K_M
运行良好
估算 12.1 tok/s9.7–14.5校准估算 ±20%
运行良好
估算 12.3 tok/s9.8–14.7校准估算 ±20%
Gemma 3 27BQ4_K_M
运行良好
估算 12.2 tok/s9.8–14.6校准估算 ±20%
运行良好
估算 12.4 tok/s9.9–14.8校准估算 ±20%
Mistral Small 3.2 24BQ4_K_M
运行良好
估算 13.4 tok/s10.7–16.1校准估算 ±20%
运行良好
估算 13.6 tok/s10.9–16.3校准估算 ±20%
Qwen3 14BQ4_K_M
运行良好
估算 20.3 tok/s16.2–24.4校准估算 ±20%
运行良好
估算 20.6 tok/s16.5–24.7校准估算 ±20%
DeepSeek R1 Distill Qwen 14BQ4_K_M
运行良好
估算 19.8 tok/s15.8–23.8校准估算 ±20%
运行良好
估算 20.1 tok/s16.1–24.1校准估算 ±20%
HyperCLOVA X SEED Think 14BQ4_K_M
运行良好
估算 20.6 tok/s14.4–26.8理论估算 ±30%
运行良好
估算 20.9 tok/s14.6–27.2理论估算 ±30%
Phi-4Q4_K_M
运行良好
估算 19.6 tok/s15.7–23.5校准估算 ±20%
运行良好
估算 19.8 tok/s15.9–23.8校准估算 ±20%
Gemma 4 12BQ4_K_M
运行良好
24.4 tok/s8k 估算 28.9 tok/s(23.2–34.7,校准估算 ±20%)实测(1 次,512 上下文)
运行良好
估算 29.4 tok/s23.5–35.2校准估算 ±20%
Llama 3.3 70BQ4_K_M
运行较慢
估算 4.6 tok/s3.7–5.6校准估算 ±20%
运行较慢
4.7 tok/s8k 估算 4.7 tok/s(3.8–5.7,校准估算 ±20%)实测(2 次,512 上下文)
EXAONE 4.5 33BQ4_K_M
运行较慢
估算 10.2 tok/s8.2–12.2校准估算 ±20%
运行较慢
估算 10.3 tok/s8.3–12.4校准估算 ±20%
DeepSeek R1 Distill Qwen 32BQ4_K_M
运行较慢
估算 9.5 tok/s7.6–11.5校准估算 ±20%
运行较慢
估算 9.7 tok/s7.7–11.6校准估算 ±20%
Qwen3 32BQ4_K_M
运行较慢
10.2 tok/s8k 估算 9.6 tok/s(7.7–11.5,校准估算 ±20%)实测(2 次,512 上下文)
运行较慢
10.7 tok/s8k 估算 9.7 tok/s(7.8–11.7,校准估算 ±20%)实测(2 次,512 上下文)
EXAONE 4.0 32BQ4_K_M
运行较慢
估算 10.6 tok/s8.4–12.7校准估算 ±20%
运行较慢
估算 10.7 tok/s8.6–12.9校准估算 ±20%
Gemma 4 31BQ4_K_M
运行较慢
估算 11.1 tok/s8.8–13.3校准估算 ±20%
运行较慢
10.1 tok/s8k 估算 11.2 tok/s(9.0–13.5,校准估算 ±20%)实测(1 次,512 上下文)
Granite 4.2 30BQ4_K_M
运行较慢
估算 10.6 tok/s8.5–12.7校准估算 ±20%
运行较慢
估算 10.7 tok/s8.6–12.9校准估算 ±20%
Qwen3.5 27BQ4_K_M
运行较慢
估算 11.9 tok/s9.5–14.3校准估算 ±20%
运行较慢
11.3 tok/s8k 估算 12.1 tok/s(9.7–14.5,校准估算 ±20%)实测(1 次,4k 上下文)
Qwen3.8 27BQ4_K_M
运行较慢
估算 11.7 tok/s9.3–14.0校准估算 ±20%
运行较慢
估算 11.8 tok/s9.5–14.2校准估算 ±20%
GLM-5.3 FlashQ4_K_M
无法运行
—
无法运行
—
DeepSeek V4 Flash 0731MXFP4
无法运行改用 Q2_K(质量损失大):运行较慢
估算 19.1 tok/s13.4–24.9理论估算 ±30%
无法运行
—
Solar Open 2 250BIQ4_XS
无法运行改用 Q2_K(质量损失大):运行较慢
估算 18.0 tok/s12.6–23.4理论估算 ±30%
无法运行改用 Q2_K(质量损失大):运行良好
估算 22.0 tok/s17.6–26.3校准估算 ±20%

带思考模式的模型会额外花 token 来思考,所以速度门槛按 1.5 倍从严设定(30 / 12 / 3 tok/s)。关闭思考模式后,判定可能会高一级。

公开基准测试

Ryzen AI Max+ 395 128GB 的实测结果

Ryzen AI Max+ 395 128GB 的实测结果
模型量化后端上下文提示词处理(tok/s)生成(tok/s)运行参数来源测量日期
gpt-oss-120bMXFP4llama.cpp512707.050.2ROCm 7.0.2, no mmapquozul.dev2025-10-27
Gemma 4 26B-A4BQ4_K_Mllama.cpp5121,327.055.5Vulkangithub.com2026-06-30
Gemma 4 26B-A4BQ4_K_Mllama.cpp5121,209.053.0Vulkangithub.com2026-08-18
Gemma 4 26B-A4BUD-Q4_K_XLllama.cpp5121,325.054.7Vulkangithub.com2026-05-18
Gemma 4 31BUD-Q4_K_XLllama.cpp512302.011.5Vulkangithub.com2026-05-18
Gemma 4 12BIQ4_XSllama.cpp512680.025.7Vulkangithub.com2026-06-04
Gemma 4 12BQ4_K_Mllama.cpp512685.024.4Vulkangithub.com2026-06-04
Qwen3.6 35B-A3BQ8_0llama.cpp512—50.6Vulkan, FA offgithub.com2026-06-10
Qwen3.6 35B-A3BUD-Q8_K_XLllama.cpp5121,046.046.2Vulkangithub.com2026-04-26
Qwen3.6 35B-A3BQ4_K_Mllama.cpp5121,064.063.8Vulkangithub.com2026-04-26
Qwen3.5 35B-A3BQ4_K_Mllama.cpp5121,077.064.8Vulkangithub.com2026-04-26
Qwen3.5 9BQ4_K_Mllama.cpp4k969.037.2Vulkanlocalmaxxing.com2026-04-26
Qwen3.5 122B-A10BQ4_K_Mllama.cpp512315.020.9KV q8_0github.com2026-07-19
Qwen3 8BQ4_K_Mllama.cpp5121,238.043.6Vulkangithub.com2026-09-08
Qwen3 32BQ4_K_Mllama.cpp512256.09.9ROCmblog.tosukui.xyz2025-07-13
Qwen3 32BQ4_K_Mllama.cpp512140.010.4Vulkanblog.tosukui.xyz2025-05-16
Qwen3 32BQ8_0llama.cpp51277.06.4ROCmllm-tracker.info2025-05-11

DGX Spark 128GB 的实测结果

DGX Spark 128GB 的实测结果
模型量化后端上下文提示词处理(tok/s)生成(tok/s)运行参数来源测量日期
gpt-oss-120bMXFP4llama.cpp2k2,444.058.7CUDA, no mmapgithub.com2026-02-05
Gemma 4 31BQ4_K_Mllama.cpp512687.010.1CUDAgithub.com2026-04-14
Gemma 4 26B-A4BQ4_K_Mllama.cpp32k—47.0CUDA, depth 32768github.com2026-06-11
Qwen3.5 35B-A3BQ8_0llama.cpp2k2,572.049.2CUDAgithub.com2026-03-12
Qwen3.5 9BQ4_K_Mllama.cpp4k—35.2—github.com2026-08-13
Qwen3.5 27BQ4_K_Mllama.cpp4k—11.3—github.com2026-08-13
Qwen3.5 122B-A10BQ4_K_Mllama.cpp4k—29.0—github.com2026-08-13
Llama 3.3 70BQ4_K_Mllama.cpp512284.04.7CUDA, Vulkangithub.com2025-11-22
Llama 3.3 70BQ4_K_Mllama.cpp512—4.6CUDAgithub.com2026-08-12
Llama 3.3 70BQ8_0llama.cpp512—2.9CUDAgithub.com2026-08-12
Llama 3.3 70BQ2_Kllama.cpp512—7.2CUDAgithub.com2026-08-12
Qwen3 32BQ4_K_Mllama.cpp512630.010.5CUDA, Vulkangithub.com2025-11-22
Qwen3 32BQ4_K_Mllama.cpp512762.010.8CUDAgithub.com2025-12-05
Qwen3 8BQ4_K_Mllama.cpp5123,168.043.9CUDAgithub.com2025-12-05

我们用于校准的公开基准测试。它们的测试条件(上下文、后端、运行参数)可能与上方的估算不同。

常见问题

运行本地大模型时,Ryzen AI Max+ 395 128GB 和 DGX Spark 128GB 哪个更快?

Ryzen AI Max+ 395 128GB 和 DGX Spark 128GB 的文本生成速度大致相同(基于 55 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型,取我们估算值的中位数)。Ling-3.0 Flash Q4_K_M 的速度:Ryzen AI Max+ 395 128GB 估算 48.4 tok/s(33.9–62.9,理论估算 ±30%);DGX Spark 128GB 估算 52.8 tok/s(36.9–68.6,理论估算 ±30%)。

两者各自能完全装入显存/内存的最大模型是什么?

Ryzen AI Max+ 395 128GB 能把 Ling-3.0 Flash Q4_K_M(77.01 GB 文件)完整装入 128 GB 统一内存,估算 48.4 tok/s(33.9–62.9,理论估算 ±30%)。 DGX Spark 128GB 能把 Ling-3.0 Flash Q4_K_M(77.01 GB 文件)完整装入 128 GB 统一内存,估算 52.8 tok/s(36.9–68.6,理论估算 ±30%)。

两者上各有多少本地大模型能运行良好?

以 Q4_K_M、8k 上下文计,在 58 个已收录的模型中,Ryzen AI Max+ 395 128GB:运行流畅 34 个、运行良好 12 个、运行较慢 9 个、无法运行 3 个;DGX Spark 128GB:运行流畅 34 个、运行良好 12 个、运行较慢 9 个、无法运行 3 个。所有模型在两者上的判定都相同。

速度是根据内存带宽得出的估算值,并用公开基准测试结果校准,每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。

分别了解更多