Ryzen AI Max+ 395 128GB vs RTX 5070 Ti：本地大模型运行对比
- Ryzen AI Max+ 395 128GB：使用其最大内存配置 128 GB，按 8k 上下文和 f16 KV 缓存计算。
- RTX 5070 Ti：按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。
速度
RTX 5070 Ti 的文本生成速度约为 Ryzen AI Max+ 395 128GB 的 3 倍（基于 29 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。
- 参考模型
- gpt-oss-20b（MXFP4），即以 Q4_K_M 或最接近的可用量化计、两者都能完全装入显存/内存的最大模型
- Ryzen AI Max+ 395 128GB
- 估算 68.6 tok/s（54.8–82.3，校准估算 ±20%）
- RTX 5070 Ti
- 实测 189.5 tok/s（2k 上下文，1 次；8k 估算 193.7 tok/s，155.0–232.5，校准估算 ±20%）
- gpt-oss-20b 的提示词处理
- Ryzen AI Max+ 395 128GB：约 2,021 tok/s（1,212–2,829，粗略估算 ±40%）；RTX 5070 Ti：约 6,697 tok/s（4,018–9,376，粗略估算 ±40%）
规格对比
| 规格 | Ryzen AI Max+ 395 128GB | RTX 5070 Ti | 差异 |
|---|---|---|---|
| 显存/内存 | 128 GB 统一内存 | 16 GB | — |
| 内存带宽 | 256.0 GB/s | 896.0 GB/s | RTX 5070 Ti 是对方的 3.5 倍 |
| FP16 算力 | 29.7 TFLOPS | 44.1 TFLOPS | RTX 5070 Ti 是对方的 1.48 倍 |
| 发布年份 | 2025 | 2025 | — |
| 价格 | 首发价 US$1,999（128 GB） | 市场价 US$949（截至 2026-08-09） | — |
| 公开基准测试结果 | 17 条 | 3 条 | — |
判定一览
共 58 个模型，按 Q4_K_M（或最接近的可用量化）和 8k 上下文判定。
- Ryzen AI Max+ 395 128GB运行流畅34 个模型运行良好12 个模型运行较慢9 个模型无法运行3 个模型
- RTX 5070 Ti运行流畅29 个模型运行良好8 个模型运行较慢11 个模型无法运行10 个模型
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
判定不同的模型
22 个模型在两者上的判定不同。
左右滑动可查看所有列。
| 模型 | Ryzen AI Max+ 395 128GB 判定 | Ryzen AI Max+ 395 128GB 速度 | RTX 5070 Ti 判定 | RTX 5070 Ti 速度 |
|---|---|---|---|---|
| Ling-3.0 FlashQ4_K_M | 运行流畅 | 估算 48.4 tok/s33.9–62.9理论估算 ±30% | 无法运行 | — |
| gpt-oss-120bMXFP4 | 运行流畅 | 50.2 tok/s8k 估算 48.5 tok/s（38.8–58.1，校准估算 ±20%）实测（1 次，512 上下文） | 无法运行 | — |
| Kolibri 1Q4_K_M | 运行流畅 | 估算 48.0 tok/s38.4–57.6校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 84.6 tok/s59.2–110.0理论估算 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 运行流畅 | 估算 35.1 tok/s24.5–45.6理论估算 ±30% | 运行良好 | 估算 38.6 tok/s27.0–50.2理论估算 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 运行流畅 | 64.8 tok/s8k 估算 56.0 tok/s（44.8–67.2，校准估算 ±20%）实测（1 次，512 上下文） | 运行良好 | 估算 83.5 tok/s58.5–108.6理论估算 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 运行流畅 | 63.8 tok/s8k 估算 63.1 tok/s（50.5–75.7，校准估算 ±20%）实测（1 次，512 上下文） | 运行良好 | 估算 91.1 tok/s63.8–118.5理论估算 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 运行流畅 | 估算 67.5 tok/s54.0–81.1校准估算 ±20% | 运行良好 | 估算 97.0 tok/s67.9–126.1理论估算 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 运行流畅 | 估算 65.9 tok/s46.1–85.7理论估算 ±30% | 运行良好 | 估算 62.2 tok/s43.5–80.8理论估算 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 运行流畅 | 估算 54.2 tok/s43.3–65.0校准估算 ±20% | 运行良好 | 估算 74.3 tok/s52.0–96.6理论估算 ±30% |
| Gemma 4 26B-A4BQ4_K_M | 运行流畅 | 54.3 tok/s8k 估算 48.1 tok/s（38.5–57.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行良好 | 估算 87.9 tok/s61.5–114.3理论估算 ±30% |
| Qwen3 14BQ4_K_M | 运行良好 | 估算 20.3 tok/s16.2–24.4校准估算 ±20% | 运行流畅 | 估算 60.6 tok/s53.4–67.9校准估算 ±12% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 运行良好 | 估算 19.8 tok/s15.8–23.8校准估算 ±20% | 运行流畅 | 估算 59.2 tok/s52.1–66.3校准估算 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 运行良好 | 估算 20.6 tok/s14.4–26.8理论估算 ±30% | 运行流畅 | 估算 61.5 tok/s43.1–80.0理论估算 ±30% |
| Phi-4Q4_K_M | 运行良好 | 估算 19.6 tok/s15.7–23.5校准估算 ±20% | 运行流畅 | 估算 58.5 tok/s51.4–65.5校准估算 ±12% |
| Gemma 4 12BQ4_K_M | 运行良好 | 24.4 tok/s8k 估算 28.9 tok/s（23.2–34.7，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 86.5 tok/s76.1–96.8校准估算 ±12% |
| Qwen3.5 122B-A10BQ4_K_M | 运行良好 | 20.9 tok/s8k 估算 22.7 tok/s（18.2–27.2，校准估算 ±20%）实测（1 次，512 上下文） | 无法运行 | — |
| Laguna S 2.1Q4_K_M | 运行良好 | 估算 26.4 tok/s21.1–31.7校准估算 ±20% | 无法运行 | — |
| Solar Open 100BQ4_K_M | 运行良好 | 估算 21.6 tok/s17.3–26.0校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 21.8 tok/s15.2–28.3理论估算 ±30% |
| Muse Glimmer 30BQ4_K_M | 运行良好 | 估算 12.1 tok/s9.6–14.5校准估算 ±20% | 运行较慢 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% |
| Qwen3.6 27BQ4_K_M | 运行良好 | 估算 12.1 tok/s9.7–14.5校准估算 ±20% | 运行较慢 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% |
| Gemma 3 27BQ4_K_M | 运行良好 | 估算 12.2 tok/s9.8–14.6校准估算 ±20% | 运行较慢 | 估算 12.6 tok/s10.1–15.2校准估算 ±20% |
| Llama 3.3 70BQ4_K_M | 运行较慢 | 估算 4.6 tok/s3.7–5.6校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 2.7 tok/s2.2–3.2校准估算 ±20% |
两者上的全部模型
左右滑动可查看所有列。
| 模型 | Ryzen AI Max+ 395 128GB 判定 | Ryzen AI Max+ 395 128GB 速度 | RTX 5070 Ti 判定 | RTX 5070 Ti 速度 |
|---|---|---|---|---|
| Ling-3.0 FlashQ4_K_M | 运行流畅 | 估算 48.4 tok/s33.9–62.9理论估算 ±30% | 无法运行 | — |
| gpt-oss-120bMXFP4 | 运行流畅 | 50.2 tok/s8k 估算 48.5 tok/s（38.8–58.1，校准估算 ±20%）实测（1 次，512 上下文） | 无法运行 | — |
| Kolibri 1Q4_K_M | 运行流畅 | 估算 48.0 tok/s38.4–57.6校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 84.6 tok/s59.2–110.0理论估算 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 运行流畅 | 估算 35.1 tok/s24.5–45.6理论估算 ±30% | 运行良好 | 估算 38.6 tok/s27.0–50.2理论估算 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 运行流畅 | 64.8 tok/s8k 估算 56.0 tok/s（44.8–67.2，校准估算 ±20%）实测（1 次，512 上下文） | 运行良好 | 估算 83.5 tok/s58.5–108.6理论估算 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 运行流畅 | 63.8 tok/s8k 估算 63.1 tok/s（50.5–75.7，校准估算 ±20%）实测（1 次，512 上下文） | 运行良好 | 估算 91.1 tok/s63.8–118.5理论估算 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 运行流畅 | 估算 67.5 tok/s54.0–81.1校准估算 ±20% | 运行良好 | 估算 97.0 tok/s67.9–126.1理论估算 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 运行流畅 | 估算 65.9 tok/s46.1–85.7理论估算 ±30% | 运行良好 | 估算 62.2 tok/s43.5–80.8理论估算 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 运行流畅 | 估算 54.2 tok/s43.3–65.0校准估算 ±20% | 运行良好 | 估算 74.3 tok/s52.0–96.6理论估算 ±30% |
| Gemma 4 26B-A4BQ4_K_M | 运行流畅 | 54.3 tok/s8k 估算 48.1 tok/s（38.5–57.7，校准估算 ±20%）实测（2 次，512 上下文） | 运行良好 | 估算 87.9 tok/s61.5–114.3理论估算 ±30% |
| gpt-oss-20bMXFP4 | 运行流畅 | 估算 68.6 tok/s54.8–82.3校准估算 ±20% | 运行流畅 | 189.5 tok/s8k 估算 193.7 tok/s（155.0–232.5，校准估算 ±20%）实测（1 次，2k 上下文） |
| Kanana 1.5 15.7B-A3BQ4_K_M | 运行流畅 | 估算 57.2 tok/s45.8–68.6校准估算 ±20% | 运行流畅 | 估算 151.6 tok/s121.3–181.9校准估算 ±20% |
| Qwen3 14BQ4_K_M | 运行良好 | 估算 20.3 tok/s16.2–24.4校准估算 ±20% | 运行流畅 | 估算 60.6 tok/s53.4–67.9校准估算 ±12% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 运行良好 | 估算 19.8 tok/s15.8–23.8校准估算 ±20% | 运行流畅 | 估算 59.2 tok/s52.1–66.3校准估算 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 运行良好 | 估算 20.6 tok/s14.4–26.8理论估算 ±30% | 运行流畅 | 估算 61.5 tok/s43.1–80.0理论估算 ±30% |
| Phi-4Q4_K_M | 运行良好 | 估算 19.6 tok/s15.7–23.5校准估算 ±20% | 运行流畅 | 估算 58.5 tok/s51.4–65.5校准估算 ±12% |
| Gemma 3 12BQ4_K_M | 运行流畅 | 估算 26.8 tok/s21.4–32.1校准估算 ±20% | 运行流畅 | 估算 80.0 tok/s70.4–89.6校准估算 ±12% |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 运行流畅 | 估算 93.1 tok/s74.5–111.7校准估算 ±20% | 运行流畅 | 估算 235.4 tok/s188.3–282.5校准估算 ±20% |
| Gemma 4 12BQ4_K_M | 运行良好 | 24.4 tok/s8k 估算 28.9 tok/s（23.2–34.7，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 86.5 tok/s76.1–96.8校准估算 ±12% |
| Qwen3.5 9BQ4_K_M | 运行流畅 | 37.2 tok/s8k 估算 34.2 tok/s（27.4–41.0，校准估算 ±20%）实测（1 次，4k 上下文） | 运行流畅 | 估算 102.2 tok/s89.9–114.4校准估算 ±12% |
| K2-Horizon 7BQ4_K_M | 运行流畅 | 估算 30.9 tok/s24.7–37.1校准估算 ±20% | 运行流畅 | 估算 92.3 tok/s81.2–103.3校准估算 ±12% |
| Qwen3 8BQ4_K_M | 运行流畅 | 43.6 tok/s8k 估算 33.7 tok/s（26.9–40.4，校准估算 ±20%）实测（1 次，512 上下文） | 运行流畅 | 估算 100.5 tok/s88.5–112.6校准估算 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 运行流畅 | 估算 33.7 tok/s26.9–40.4校准估算 ±20% | 运行流畅 | 估算 100.5 tok/s88.5–112.6校准估算 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 运行流畅 | 估算 35.0 tok/s28.0–42.0校准估算 ±20% | 运行流畅 | 估算 104.6 tok/s92.1–117.2校准估算 ±12% |
| Kanana 1.5 8BQ4_K_M | 运行流畅 | 估算 35.0 tok/s28.0–42.0校准估算 ±20% | 运行流畅 | 估算 104.6 tok/s92.1–117.2校准估算 ±12% |
| Llama 3.1 8BQ4_K_M | 运行流畅 | 估算 35.0 tok/s28.0–42.0校准估算 ±20% | 运行流畅 | 估算 104.6 tok/s92.1–117.2校准估算 ±12% |
| Gemma 4 E4BQ4_K_M | 运行流畅 | 估算 59.3 tok/s41.5–77.1理论估算 ±30% | 运行流畅 | 估算 156.0 tok/s109.2–202.8理论估算 ±30% |
| Ling-3.0 TinyQ4_K_M | 运行流畅 | 估算 154.3 tok/s108.0–200.5理论估算 ±30% | 运行流畅 | 估算 369.6 tok/s258.7–480.4理论估算 ±30% |
| Gemma 4 E2BQ4_K_M | 运行流畅 | 估算 109.5 tok/s76.6–142.3理论估算 ±30% | 运行流畅 | 估算 261.7 tok/s183.2–340.2理论估算 ±30% |
| Qwen3.5 4BQ4_K_M | 运行流畅 | 估算 67.8 tok/s54.2–81.3校准估算 ±20% | 运行流畅 | 估算 202.4 tok/s178.1–226.7校准估算 ±12% |
| Nanbeige4.2 3BQ4_K_M | 运行流畅 | 估算 34.3 tok/s24.0–44.5理论估算 ±30% | 运行流畅 | 估算 102.4 tok/s71.7–133.1理论估算 ±30% |
| Spark-X2.5 4BQ4_K_M | 运行流畅 | 估算 72.3 tok/s57.9–86.8校准估算 ±20% | 运行流畅 | 估算 216.1 tok/s190.2–242.1校准估算 ±12% |
| Llama 3.2 3BQ4_K_M | 运行流畅 | 估算 70.9 tok/s56.7–85.1校准估算 ±20% | 运行流畅 | 估算 211.9 tok/s186.5–237.4校准估算 ±12% |
| LFM2.5 2.6BQ4_K_M | 运行流畅 | 估算 116.3 tok/s81.4–151.3理论估算 ±30% | 运行流畅 | 估算 347.6 tok/s243.3–451.9理论估算 ±30% |
| MiniCPM5 2BQ4_K_M | 运行流畅 | 估算 109.8 tok/s87.8–131.7校准估算 ±20% | 运行流畅 | 估算 328.0 tok/s288.6–367.3校准估算 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 运行流畅 | 估算 115.6 tok/s92.5–138.8校准估算 ±20% | 运行流畅 | 估算 345.5 tok/s304.0–387.0校准估算 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 运行流畅 | 估算 159.8 tok/s127.9–191.8校准估算 ±20% | 运行流畅 | 估算 477.6 tok/s420.3–534.9校准估算 ±12% |
| Llama 3.2 1BQ4_K_M | 运行流畅 | 估算 194.7 tok/s155.7–233.6校准估算 ±20% | 运行流畅 | 估算 581.6 tok/s511.8–651.4校准估算 ±12% |
| MiniCPM5 1BQ4_K_M | 运行流畅 | 估算 235.5 tok/s188.4–282.6校准估算 ±20% | 运行流畅 | 估算 703.7 tok/s619.2–788.1校准估算 ±12% |
| Qwen3.5 122B-A10BQ4_K_M | 运行良好 | 20.9 tok/s8k 估算 22.7 tok/s（18.2–27.2，校准估算 ±20%）实测（1 次，512 上下文） | 无法运行 | — |
| Laguna S 2.1Q4_K_M | 运行良好 | 估算 26.4 tok/s21.1–31.7校准估算 ±20% | 无法运行 | — |
| Solar Open 100BQ4_K_M | 运行良好 | 估算 21.6 tok/s17.3–26.0校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 21.8 tok/s15.2–28.3理论估算 ±30% |
| Muse Glimmer 30BQ4_K_M | 运行良好 | 估算 12.1 tok/s9.6–14.5校准估算 ±20% | 运行较慢 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% |
| Qwen3.6 27BQ4_K_M | 运行良好 | 估算 12.1 tok/s9.7–14.5校准估算 ±20% | 运行较慢 | 估算 12.2 tok/s9.8–14.7校准估算 ±20% |
| Gemma 3 27BQ4_K_M | 运行良好 | 估算 12.2 tok/s9.8–14.6校准估算 ±20% | 运行较慢 | 估算 12.6 tok/s10.1–15.2校准估算 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 运行良好 | 估算 13.4 tok/s10.7–16.1校准估算 ±20% | 运行良好 | 估算 22.6 tok/s18.1–27.2校准估算 ±20% |
| Llama 3.3 70BQ4_K_M | 运行较慢 | 估算 4.6 tok/s3.7–5.6校准估算 ±20% | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 2.7 tok/s2.2–3.2校准估算 ±20% |
| EXAONE 4.5 33BQ4_K_M | 运行较慢 | 估算 10.2 tok/s8.2–12.2校准估算 ±20% | 运行较慢 | 估算 6.4 tok/s5.1–7.7校准估算 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 运行较慢 | 估算 9.5 tok/s7.6–11.5校准估算 ±20% | 运行较慢 | 估算 5.0 tok/s4.0–6.0校准估算 ±20% |
| Qwen3 32BQ4_K_M | 运行较慢 | 10.2 tok/s8k 估算 9.6 tok/s（7.7–11.5，校准估算 ±20%）实测（2 次，512 上下文） | 运行较慢 | 估算 5.1 tok/s4.0–6.1校准估算 ±20% |
| EXAONE 4.0 32BQ4_K_M | 运行较慢 | 估算 10.6 tok/s8.4–12.7校准估算 ±20% | 运行较慢 | 估算 7.2 tok/s5.7–8.6校准估算 ±20% |
| Gemma 4 31BQ4_K_M | 运行较慢 | 估算 11.1 tok/s8.8–13.3校准估算 ±20% | 运行较慢 | 估算 8.3 tok/s6.7–10.0校准估算 ±20% |
| Granite 4.2 30BQ4_K_M | 运行较慢 | 估算 10.6 tok/s8.5–12.7校准估算 ±20% | 运行较慢 | 估算 6.7 tok/s5.4–8.1校准估算 ±20% |
| Qwen3.5 27BQ4_K_M | 运行较慢 | 估算 11.9 tok/s9.5–14.3校准估算 ±20% | 运行较慢 | 估算 11.3 tok/s9.0–13.6校准估算 ±20% |
| Qwen3.8 27BQ4_K_M | 运行较慢 | 估算 11.7 tok/s9.3–14.0校准估算 ±20% | 运行较慢 | 估算 10.4 tok/s8.3–12.5校准估算 ±20% |
| GLM-5.3 FlashQ4_K_M | 无法运行 | — | 无法运行 | — |
| DeepSeek V4 Flash 0731MXFP4 | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 19.1 tok/s13.4–24.9理论估算 ±30% | 无法运行 | — |
| Solar Open 2 250BIQ4_XS | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 18.0 tok/s12.6–23.4理论估算 ±30% | 无法运行 | — |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
公开基准测试
Ryzen AI Max+ 395 128GB 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-120b | MXFP4 | llama.cpp | 512 | 707.0 | 50.2 | ROCm 7.0.2, no mmap | quozul.dev | 2025-10-27 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 1,327.0 | 55.5 | Vulkan | github.com | 2026-06-30 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 1,209.0 | 53.0 | Vulkan | github.com | 2026-08-18 |
| Gemma 4 26B-A4B | UD-Q4_K_XL | llama.cpp | 512 | 1,325.0 | 54.7 | Vulkan | github.com | 2026-05-18 |
| Gemma 4 31B | UD-Q4_K_XL | llama.cpp | 512 | 302.0 | 11.5 | Vulkan | github.com | 2026-05-18 |
| Gemma 4 12B | IQ4_XS | llama.cpp | 512 | 680.0 | 25.7 | Vulkan | github.com | 2026-06-04 |
| Gemma 4 12B | Q4_K_M | llama.cpp | 512 | 685.0 | 24.4 | Vulkan | github.com | 2026-06-04 |
| Qwen3.6 35B-A3B | Q8_0 | llama.cpp | 512 | — | 50.6 | Vulkan, FA off | github.com | 2026-06-10 |
| Qwen3.6 35B-A3B | UD-Q8_K_XL | llama.cpp | 512 | 1,046.0 | 46.2 | Vulkan | github.com | 2026-04-26 |
| Qwen3.6 35B-A3B | Q4_K_M | llama.cpp | 512 | 1,064.0 | 63.8 | Vulkan | github.com | 2026-04-26 |
| Qwen3.5 35B-A3B | Q4_K_M | llama.cpp | 512 | 1,077.0 | 64.8 | Vulkan | github.com | 2026-04-26 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | 969.0 | 37.2 | Vulkan | localmaxxing.com | 2026-04-26 |
| Qwen3.5 122B-A10B | Q4_K_M | llama.cpp | 512 | 315.0 | 20.9 | KV q8_0 | github.com | 2026-07-19 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | 1,238.0 | 43.6 | Vulkan | github.com | 2026-09-08 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 256.0 | 9.9 | ROCm | blog.tosukui.xyz | 2025-07-13 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 140.0 | 10.4 | Vulkan | blog.tosukui.xyz | 2025-05-16 |
| Qwen3 32B | Q8_0 | llama.cpp | 512 | 77.0 | 6.4 | ROCm | llm-tracker.info | 2025-05-11 |
RTX 5070 Ti 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 6,952.0 | 176.9 | — | github.com | 2025-12-07 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 6,326.0 | 189.5 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 5,557.0 | 120.5 | CUDA | hardware-corner.net | 2025-12-09 |
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
常见问题
运行本地大模型时，Ryzen AI Max+ 395 128GB 和 RTX 5070 Ti 哪个更快？
RTX 5070 Ti 的文本生成速度约为 Ryzen AI Max+ 395 128GB 的 3 倍（基于 29 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。gpt-oss-20b MXFP4 的速度：Ryzen AI Max+ 395 128GB 估算 68.6 tok/s（54.8–82.3，校准估算 ±20%）；RTX 5070 Ti 实测 189.5 tok/s（2k 上下文，1 次；8k 估算 193.7 tok/s，155.0–232.5，校准估算 ±20%）。
两者各自能完全装入显存/内存的最大模型是什么？
Ryzen AI Max+ 395 128GB 能把 Ling-3.0 Flash Q4_K_M（77.01 GB 文件）完整装入 128 GB 统一内存，估算 48.4 tok/s（33.9–62.9，理论估算 ±30%）。 RTX 5070 Ti 能把 Muse Glimmer 30B IQ4_XS（15.44 GB 文件）完整装入 16 GB，估算 40.3 tok/s（35.5–45.2，校准估算 ±12%）。
两者上各有多少本地大模型能运行良好？
以 Q4_K_M、8k 上下文计，在 58 个已收录的模型中，Ryzen AI Max+ 395 128GB：运行流畅 34 个、运行良好 12 个、运行较慢 9 个、无法运行 3 个；RTX 5070 Ti：运行流畅 29 个、运行良好 8 个、运行较慢 11 个、无法运行 10 个。有 22 个模型的判定不同。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。