NVIDIA RTX PRO 6000 Blackwell 能跑哪些本地大模型？
按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。
规格
- 显存
- 96 GB
- 内存带宽
- 1,792.0 GB/s
- FP16 算力
- 126.0 TFLOPS
- 发布年份
- 2025
- 其他写法
- RTX PRO 6000, RTX PRO 6000 Blackwell Workstation Edition
判定一览
基于 Q4_K_M（或最接近的可用量化）、8k 上下文。
- 运行流畅56 个模型运行良好0 个模型运行较慢0 个模型无法运行3 个模型另有 2 个模型可以用更低的量化运行。
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
NVIDIA RTX PRO 6000 Blackwell 上的全部模型
左右滑动可查看所有列。
| 模型 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 |
|---|---|---|---|---|---|---|---|
| MiniCPM5 1B | 运行流畅 | 估算 1,407.3 tok/s1,238.5–1,576.2校准估算 ±12% | Q4_K_M | 1.9 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Llama 3.2 1B | 运行流畅 | 估算 1,163.2 tok/s1,023.6–1,302.7校准估算 ±12% | Q4_K_M | 2.2 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| EXAONE 4.0 1.2B | 运行流畅 | 估算 955.1 tok/s840.5–1,069.8校准估算 ±12% | Q4_K_M | 2.5 / 96.0 GB | 全部载入显卡 | 最长 64k |
|
| LFM2.5 2.6B | 运行流畅 | 估算 695.3 tok/s486.7–903.8理论估算 ±30% | Q4_K_M | 3.0 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| HyperCLOVA X SEED 1.5B | 运行流畅 | 估算 691.0 tok/s608.1–773.9校准估算 ±12% | Q4_K_M | 3.0 / 96.0 GB | 全部载入显卡 | 最长 16k | — |
| MiniCPM5 2B | 运行流畅 | 估算 656.0 tok/s577.2–734.7校准估算 ±12% | Q4_K_M | 2.9 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Ling-3.0 Tiny | 运行流畅 | 估算 485.1 tok/s339.6–630.7理论估算 ±30% | Q4_K_M | 5.9 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Spark-X2.5 4B | 运行流畅 | 估算 432.3 tok/s380.4–484.1校准估算 ±12% | Q4_K_M | 4.1 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Llama 3.2 3B | 运行流畅 | 估算 423.9 tok/s373.0–474.7校准估算 ±12% | Q4_K_M | 4.1 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| Qwen3.5 4B | 运行流畅 | 估算 404.8 tok/s356.3–453.4校准估算 ±12% | Q4_K_M | 4.2 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 4 E2B | 运行流畅 | 估算 386.7 tok/s270.7–502.7理论估算 ±30% | Q4_K_M | 2.7 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| gpt-oss-20b | 运行流畅 | 估算 338.9 tok/s271.1–406.7校准估算 ±20% | MXFP4 | 12.9 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Mellum2.1 12B-A2.5B Thinking | 运行流畅 | 估算 334.9 tok/s267.9–401.8校准估算 ±20% | Q4_K_M | 9.2 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Nemotron 3.5 Lightning 30B-A3B | 运行流畅 | 估算 305.7 tok/s214.0–397.4理论估算 ±30% | Q4_K_M | 25.7 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 4 E4B | 运行流畅 | 估算 257.7 tok/s180.4–335.0理论估算 ±30% | Q4_K_M | 4.3 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| MiniCPM-V 4.7 35B-A3B | 运行流畅 | 估算 239.5 tok/s191.6–287.4校准估算 ±20% | Q4_K_M | 22.2 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| gpt-oss-120b | 运行流畅 | 估算 237.1 tok/s189.7–284.5校准估算 ±20% | MXFP4 | 64.2 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Kanana 1.5 15.7B-A3B | 运行流畅 | 估算 233.4 tok/s186.7–280.1校准估算 ±20% | Q4_K_M | 12.5 / 96.0 GB | 全部载入显卡 | 最长 32k | — |
| Qwen3.6 35B-A3B | 运行流畅 | 估算 229.8 tok/s183.9–275.8校准估算 ±20% | Q4_K_M | 22.4 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Qwen3.5 35B-A3B | 运行流畅 | 估算 213.4 tok/s170.7–256.0校准估算 ±20% | Q4_K_M | 22.9 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 4 26B-A4B | 运行流畅 | 估算 210.4 tok/s168.3–252.4校准估算 ±20% | Q4_K_M | 18.3 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| DeepSeek R1 Distill Llama 8B | 运行流畅 | 估算 209.3 tok/s184.2–234.4校准估算 ±12% | Q4_K_M | 6.9 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Kanana 1.5 8B | 运行流畅 | 估算 209.3 tok/s184.2–234.4校准估算 ±12% | Q4_K_M | 6.9 / 96.0 GB | 全部载入显卡 | 最长 32k | — |
| Llama 3.1 8B | 运行流畅 | 估算 209.3 tok/s184.2–234.4校准估算 ±12% | Q4_K_M | 6.9 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| Nanbeige4.2 3B | 运行流畅 | 估算 204.8 tok/s143.3–266.2理论估算 ±30% | Q4_K_M | 5.0 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Qwen3.5 9B | 运行流畅 | 估算 204.4 tok/s179.8–228.9校准估算 ±12% | Q4_K_M | 6.6 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| DeepSeek R1 0528 Qwen3 8B | 运行流畅 | 估算 201.1 tok/s177.0–225.2校准估算 ±12% | Q4_K_M | 7.1 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Qwen3 8B | 运行流畅 | 估算 201.1 tok/s177.0–225.2校准估算 ±12% | Q4_K_M | 7.1 / 96.0 GB | 全部载入显卡 | 最长 32k |
|
| Kolibri 1 | 运行流畅 | 估算 197.0 tok/s157.6–236.4校准估算 ±20% | Q4_K_M | 50.8 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Qwen3 30B-A3B (2507) | 运行流畅 | 估算 195.0 tok/s156.0–234.1校准估算 ±20% | Q4_K_M | 20.4 / 96.0 GB | 全部载入显卡 | 最长 256k | — |
| Ling-3.0 Flash | 运行流畅 | 估算 193.8 tok/s135.7–252.0理论估算 ±30% | Q4_K_M | 76.0 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| K2-Horizon 7B | 运行流畅 | 估算 184.5 tok/s162.4–206.7校准估算 ±12% | Q4_K_M | 7.4 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Gemma 4 12B | 运行流畅 | 估算 172.9 tok/s152.2–193.7校准估算 ±12% | Q4_K_M | 8.4 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 3 12B | 运行流畅 | 估算 160.1 tok/s140.9–179.3校准估算 ±12% | Q4_K_M | 9.0 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| K2-Horizon MoVA 36B-A4B | 运行流畅 | 估算 149.6 tok/s104.7–194.5理论估算 ±30% | Q4_K_M | 24.8 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| HyperCLOVA X SEED Think 14B | 运行流畅 | 估算 123.0 tok/s86.1–160.0理论估算 ±30% | Q4_K_M | 11.0 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Qwen3 14B | 运行流畅 | 估算 121.3 tok/s106.7–135.8校准估算 ±12% | Q4_K_M | 11.1 / 96.0 GB | 全部载入显卡 | 最长 32k |
|
| DeepSeek R1 Distill Qwen 14B | 运行流畅 | 估算 118.3 tok/s104.1–132.5校准估算 ±12% | Q4_K_M | 11.3 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Phi-4 | 运行流畅 | 估算 116.9 tok/s102.9–131.0校准估算 ±12% | Q4_K_M | 11.6 / 96.0 GB | 全部载入显卡 | 最长 16k | — |
| Laguna S 2.1 | 运行流畅 | 估算 112.6 tok/s90.1–135.1校准估算 ±20% | Q4_K_M | 69.1 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Qwen3.5 122B-A10B | 运行流畅 | 估算 106.3 tok/s85.0–127.5校准估算 ±20% | Q4_K_M | 77.2 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Solar Open 100B | 运行流畅 | 估算 102.3 tok/s81.9–122.8校准估算 ±20% | Q4_K_M | 64.6 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Mistral Small 3.2 24B | 运行流畅 | 估算 80.0 tok/s70.4–89.6校准估算 ±12% | Q4_K_M | 16.5 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| Gemma 3 27B | 运行流畅 | 估算 72.8 tok/s64.1–81.6校准估算 ±12% | Q4_K_M | 18.4 / 96.0 GB | 全部载入显卡 | 最长 128k | — |
| Qwen3.6 27B | 运行流畅 | 估算 72.3 tok/s63.6–80.9校准估算 ±12% | Q4_K_M | 17.8 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Muse Glimmer 30B | 运行流畅 | 估算 72.0 tok/s63.4–80.7校准估算 ±12% | Q4_K_M | 17.8 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| Qwen3.5 27B | 运行流畅 | 估算 71.1 tok/s62.6–79.6校准估算 ±12% | Q4_K_M | 17.8 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Qwen3.8 27B | 运行流畅 | 估算 69.8 tok/s61.4–78.2校准估算 ±12% | Q4_K_M | 18.2 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 4 31B | 运行流畅 | 估算 66.1 tok/s58.1–74.0校准估算 ±12% | Q4_K_M | 20.1 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Granite 4.2 30B | 运行流畅 | 估算 63.1 tok/s55.6–70.7校准估算 ±12% | Q4_K_M | 20.8 / 96.0 GB | 全部载入显卡 | 最长 64k |
|
| EXAONE 4.0 32B | 运行流畅 | 估算 63.1 tok/s55.5–70.7校准估算 ±12% | Q4_K_M | 20.8 / 96.0 GB | 全部载入显卡 | 最长 128k |
|
| EXAONE 4.5 33B | 运行流畅 | 估算 60.9 tok/s53.6–68.2校准估算 ±12% | Q4_K_M | 21.0 / 96.0 GB | 全部载入显卡 | 最长 256k |
|
| Qwen3 32B | 运行流畅 | 估算 57.3 tok/s50.4–64.1校准估算 ±12% | Q4_K_M | 22.6 / 96.0 GB | 全部载入显卡 | 最长 32k |
|
| DeepSeek R1 Distill Qwen 32B | 运行流畅 | 估算 57.0 tok/s50.2–63.9校准估算 ±12% | Q4_K_M | 22.7 / 96.0 GB | 全部载入显卡 | 最长 64k |
|
| Nanbeige4.3 33B | 运行流畅 | 估算 55.7 tok/s49.0–62.3校准估算 ±12% | Q4_K_M | 23.0 / 96.0 GB | 全部载入显卡 | 最长 64k |
|
| Llama 3.3 70B | 运行流畅 | 估算 27.7 tok/s24.4–31.1校准估算 ±12% | Q4_K_M | 45.8 / 96.0 GB | 全部载入显卡 | 最长 32k | — |
| Solar Open 2 250B | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 83.0 tok/s58.1–107.9理论估算 ±30% | Q2_K | 92.7 / 96.0 GB + 4.4 GB 内存 | MoE 专家放在内存 | 最长 256k |
|
| DeepSeek V4 Flash 0731 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 44.2 tok/s30.9–57.4理论估算 ±30% | Q2_K | 92.5 / 96.0 GB + 26.1 GB 内存 | MoE 专家放在内存 | 最长 64k |
|
| GLM-5.3 Flash | 无法运行 | — | Q4_K_M | 需要 181.4 GB | — | — |
|
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
NVIDIA RTX PRO 6000 Blackwell 的实测结果
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 14,855.0 | 274.2 | — | github.com | 2025-09-05 |
常见问题
能完全在 NVIDIA RTX PRO 6000 Blackwell 上运行的最大模型是什么？
Ling-3.0 Flash Q4_K_M（77.01 GB 文件）在 8k 上下文下可完整装入 96 GB，估算 193.8 tok/s（135.7–252.0，理论估算 ±30%）。
NVIDIA RTX PRO 6000 Blackwell 上有多少本地大模型能运行良好？
按 Q4_K_M、8k 上下文计算，在 59 个已收录的模型中，56 个运行流畅、0 个运行良好、0 个运行较慢，3 个无法运行。
NVIDIA RTX PRO 6000 Blackwell 能运行 Llama 3.3 70B 这样的 70B 模型吗？
运行流畅——全部载入显卡，Q4_K_M：估算 27.7 tok/s（24.4–31.1，校准估算 ±12%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。