Radeon RX 7900 XT 能跑哪些本地大模型？
按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。
规格
- 显存
- 20 GB
- 内存带宽
- 800.0 GB/s
- FP16 算力
- 103.0 TFLOPS
- 发布年份
- 2022
- 价格
- 首发价 US$899
- 其他写法
- 7900 XT
判定一览
基于 Q4_K_M（或最接近的可用量化）、8k 上下文。
- 运行流畅36 个模型运行良好10 个模型运行较慢2 个模型无法运行10 个模型另有 4 个模型可以用更低的量化运行。
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
Radeon RX 7900 XT 上的全部模型
稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。
左右滑动可查看所有列。
| 模型 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 |
|---|---|---|---|---|---|---|---|
| MiniCPM5 1B | 运行流畅 | 估算 682.1 tok/s600.3–764.0校准估算 ±12% | Q4_K_M | 1.9 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Llama 3.2 1B | 运行流畅 | 估算 563.8 tok/s496.1–631.4校准估算 ±12% | Q4_K_M | 2.2 / 20.0 GB | 全部载入显卡 | 最长 128k | — |
| EXAONE 4.0 1.2B | 运行流畅 | 估算 463.0 tok/s407.4–518.5校准估算 ±12% | Q4_K_M | 2.5 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| LFM2.5 2.6B | 运行流畅 | 估算 337.0 tok/s235.9–438.1理论估算 ±30% | Q4_K_M | 3.0 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| HyperCLOVA X SEED 1.5B | 运行流畅 | 估算 334.9 tok/s294.7–375.1校准估算 ±12% | Q4_K_M | 3.0 / 20.0 GB | 全部载入显卡 | 最长 16k | — |
| MiniCPM5 2B | 运行流畅 | 估算 317.9 tok/s279.8–356.1校准估算 ±12% | Q4_K_M | 2.9 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Ling-3.0 Tiny | 运行流畅 | 估算 239.1 tok/s167.4–310.9理论估算 ±30% | Q4_K_M | 5.9 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Gemma 4 E2B | 运行流畅 | 估算 232.6 tok/s162.8–302.3理论估算 ±30% | Q4_K_M | 2.7 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Spark-X2.5 4B | 运行流畅 | 估算 209.5 tok/s184.4–234.7校准估算 ±12% | Q4_K_M | 4.1 / 20.0 GB | 全部载入显卡 | 最长 256k |
|
| Llama 3.2 3B | 运行流畅 | 估算 205.4 tok/s180.8–230.1校准估算 ±12% | Q4_K_M | 4.1 / 20.0 GB | 全部载入显卡 | 最长 128k | — |
| Qwen3.5 4B | 运行流畅 | 估算 196.2 tok/s172.7–219.8校准估算 ±12% | Q4_K_M | 4.2 / 20.0 GB | 全部载入显卡 | 最长 256k |
|
| gpt-oss-20b | 运行流畅 | 估算 165.3 tok/s132.2–198.3校准估算 ±20% | MXFP4 | 12.9 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Mellum2.1 12B-A2.5B Thinking | 运行流畅 | 估算 164.6 tok/s131.7–197.5校准估算 ±20% | Q4_K_M | 9.2 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Gemma 4 E4B | 运行流畅 | 估算 143.5 tok/s100.4–186.5理论估算 ±30% | Q4_K_M | 4.3 / 20.0 GB | 全部载入显卡 | 最长 128k |
|
| Kanana 1.5 15.7B-A3B | 运行流畅 | 估算 114.4 tok/s91.5–137.3校准估算 ±20% | Q4_K_M | 12.5 / 20.0 GB | 全部载入显卡 | 最长 32k | — |
| Gemma 4 26B-A4B | 运行流畅 | 估算 102.9 tok/s82.4–123.5校准估算 ±20% | Q4_K_M | 18.3 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| DeepSeek R1 Distill Llama 8B | 运行流畅 | 估算 101.4 tok/s89.3–113.6校准估算 ±12% | Q4_K_M | 6.9 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| Kanana 1.5 8B | 运行流畅 | 估算 101.4 tok/s89.3–113.6校准估算 ±12% | Q4_K_M | 6.9 / 20.0 GB | 全部载入显卡 | 最长 32k | — |
| Llama 3.1 8B | 运行流畅 | 估算 101.4 tok/s89.3–113.6校准估算 ±12% | Q4_K_M | 6.9 / 20.0 GB | 全部载入显卡 | 最长 64k | — |
| Nanbeige4.2 3B | 运行流畅 | 估算 99.2 tok/s69.5–129.0理论估算 ±30% | Q4_K_M | 5.0 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| DeepSeek R1 0528 Qwen3 8B | 运行流畅 | 估算 97.5 tok/s85.8–109.2校准估算 ±12% | Q4_K_M | 7.1 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| Qwen3 8B | 运行流畅 | 估算 97.5 tok/s85.8–109.2校准估算 ±12% | Q4_K_M | 7.1 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| K2-Horizon 7B | 运行流畅 | 估算 89.4 tok/s78.7–100.2校准估算 ±12% | Q4_K_M | 7.4 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| Qwen3.5 9B | 运行流畅 | 87.8 tok/s8k 估算 99.0 tok/s（87.2–110.9，校准估算 ±12%）实测（1 次，4k 上下文） | Q4_K_M | 6.6 / 20.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 4 12B | 运行流畅 | 估算 83.8 tok/s73.8–93.9校准估算 ±12% | Q4_K_M | 8.4 / 20.0 GB | 全部载入显卡 | 最长 256k |
|
| Gemma 3 12B | 运行流畅 | 估算 77.6 tok/s68.3–86.9校准估算 ±12% | Q4_K_M | 9.0 / 20.0 GB | 全部载入显卡 | 最长 128k | — |
| HyperCLOVA X SEED Think 14B | 运行流畅 | 估算 59.6 tok/s41.7–77.5理论估算 ±30% | Q4_K_M | 11.0 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| Qwen3 14B | 运行流畅 | 估算 58.8 tok/s51.7–65.8校准估算 ±12% | Q4_K_M | 11.1 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| DeepSeek R1 Distill Qwen 14B | 运行流畅 | 估算 57.4 tok/s50.5–64.2校准估算 ±12% | Q4_K_M | 11.3 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| Phi-4 | 运行流畅 | 估算 56.7 tok/s49.9–63.5校准估算 ±12% | Q4_K_M | 11.6 / 20.0 GB | 全部载入显卡 | 最长 16k | — |
| Mistral Small 3.2 24B | 运行流畅 | 估算 38.8 tok/s34.1–43.5校准估算 ±12% | Q4_K_M | 16.5 / 20.0 GB | 全部载入显卡 | 最长 16k | — |
| Gemma 3 27B | 运行流畅 | 估算 35.3 tok/s31.1–39.5校准估算 ±12% | Q4_K_M | 18.4 / 20.0 GB | 全部载入显卡 | 最长 16k | — |
| Qwen3.6 27B | 运行流畅 | 估算 35.0 tok/s30.8–39.2校准估算 ±12% | Q4_K_M | 17.8 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| Muse Glimmer 30B | 运行流畅 | 估算 34.9 tok/s30.7–39.1校准估算 ±12% | Q4_K_M | 17.8 / 20.0 GB | 全部载入显卡 | 最长 64k |
|
| Qwen3.5 27B | 运行流畅 | 估算 34.5 tok/s30.3–38.6校准估算 ±12% | Q4_K_M | 17.8 / 20.0 GB | 全部载入显卡 | 最长 32k |
|
| Qwen3.8 27B | 运行流畅 | 估算 33.8 tok/s29.8–37.9校准估算 ±12% | Q4_K_M | 18.2 / 20.0 GB | 全部载入显卡 | 最长 16k |
|
| MiniCPM-V 4.7 35B-A3B | 运行良好 | 估算 96.3 tok/s67.4–125.2理论估算 ±30% | Q4_K_M | 19.3 / 20.0 GB + 3.2 GB 内存 | MoE 专家放在内存 | 最长 256k |
|
| Qwen3.6 35B-A3B | 运行良好 | 估算 93.1 tok/s65.2–121.0理论估算 ±30% | Q4_K_M | 19.5 / 20.0 GB + 4.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
|
| Qwen3 30B-A3B (2507) | 运行良好 | 估算 87.9 tok/s61.5–114.3理论估算 ±30% | Q4_K_M | 19.6 / 20.0 GB + 0.9 GB 内存 | MoE 专家放在内存 | 最长 128k |
|
| Qwen3.5 35B-A3B | 运行良好 | 估算 85.1 tok/s59.6–110.6理论估算 ±30% | Q4_K_M | 19.5 / 20.0 GB + 4.5 GB 内存 | MoE 专家放在内存 | 最长 256k |
|
| Nemotron 3.5 Lightning 30B-A3B | 运行良好 | 估算 74.5 tok/s52.1–96.8理论估算 ±30% | Q4_K_M | 18.8 / 20.0 GB + 7.9 GB 内存 | MoE 专家放在内存 | 最长 256k |
|
| K2-Horizon MoVA 36B-A4B | 运行良好 | 估算 44.5 tok/s31.2–57.9理论估算 ±30% | Q4_K_M | 19.4 / 20.0 GB + 5.7 GB 内存 | MoE 专家放在内存 | 最长 16k |
|
| Gemma 4 31B | 运行良好 | 估算 28.7 tok/s23.0–34.5校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 0.2 GB 内存 | 部分卸载 | 最长 16k |
|
| EXAONE 4.0 32B | 运行良好 | 估算 18.2 tok/s14.5–21.8校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 1.1 GB 内存 | 部分卸载 | 最长 16k |
|
| Granite 4.2 30B | 运行良好 | 估算 17.6 tok/s14.1–21.1校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 1.0 GB 内存 | 部分卸载 | 最长 8k |
|
| EXAONE 4.5 33B | 运行良好 | 估算 14.0 tok/s11.2–16.8校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 1.8 GB 内存 | 部分卸载 | 最长 8k |
|
| Qwen3 32B | 运行较慢 | 估算 9.4 tok/s7.5–11.2校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 3.1 GB 内存 | 部分卸载 | 最长 16k |
|
| DeepSeek R1 Distill Qwen 32B | 运行较慢 | 估算 9.2 tok/s7.3–11.0校准估算 ±20% | Q4_K_M | 20.0 / 20.0 GB + 3.2 GB 内存 | 部分卸载 | 最长 16k |
|
| Kolibri 1 | 无法运行改用 IQ4_XS：运行良好 | 估算 53.7 tok/s37.6–69.8理论估算 ±30% | IQ4_XS | 18.6 / 20.0 GB + 26.4 GB 内存 | MoE 专家放在内存 | 最长 32k |
|
| Qwen3.5 122B-A10B | 无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好 | 估算 33.0 tok/s23.1–42.9理论估算 ±30% | UD-Q2_K_XL | 18.6 / 20.0 GB + 25.7 GB 内存 | MoE 专家放在内存 | 最长 32k |
|
| Solar Open 100B | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 23.0 tok/s16.1–29.9理论估算 ±30% | Q2_K | 19.1 / 20.0 GB + 21.4 GB 内存 | MoE 专家放在内存 | 最长 32k |
|
| Llama 3.3 70B | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 3.6 tok/s2.8–4.3校准估算 ±20% | Q2_K | 20.0 / 20.0 GB + 10.2 GB 内存 | 部分卸载 | 最长 16k | — |
| DeepSeek V4 Flash 0731 | 无法运行 | — | MXFP4 | 需要 155.1 GB | — | — |
|
| GLM-5.3 Flash | 无法运行 | — | Q4_K_M | 需要 181.4 GB | — | — |
|
| gpt-oss-120b | 无法运行 | — | MXFP4 | 需要 63.6 GB | — | — |
|
| Laguna S 2.1 | 无法运行 | — | Q4_K_M | 需要 68.5 GB | — | — |
|
| Ling-3.0 Flash | 无法运行 | — | Q4_K_M | 需要 75.4 GB | — | — |
|
| Solar Open 2 250B | 无法运行 | — | IQ4_XS | 需要 136.5 GB | — | — |
|
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
Radeon RX 7900 XT 的实测结果
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-20b | BF16 | llama.cpp | 2k | 4,252.0 | 101.9 | ROCm 6.4.1 | github.com | 2025-08-18 |
| Gemma 4 26B-A4B | UD-Q4_K_XL | llama.cpp | 512 | 2,884.0 | 77.8 | ROCm | github.com | 2026-04-18 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | — | 87.8 | Vulkan | github.com | 2026-07-28 |
常见问题
能完全在 Radeon RX 7900 XT 上运行的最大模型是什么？
Qwen3.5 35B-A3B IQ4_XS（18.17 GB 文件）在 8k 上下文下可完整装入 20 GB，估算 107.3 tok/s（85.8–128.7，校准估算 ±20%）。
Radeon RX 7900 XT 上有多少本地大模型能运行良好？
按 Q4_K_M、8k 上下文计算，在 58 个已收录的模型中，36 个运行流畅、10 个运行良好、2 个运行较慢，10 个无法运行。
Radeon RX 7900 XT 能运行 Llama 3.3 70B 这样的 70B 模型吗？
运行较慢——部分卸载，Q2_K（质量损失大）：估算 3.6 tok/s（2.8–4.3，校准估算 ±20%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。