RTX 4090 vs RTX 5090：本地大模型运行对比
按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。
速度
RTX 5090 的文本生成速度约为 RTX 4090 的 1.8 倍（基于 46 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。
在 Qwen3.5 35B-A3B 上，两者的估算范围有重叠，实际差距可能更小。
- 参考模型
- Qwen3.5 35B-A3B（Q4_K_M），即以 Q4_K_M 或最接近的可用量化计、两者都能完全装入显存/内存的最大模型
- RTX 4090
- 估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）
- RTX 5090
- 估算 213.4 tok/s（170.7–256.0，校准估算 ±20%）
- Qwen3.5 35B-A3B 的提示词处理
- RTX 4090：约 9,387 tok/s（5,632–13,141，粗略估算 ±40%）；RTX 5090：约 11,910 tok/s（7,146–16,673，粗略估算 ±40%）
规格对比
| 规格 | RTX 4090 | RTX 5090 | 差异 |
|---|---|---|---|
| 显存/内存 | 24 GB | 32 GB | RTX 5090 多 8 GB |
| 内存带宽 | 1,008.0 GB/s | 1,792.0 GB/s | RTX 5090 是对方的 1.78 倍 |
| FP16 算力 | 82.6 TFLOPS | 104.8 TFLOPS | RTX 5090 是对方的 1.27 倍 |
| 发布年份 | 2022 | 2025 | — |
| 价格 | 市场价 US$2,755（截至 2026-08-09） | 市场价 US$4,200（截至 2026-08-09） | — |
| 公开基准测试结果 | 13 条 | 15 条 | — |
判定一览
共 58 个模型，按 Q4_K_M（或最接近的可用量化）和 8k 上下文判定。
- RTX 4090运行流畅46 个模型运行良好2 个模型运行较慢0 个模型无法运行10 个模型
- RTX 5090运行流畅48 个模型运行良好1 个模型运行较慢1 个模型无法运行8 个模型
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
判定不同的模型
4 个模型在两者上的判定不同。
左右滑动可查看所有列。
| 模型 | RTX 4090 判定 | RTX 4090 速度 | RTX 5090 判定 | RTX 5090 速度 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 运行良好 | 估算 82.6 tok/s57.8–107.4理论估算 ±30% | 运行流畅 | 估算 149.6 tok/s104.7–194.5理论估算 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 运行良好 | 估算 126.5 tok/s88.5–164.4理论估算 ±30% | 运行流畅 | 估算 305.7 tok/s214.0–397.4理论估算 ±30% |
| Kolibri 1Q4_K_M | 无法运行改用 IQ4_XS：运行良好 | 估算 70.1 tok/s49.0–91.1理论估算 ±30% | 运行良好 | 估算 83.3 tok/s58.3–108.3理论估算 ±30% |
| Llama 3.3 70BQ4_K_M | 无法运行改用 IQ4_XS：运行较慢 | 估算 2.2 tok/s1.8–2.6校准估算 ±20% | 运行较慢 | 估算 2.7 tok/s2.2–3.3校准估算 ±20% |
两者上的全部模型
左右滑动可查看所有列。
| 模型 | RTX 4090 判定 | RTX 4090 速度 | RTX 5090 判定 | RTX 5090 速度 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 运行良好 | 估算 82.6 tok/s57.8–107.4理论估算 ±30% | 运行流畅 | 估算 149.6 tok/s104.7–194.5理论估算 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 运行流畅 | 估算 155.9 tok/s124.7–187.1校准估算 ±20% | 运行流畅 | 估算 213.4 tok/s170.7–256.0校准估算 ±20% |
| Qwen3.6 35B-A3BQ4_K_M | 运行流畅 | 估算 171.9 tok/s137.5–206.2校准估算 ±20% | 运行流畅 | 估算 229.8 tok/s183.9–275.8校准估算 ±20% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 运行流畅 | 估算 181.6 tok/s145.3–217.9校准估算 ±20% | 运行流畅 | 估算 239.5 tok/s191.6–287.4校准估算 ±20% |
| EXAONE 4.5 33BQ4_K_M | 运行流畅 | 估算 34.3 tok/s30.2–38.4校准估算 ±12% | 运行流畅 | 估算 60.9 tok/s53.6–68.2校准估算 ±12% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 运行流畅 | 估算 32.1 tok/s28.2–35.9校准估算 ±12% | 运行流畅 | 估算 57.0 tok/s50.2–63.9校准估算 ±12% |
| Qwen3 32BQ4_K_M | 运行流畅 | 42.5 tok/s8k 估算 32.2 tok/s（28.3–36.1，校准估算 ±12%）实测（1 次，512 上下文） | 运行流畅 | 53.3 tok/s8k 估算 57.3 tok/s（50.4–64.1，校准估算 ±12%）实测（1 次，512 上下文） |
| EXAONE 4.0 32BQ4_K_M | 运行流畅 | 估算 35.5 tok/s31.2–39.8校准估算 ±12% | 运行流畅 | 估算 63.1 tok/s55.5–70.7校准估算 ±12% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 运行良好 | 估算 126.5 tok/s88.5–164.4理论估算 ±30% | 运行流畅 | 估算 305.7 tok/s214.0–397.4理论估算 ±30% |
| Gemma 4 31BQ4_K_M | 运行流畅 | 估算 37.2 tok/s32.7–41.6校准估算 ±12% | 运行流畅 | 估算 66.1 tok/s58.1–74.0校准估算 ±12% |
| Qwen3 30B-A3B (2507)Q4_K_M | 估算 146.7 tok/s117.4–176.1校准估算 ±20% | 估算 195.0 tok/s156.0–234.1校准估算 ±20% | ||
| Muse Glimmer 30BQ4_K_M | 运行流畅 | 估算 40.5 tok/s35.6–45.4校准估算 ±12% | 运行流畅 | 估算 72.0 tok/s63.4–80.7校准估算 ±12% |
| Granite 4.2 30BQ4_K_M | 运行流畅 | 估算 35.5 tok/s31.3–39.8校准估算 ±12% | 运行流畅 | 估算 63.1 tok/s55.6–70.7校准估算 ±12% |
| Qwen3.5 27BQ4_K_M | 运行流畅 | 44.8 tok/s8k 估算 40.0 tok/s（35.2–44.8，校准估算 ±12%）实测（2 次，512/40k 上下文） | 运行流畅 | 估算 71.1 tok/s62.6–79.6校准估算 ±12% |
| Qwen3.6 27BQ4_K_M | 运行流畅 | 估算 40.7 tok/s35.8–45.5校准估算 ±12% | 运行流畅 | 估算 72.3 tok/s63.6–80.9校准估算 ±12% |
| Qwen3.8 27BQ4_K_M | 运行流畅 | 49.8 tok/s8k 估算 39.3 tok/s（34.5–44.0，校准估算 ±12%）实测（1 次，1k 上下文） | 运行流畅 | 81.8 tok/s8k 估算 69.8 tok/s（61.4–78.2，校准估算 ±12%）实测（1 次，1k 上下文） |
| Gemma 3 27BQ4_K_M | 运行流畅 | 估算 41.0 tok/s36.1–45.9校准估算 ±12% | 运行流畅 | 估算 72.8 tok/s64.1–81.6校准估算 ±12% |
| Gemma 4 26B-A4BQ4_K_M | 运行流畅 | 估算 142.6 tok/s114.1–171.1校准估算 ±20% | 运行流畅 | 216.1 tok/s8k 估算 210.4 tok/s（168.3–252.4，校准估算 ±20%）实测（2 次，512/8k 上下文） |
| Mistral Small 3.2 24BQ4_K_M | 运行流畅 | 估算 45.0 tok/s39.6–50.4校准估算 ±12% | 运行流畅 | 估算 80.0 tok/s70.4–89.6校准估算 ±12% |
| gpt-oss-20bMXFP4 | 225.2 tok/s8k 估算 214.1 tok/s（171.3–256.9，校准估算 ±20%）实测（1 次，2k 上下文） | 282.3 tok/s8k 估算 338.9 tok/s（271.1–406.7，校准估算 ±20%）实测（1 次，2k 上下文） | ||
| Kanana 1.5 15.7B-A3BQ4_K_M | 运行流畅 | 估算 164.4 tok/s131.5–197.3校准估算 ±20% | 运行流畅 | 估算 233.4 tok/s186.7–280.1校准估算 ±20% |
| Qwen3 14BQ4_K_M | 估算 68.2 tok/s60.0–76.4校准估算 ±12% | 估算 121.3 tok/s106.7–135.8校准估算 ±12% | ||
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 运行流畅 | 估算 66.6 tok/s58.6–74.5校准估算 ±12% | 运行流畅 | 估算 118.3 tok/s104.1–132.5校准估算 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 运行流畅 | 估算 69.2 tok/s48.4–90.0理论估算 ±30% | 运行流畅 | 估算 123.0 tok/s86.1–160.0理论估算 ±30% |
| Phi-4Q4_K_M | 运行流畅 | 估算 65.8 tok/s57.9–73.7校准估算 ±12% | 运行流畅 | 估算 116.9 tok/s102.9–131.0校准估算 ±12% |
| Gemma 3 12BQ4_K_M | 估算 90.0 tok/s79.2–100.8校准估算 ±12% | 估算 160.1 tok/s140.9–179.3校准估算 ±12% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 运行流畅 | 估算 252.0 tok/s201.6–302.5校准估算 ±20% | 运行流畅 | 估算 334.9 tok/s267.9–401.8校准估算 ±20% |
| Gemma 4 12BQ4_K_M | 运行流畅 | 估算 97.3 tok/s85.6–108.9校准估算 ±12% | 运行流畅 | 估算 172.9 tok/s152.2–193.7校准估算 ±12% |
| Qwen3.5 9BQ4_K_M | 运行流畅 | 127.5 tok/s8k 估算 114.9 tok/s（101.2–128.7，校准估算 ±12%）实测（2 次，512/40k 上下文） | 运行流畅 | 估算 204.4 tok/s179.8–228.9校准估算 ±12% |
| K2-Horizon 7BQ4_K_M | 运行流畅 | 估算 103.8 tok/s91.3–116.3校准估算 ±12% | 运行流畅 | 估算 184.5 tok/s162.4–206.7校准估算 ±12% |
| Qwen3 8BQ4_K_M | 运行流畅 | 估算 113.1 tok/s99.5–126.7校准估算 ±12% | 运行流畅 | 234.3 tok/s8k 估算 201.1 tok/s（177.0–225.2，校准估算 ±12%）实测（1 次，512 上下文） |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 运行流畅 | 估算 113.1 tok/s99.5–126.7校准估算 ±12% | 运行流畅 | 估算 201.1 tok/s177.0–225.2校准估算 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 运行流畅 | 估算 117.7 tok/s103.6–131.8校准估算 ±12% | 运行流畅 | 估算 209.3 tok/s184.2–234.4校准估算 ±12% |
| Kanana 1.5 8BQ4_K_M | 运行流畅 | 估算 117.7 tok/s103.6–131.8校准估算 ±12% | 运行流畅 | 估算 209.3 tok/s184.2–234.4校准估算 ±12% |
| Llama 3.1 8BQ4_K_M | 91.0 tok/s8k 估算 117.7 tok/s（103.6–131.8，校准估算 ±12%）实测（1 次，4k 上下文） | 估算 209.3 tok/s184.2–234.4校准估算 ±12% | ||
| Gemma 4 E4BQ4_K_M | 运行流畅 | 估算 171.0 tok/s119.7–222.3理论估算 ±30% | 运行流畅 | 234.0 tok/s8k 估算 257.7 tok/s（180.4–335.0，理论估算 ±30%）实测（1 次，512 上下文） |
| Ling-3.0 TinyQ4_K_M | 运行流畅 | 估算 390.2 tok/s273.2–507.3理论估算 ±30% | 运行流畅 | 估算 485.1 tok/s339.6–630.7理论估算 ±30% |
| Gemma 4 E2BQ4_K_M | 运行流畅 | 估算 281.9 tok/s197.3–366.5理论估算 ±30% | 运行流畅 | 341.8 tok/s8k 估算 386.7 tok/s（270.7–502.7，理论估算 ±30%）实测（1 次，512 上下文） |
| Qwen3.5 4BQ4_K_M | 运行流畅 | 估算 227.7 tok/s200.4–255.1校准估算 ±12% | 运行流畅 | 估算 404.8 tok/s356.3–453.4校准估算 ±12% |
| Nanbeige4.2 3BQ4_K_M | 运行流畅 | 估算 115.2 tok/s80.6–149.7理论估算 ±30% | 运行流畅 | 估算 204.8 tok/s143.3–266.2理论估算 ±30% |
| Spark-X2.5 4BQ4_K_M | 运行流畅 | 估算 243.1 tok/s214.0–272.3校准估算 ±12% | 运行流畅 | 估算 432.3 tok/s380.4–484.1校准估算 ±12% |
| Llama 3.2 3BQ4_K_M | 运行流畅 | 估算 238.4 tok/s209.8–267.0校准估算 ±12% | 运行流畅 | 估算 423.9 tok/s373.0–474.7校准估算 ±12% |
| LFM2.5 2.6BQ4_K_M | 运行流畅 | 估算 391.1 tok/s273.8–508.4理论估算 ±30% | 运行流畅 | 估算 695.3 tok/s486.7–903.8理论估算 ±30% |
| MiniCPM5 2BQ4_K_M | 运行流畅 | 估算 369.0 tok/s324.7–413.3校准估算 ±12% | 运行流畅 | 估算 656.0 tok/s577.2–734.7校准估算 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 运行流畅 | 估算 388.7 tok/s342.1–435.3校准估算 ±12% | 运行流畅 | 估算 691.0 tok/s608.1–773.9校准估算 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 运行流畅 | 估算 537.3 tok/s472.8–601.7校准估算 ±12% | 运行流畅 | 估算 955.1 tok/s840.5–1,069.8校准估算 ±12% |
| Llama 3.2 1BQ4_K_M | 运行流畅 | 估算 654.3 tok/s575.8–732.8校准估算 ±12% | 运行流畅 | 估算 1,163.2 tok/s1,023.6–1,302.7校准估算 ±12% |
| MiniCPM5 1BQ4_K_M | 运行流畅 | 估算 791.6 tok/s696.6–886.6校准估算 ±12% | 运行流畅 | 估算 1,407.3 tok/s1,238.5–1,576.2校准估算 ±12% |
| Kolibri 1Q4_K_M | 无法运行改用 IQ4_XS：运行良好 | 估算 70.1 tok/s49.0–91.1理论估算 ±30% | 运行良好 | 估算 83.3 tok/s58.3–108.3理论估算 ±30% |
| Llama 3.3 70BQ4_K_M | 无法运行改用 IQ4_XS：运行较慢 | 估算 2.2 tok/s1.8–2.6校准估算 ±20% | 运行较慢 | 估算 2.7 tok/s2.2–3.3校准估算 ±20% |
| GLM-5.3 FlashQ4_K_M | 无法运行 | — | 无法运行 | — |
| DeepSeek V4 Flash 0731MXFP4 | 无法运行 | — | 无法运行 | — |
| Solar Open 2 250BIQ4_XS | 无法运行 | — | 无法运行 | — |
| Ling-3.0 FlashQ4_K_M | 无法运行 | — | 无法运行 | — |
| Qwen3.5 122B-A10BQ4_K_M | 无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好 | 估算 42.2 tok/s29.5–54.8理论估算 ±30% | 无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好 | 估算 66.4 tok/s46.5–86.3理论估算 ±30% |
| Laguna S 2.1Q4_K_M | 无法运行 | — | 无法运行 | — |
| gpt-oss-120bMXFP4 | — | — | ||
| Solar Open 100BQ4_K_M | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 28.9 tok/s20.2–37.5理论估算 ±30% | 无法运行改用 IQ4_XS：运行较慢 | 估算 21.9 tok/s15.3–28.4理论估算 ±30% |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
公开基准测试
RTX 4090 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 11,993.0 | 186.2 | — | github.com | 2025-08-06 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 8,078.0 | 225.2 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 104.3 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 139.7 | — | hardware-corner.net | 2026-08-09 |
| Llama 3.1 8B | Q4_K_M | llama.cpp | 4k | 6,697.0 | 91.0 | ctx-weighted | localscore.ai | 2026-08-09 |
| Qwen3.8 27B | Q4_K_M | llama.cpp | 1k | 3,073.0 | 49.8 | CUDA | github.com | 2026-09-12 |
| Qwen3.5 9B | Q4_K_M | ollama | 40k | — | 133.0 | — | github.com | 2026-10-12 |
| Qwen3.5 27B | Q4_K_M | ollama | 40k | — | 47.6 | — | github.com | 2026-10-12 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 512 | — | 122.0 | — | github.com | 2026-10-14 |
| Qwen3.5 27B | Q4_K_M | llama.cpp | 512 | — | 42.0 | — | github.com | 2026-10-14 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 9,251.0 | 141.3 | CUDA | hardware-corner.net | 2026-03-01 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 2,448.0 | 39.6 | CUDA | hardware-corner.net | 2026-03-01 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 2,302.0 | 42.5 | Vulkan | github.com | 2025-12-09 |
RTX 5090 的实测结果
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 14,073.0 | 290.0 | — | github.com | 2025-10-23 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 9,841.0 | 282.3 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 145.3 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 141.6 | — | hardware-corner.net | 2026-08-09 |
| gpt-oss-120b | MXFP4 | llama.cpp | 4k | — | 9.6 | --n-cpu-moe 21, DDR4 server | hardware-corner.net | 2026-08-09 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 13,588.0 | 223.8 | CUDA, KV q8_0 | github.com | 2026-05-24 |
| Gemma 4 26B-A4B | Q4_K_M | ollama | 8k | — | 208.4 | CUDA, FA off | github.com | 2026-04-05 |
| Qwen3.8 27B | Q4_K_M | llama.cpp | 1k | 3,972.0 | 81.8 | CUDA | github.com | 2026-09-12 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 11,933.0 | 200.4 | CUDA | hardware-corner.net | 2026-03-02 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 2,931.0 | 61.4 | CUDA | hardware-corner.net | 2025-12-09 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | — | 234.3 | CUDA, KV q8_0 | github.com | 2026-10-07 |
| Qwen3 8B | Q8_0 | llama.cpp | 512 | 10,787.0 | 136.2 | CUDA | github.com | 2025-10-16 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 3,446.0 | 53.3 | CUDA | github.com | 2026-09-15 |
| Gemma 4 E4B | Q4_K_M | llama.cpp | 512 | — | 234.0 | Vulkan | github.com | 2026-09-08 |
| Gemma 4 E2B | Q4_K_M | llama.cpp | 512 | — | 341.8 | Vulkan | github.com | 2026-09-08 |
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
常见问题
运行本地大模型时，RTX 4090 和 RTX 5090 哪个更快？
RTX 5090 的文本生成速度约为 RTX 4090 的 1.8 倍（基于 46 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。Qwen3.5 35B-A3B Q4_K_M 的速度：RTX 4090 估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）；RTX 5090 估算 213.4 tok/s（170.7–256.0，校准估算 ±20%）。
两者各自能完全装入显存/内存的最大模型是什么？
RTX 4090 能把 Qwen3.5 35B-A3B Q4_K_M（22.63 GB 文件）完整装入 24 GB，估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）。 RTX 5090 能把 K2-Horizon MoVA 36B-A4B Q4_K_M（22.37 GB 文件）完整装入 32 GB，估算 149.6 tok/s（104.7–194.5，理论估算 ±30%）。
两者上各有多少本地大模型能运行良好？
以 Q4_K_M、8k 上下文计，在 58 个已收录的模型中，RTX 4090：运行流畅 46 个、运行良好 2 个、运行较慢 0 个、无法运行 10 个；RTX 5090：运行流畅 48 个、运行良好 1 个、运行较慢 1 个、无法运行 8 个。有 4 个模型的判定不同。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。