GeForce RTX 5090 能跑哪些本地大模型？

按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。

规格

显存: 32 GB
内存带宽: 1,792.0 GB/s
FP16 算力: 104.8 TFLOPS
发布年份: 2025
价格: 市场价 US$4,200（截至 2026-08-09）
其他写法: 5090, RTX5090

判定一览

基于 Q4_K_M（或最接近的可用量化）、8k 上下文。

运行流畅48 个模型运行良好1 个模型运行较慢1 个模型无法运行8 个模型另有 2 个模型可以用更低的量化运行。

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

GeForce RTX 5090 上的全部模型

稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。

左右滑动可查看所有列。

58 个模型，按判定和速度排序
模型	判定	速度	量化	显存/内存	运行方式	上下文	备注
MiniCPM5 1B	运行流畅	估算 1,407.3 tok/s1,238.5–1,576.2校准估算 ±12%	Q4_K_M	1.9 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Llama 3.2 1B	运行流畅	估算 1,163.2 tok/s1,023.6–1,302.7校准估算 ±12%	Q4_K_M	2.2 / 32.0 GB	全部载入显卡	最长 128k	—
EXAONE 4.0 1.2B	运行流畅	估算 955.1 tok/s840.5–1,069.8校准估算 ±12%	Q4_K_M	2.5 / 32.0 GB	全部载入显卡	最长 64k	思考模式
LFM2.5 2.6B	运行流畅	估算 695.3 tok/s486.7–903.8理论估算 ±30%	Q4_K_M	3.0 / 32.0 GB	全部载入显卡	最长 128k	思考模式
HyperCLOVA X SEED 1.5B	运行流畅	估算 691.0 tok/s608.1–773.9校准估算 ±12%	Q4_K_M	3.0 / 32.0 GB	全部载入显卡	最长 16k	—
MiniCPM5 2B	运行流畅	估算 656.0 tok/s577.2–734.7校准估算 ±12%	Q4_K_M	2.9 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Ling-3.0 Tiny	运行流畅	估算 485.1 tok/s339.6–630.7理论估算 ±30%	Q4_K_M	5.9 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Spark-X2.5 4B	运行流畅	估算 432.3 tok/s380.4–484.1校准估算 ±12%	Q4_K_M	4.1 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Llama 3.2 3B	运行流畅	估算 423.9 tok/s373.0–474.7校准估算 ±12%	Q4_K_M	4.1 / 32.0 GB	全部载入显卡	最长 128k	—
Qwen3.5 4B	运行流畅	估算 404.8 tok/s356.3–453.4校准估算 ±12%	Q4_K_M	4.2 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Gemma 4 E2B	运行流畅	341.8 tok/s8k 估算 386.7 tok/s（270.7–502.7，理论估算 ±30%）实测（1 次，512 上下文）	Q4_K_M	2.7 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Mellum2.1 12B-A2.5B Thinking	运行流畅	估算 334.9 tok/s267.9–401.8校准估算 ±20%	Q4_K_M	9.2 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Nemotron 3.5 Lightning 30B-A3B	运行流畅	估算 305.7 tok/s214.0–397.4理论估算 ±30%	Q4_K_M	25.7 / 32.0 GB	全部载入显卡	最长 256k	思考模式
gpt-oss-20b	运行流畅gpt-oss-20b 在 GeForce RTX 5090 上的判定	282.3 tok/s8k 估算 338.9 tok/s（271.1–406.7，校准估算 ±20%）实测（1 次，2k 上下文）	MXFP4	12.9 / 32.0 GB	全部载入显卡	最长 128k	思考模式
MiniCPM-V 4.7 35B-A3B	运行流畅	估算 239.5 tok/s191.6–287.4校准估算 ±20%	Q4_K_M	22.2 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Qwen3 8B	运行流畅	234.3 tok/s8k 估算 201.1 tok/s（177.0–225.2，校准估算 ±12%）实测（1 次，512 上下文）	Q4_K_M	7.1 / 32.0 GB	全部载入显卡	最长 32k	思考模式
Gemma 4 E4B	运行流畅	234.0 tok/s8k 估算 257.7 tok/s（180.4–335.0，理论估算 ±30%）实测（1 次，512 上下文）	Q4_K_M	4.3 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Kanana 1.5 15.7B-A3B	运行流畅	估算 233.4 tok/s186.7–280.1校准估算 ±20%	Q4_K_M	12.5 / 32.0 GB	全部载入显卡	最长 32k	—
Qwen3.6 35B-A3B	运行流畅	估算 229.8 tok/s183.9–275.8校准估算 ±20%	Q4_K_M	22.4 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Gemma 4 26B-A4B	运行流畅	216.1 tok/s8k 估算 210.4 tok/s（168.3–252.4，校准估算 ±20%）实测（2 次，512/8k 上下文）	Q4_K_M	18.3 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Qwen3.5 35B-A3B	运行流畅	估算 213.4 tok/s170.7–256.0校准估算 ±20%	Q4_K_M	22.9 / 32.0 GB	全部载入显卡	最长 256k	思考模式
DeepSeek R1 Distill Llama 8B	运行流畅	估算 209.3 tok/s184.2–234.4校准估算 ±12%	Q4_K_M	6.9 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Kanana 1.5 8B	运行流畅	估算 209.3 tok/s184.2–234.4校准估算 ±12%	Q4_K_M	6.9 / 32.0 GB	全部载入显卡	最长 32k	—
Llama 3.1 8B	运行流畅Llama 3.1 8B 在 GeForce RTX 5090 上的判定	估算 209.3 tok/s184.2–234.4校准估算 ±12%	Q4_K_M	6.9 / 32.0 GB	全部载入显卡	最长 128k	—
Nanbeige4.2 3B	运行流畅	估算 204.8 tok/s143.3–266.2理论估算 ±30%	Q4_K_M	5.0 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Qwen3.5 9B	运行流畅	估算 204.4 tok/s179.8–228.9校准估算 ±12%	Q4_K_M	6.6 / 32.0 GB	全部载入显卡	最长 256k	思考模式
DeepSeek R1 0528 Qwen3 8B	运行流畅	估算 201.1 tok/s177.0–225.2校准估算 ±12%	Q4_K_M	7.1 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Qwen3 30B-A3B (2507)	运行流畅Qwen3 30B-A3B (2507) 在 GeForce RTX 5090 上的判定	估算 195.0 tok/s156.0–234.1校准估算 ±20%	Q4_K_M	20.4 / 32.0 GB	全部载入显卡	最长 64k	—
K2-Horizon 7B	运行流畅	估算 184.5 tok/s162.4–206.7校准估算 ±12%	Q4_K_M	7.4 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Gemma 4 12B	运行流畅	估算 172.9 tok/s152.2–193.7校准估算 ±12%	Q4_K_M	8.4 / 32.0 GB	全部载入显卡	最长 256k	思考模式
Gemma 3 12B	运行流畅Gemma 3 12B 在 GeForce RTX 5090 上的判定	估算 160.1 tok/s140.9–179.3校准估算 ±12%	Q4_K_M	9.0 / 32.0 GB	全部载入显卡	最长 128k	—
K2-Horizon MoVA 36B-A4B	运行流畅	估算 149.6 tok/s104.7–194.5理论估算 ±30%	Q4_K_M	24.8 / 32.0 GB	全部载入显卡	最长 32k	思考模式
HyperCLOVA X SEED Think 14B	运行流畅	估算 123.0 tok/s86.1–160.0理论估算 ±30%	Q4_K_M	11.0 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Qwen3 14B	运行流畅Qwen3 14B 在 GeForce RTX 5090 上的判定	估算 121.3 tok/s106.7–135.8校准估算 ±12%	Q4_K_M	11.1 / 32.0 GB	全部载入显卡	最长 32k	思考模式
DeepSeek R1 Distill Qwen 14B	运行流畅	估算 118.3 tok/s104.1–132.5校准估算 ±12%	Q4_K_M	11.3 / 32.0 GB	全部载入显卡	最长 64k	思考模式
Phi-4	运行流畅	估算 116.9 tok/s102.9–131.0校准估算 ±12%	Q4_K_M	11.6 / 32.0 GB	全部载入显卡	最长 16k	—
Qwen3.8 27B	运行流畅	81.8 tok/s8k 估算 69.8 tok/s（61.4–78.2，校准估算 ±12%）实测（1 次，1k 上下文）	Q4_K_M	18.2 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Mistral Small 3.2 24B	运行流畅	估算 80.0 tok/s70.4–89.6校准估算 ±12%	Q4_K_M	16.5 / 32.0 GB	全部载入显卡	最长 64k	—
Gemma 3 27B	运行流畅	估算 72.8 tok/s64.1–81.6校准估算 ±12%	Q4_K_M	18.4 / 32.0 GB	全部载入显卡	最长 128k	—
Qwen3.6 27B	运行流畅	估算 72.3 tok/s63.6–80.9校准估算 ±12%	Q4_K_M	17.8 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Muse Glimmer 30B	运行流畅	估算 72.0 tok/s63.4–80.7校准估算 ±12%	Q4_K_M	17.8 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Qwen3.5 27B	运行流畅	估算 71.1 tok/s62.6–79.6校准估算 ±12%	Q4_K_M	17.8 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Gemma 4 31B	运行流畅	估算 66.1 tok/s58.1–74.0校准估算 ±12%	Q4_K_M	20.1 / 32.0 GB	全部载入显卡	最长 128k	思考模式
Granite 4.2 30B	运行流畅	估算 63.1 tok/s55.6–70.7校准估算 ±12%	Q4_K_M	20.8 / 32.0 GB	全部载入显卡	最长 32k	思考模式
EXAONE 4.0 32B	运行流畅	估算 63.1 tok/s55.5–70.7校准估算 ±12%	Q4_K_M	20.8 / 32.0 GB	全部载入显卡	最长 128k	思考模式
EXAONE 4.5 33B	运行流畅	估算 60.9 tok/s53.6–68.2校准估算 ±12%	Q4_K_M	21.0 / 32.0 GB	全部载入显卡	最长 128k	思考模式
DeepSeek R1 Distill Qwen 32B	运行流畅	估算 57.0 tok/s50.2–63.9校准估算 ±12%	Q4_K_M	22.7 / 32.0 GB	全部载入显卡	最长 32k	思考模式
Qwen3 32B	运行流畅	53.3 tok/s8k 估算 57.3 tok/s（50.4–64.1，校准估算 ±12%）实测（1 次，512 上下文）	Q4_K_M	22.6 / 32.0 GB	全部载入显卡	最长 32k	思考模式
Kolibri 1	运行良好	估算 83.3 tok/s58.3–108.3理论估算 ±30%	Q4_K_M	30.1 / 32.0 GB + 21.0 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 Q2_K（质量损失大）：运行流畅思考模式
Llama 3.3 70B	运行较慢	估算 2.7 tok/s2.2–3.3校准估算 ±20%	Q4_K_M	32.0 / 32.0 GB + 14.4 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅
Qwen3.5 122B-A10B	无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好	估算 66.4 tok/s46.5–86.3理论估算 ±30%	UD-Q2_K_XL	31.0 / 32.0 GB + 13.2 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中配 64 GB 内存时：运行较慢思考模式
Solar Open 100B	无法运行改用 IQ4_XS：运行较慢	估算 21.9 tok/s15.3–28.4理论估算 ±30%	IQ4_XS	30.8 / 32.0 GB + 27.5 GB 内存	MoE 专家放在内存	最长 8k	专家在系统内存中运行：这种方式需要达到 30 tok/s 及以上才算“运行良好” Q2_K（质量损失大）：运行良好配 64 GB 内存时：运行较慢思考模式
DeepSeek V4 Flash 0731	无法运行	—	MXFP4	需要 155.1 GB	—	—	约需 155.1 GB；可用显存 31.4 GB，可用内存 28.0 GB 思考模式
GLM-5.3 Flash	无法运行	—	Q4_K_M	需要 181.4 GB	—	—	约需 181.4 GB；可用显存 31.4 GB，可用内存 28.0 GB 思考模式
gpt-oss-120b	无法运行gpt-oss-120b 在 GeForce RTX 5090 上的判定	—	MXFP4	需要 63.6 GB	—	—	约需 63.6 GB；可用显存 31.4 GB，可用内存 28.0 GB 配 64 GB 内存时：运行良好思考模式
Laguna S 2.1	无法运行	—	Q4_K_M	需要 68.5 GB	—	—	约需 68.5 GB；可用显存 31.4 GB，可用内存 28.0 GB 配 64 GB 内存时：运行较慢思考模式
Ling-3.0 Flash	无法运行	—	Q4_K_M	需要 75.4 GB	—	—	约需 75.4 GB；可用显存 31.4 GB，可用内存 28.0 GB 配 64 GB 内存时：运行良好思考模式
Solar Open 2 250B	无法运行	—	IQ4_XS	需要 136.5 GB	—	—	约需 136.5 GB；可用显存 31.4 GB，可用内存 28.0 GB 配 128 GB 内存时：运行较慢思考模式

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

GeForce RTX 5090 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

GeForce RTX 5090 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
llama-2-7b	Q4_0	llama.cpp	512	14,073.0	290.0	—	github.com	2025-10-23
gpt-oss-20b	MXFP4	llama.cpp	2k	9,841.0	282.3	—	github.com	2025-08-20
Qwen3 8B	Q4_K_XL	llama.cpp	16k	—	145.3	—	hardware-corner.net	2026-08-09
Qwen3 30B-A3B (2507)	Q4_K_XL	llama.cpp	16k	—	141.6	—	hardware-corner.net	2026-08-09
gpt-oss-120b	MXFP4	llama.cpp	4k	—	9.6	--n-cpu-moe 21, DDR4 server	hardware-corner.net	2026-08-09
Gemma 4 26B-A4B	Q4_K_M	llama.cpp	512	13,588.0	223.8	CUDA, KV q8_0	github.com	2026-05-24
Gemma 4 26B-A4B	Q4_K_M	ollama	8k	—	208.4	CUDA, FA off	github.com	2026-04-05
Qwen3.8 27B	Q4_K_M	llama.cpp	1k	3,972.0	81.8	CUDA	github.com	2026-09-12
Qwen3 8B	Q4_K_XL	llama.cpp	4k	11,933.0	200.4	CUDA	hardware-corner.net	2026-03-02
Qwen3 32B	Q4_K_XL	llama.cpp	4k	2,931.0	61.4	CUDA	hardware-corner.net	2025-12-09
Qwen3 8B	Q4_K_M	llama.cpp	512	—	234.3	CUDA, KV q8_0	github.com	2026-10-07
Qwen3 8B	Q8_0	llama.cpp	512	10,787.0	136.2	CUDA	github.com	2025-10-16
Qwen3 32B	Q4_K_M	llama.cpp	512	3,446.0	53.3	CUDA	github.com	2026-09-15
Gemma 4 E4B	Q4_K_M	llama.cpp	512	—	234.0	Vulkan	github.com	2026-09-08
Gemma 4 E2B	Q4_K_M	llama.cpp	512	—	341.8	Vulkan	github.com	2026-09-08

常见问题

能完全在 GeForce RTX 5090 上运行的最大模型是什么？

K2-Horizon MoVA 36B-A4B Q4_K_M（22.37 GB 文件）在 8k 上下文下可完整装入 32 GB，估算 149.6 tok/s（104.7–194.5，理论估算 ±30%）。

GeForce RTX 5090 上有多少本地大模型能运行良好？

按 Q4_K_M、8k 上下文计算，在 58 个已收录的模型中，48 个运行流畅、1 个运行良好、1 个运行较慢，8 个无法运行。

GeForce RTX 5090 能运行 Llama 3.3 70B 这样的 70B 模型吗？

运行较慢——部分卸载，Q4_K_M：估算 2.7 tok/s（2.2–3.3，校准估算 ±20%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。

规格