RTX 3090 vs RTX 4090：本地大模型运行对比

按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。

速度

RTX 4090 的文本生成速度约为 RTX 3090 的 1.1 倍（基于 46 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。

在 Qwen3.5 35B-A3B 上，两者的估算范围有重叠，实际差距可能更小。

参考模型: Qwen3.5 35B-A3B（Q4_K_M），即以 Q4_K_M 或最接近的可用量化计、两者都能完全装入显存/内存的最大模型
RTX 3090: 估算 148.8 tok/s（119.1–178.6，校准估算 ±20%）
RTX 4090: 估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）
Qwen3.5 35B-A3B 的提示词处理: RTX 3090：约 4,046 tok/s（2,427–5,664，粗略估算 ±40%）；RTX 4090：约 9,387 tok/s（5,632–13,141，粗略估算 ±40%）

规格对比

RTX 3090 与 RTX 4090 的规格
规格	RTX 3090	RTX 4090	差异
显存/内存	24 GB	24 GB	相同
内存带宽	936.0 GB/s	1,008.0 GB/s	RTX 4090 是对方的 1.08 倍
FP16 算力	35.6 TFLOPS	82.6 TFLOPS	RTX 4090 是对方的 2.32 倍
发布年份	2020	2022	—
价格	市场价 US$1,050（截至 2026-08-09）	市场价 US$2,755（截至 2026-08-09）	—
公开基准测试结果	7 条	13 条	—

判定一览

共 58 个模型，按 Q4_K_M（或最接近的可用量化）和 8k 上下文判定。

RTX 3090运行流畅44 个模型运行良好4 个模型运行较慢0 个模型无法运行10 个模型
RTX 4090运行流畅46 个模型运行良好2 个模型运行较慢0 个模型无法运行10 个模型

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

判定不同的模型

2 个模型在两者上的判定不同。

左右滑动可查看所有列。

RTX 3090 与 RTX 4090 判定不同的模型
模型	RTX 3090 判定	RTX 3090 速度	RTX 4090 判定	RTX 4090 速度
DeepSeek R1 Distill Qwen 32BQ4_K_M	运行良好	估算 29.8 tok/s26.2–33.4校准估算 ±12%	运行流畅	估算 32.1 tok/s28.2–35.9校准估算 ±12%
Qwen3 32BQ4_K_M	运行良好	估算 29.9 tok/s26.3–33.5校准估算 ±12%	运行流畅	42.5 tok/s8k 估算 32.2 tok/s（28.3–36.1，校准估算 ±12%）实测（1 次，512 上下文）

两者上的全部模型

左右滑动可查看所有列。

共 58 个模型，先按两者中较好的判定排序，再按模型大小排序
模型	RTX 3090 判定	RTX 3090 速度	RTX 4090 判定	RTX 4090 速度
Qwen3.5 35B-A3BQ4_K_M	运行流畅	估算 148.8 tok/s119.1–178.6校准估算 ±20%	运行流畅	估算 155.9 tok/s124.7–187.1校准估算 ±20%
Qwen3.6 35B-A3BQ4_K_M	运行流畅	估算 164.6 tok/s131.6–197.5校准估算 ±20%	运行流畅	估算 171.9 tok/s137.5–206.2校准估算 ±20%
MiniCPM-V 4.7 35B-A3BQ4_K_M	运行流畅	估算 174.2 tok/s139.3–209.0校准估算 ±20%	运行流畅	估算 181.6 tok/s145.3–217.9校准估算 ±20%
EXAONE 4.5 33BQ4_K_M	运行流畅	估算 31.8 tok/s28.0–35.6校准估算 ±12%	运行流畅	估算 34.3 tok/s30.2–38.4校准估算 ±12%
DeepSeek R1 Distill Qwen 32BQ4_K_M	运行良好	估算 29.8 tok/s26.2–33.4校准估算 ±12%	运行流畅	估算 32.1 tok/s28.2–35.9校准估算 ±12%
Qwen3 32BQ4_K_M	运行良好	估算 29.9 tok/s26.3–33.5校准估算 ±12%	运行流畅	42.5 tok/s8k 估算 32.2 tok/s（28.3–36.1，校准估算 ±12%）实测（1 次，512 上下文）
EXAONE 4.0 32BQ4_K_M	运行流畅	估算 33.0 tok/s29.0–36.9校准估算 ±12%	运行流畅	估算 35.5 tok/s31.2–39.8校准估算 ±12%
Gemma 4 31BQ4_K_M	运行流畅	估算 34.5 tok/s30.4–38.6校准估算 ±12%	运行流畅	估算 37.2 tok/s32.7–41.6校准估算 ±12%
Qwen3 30B-A3B (2507)Q4_K_M	运行流畅Qwen3 30B-A3B (2507) 在 RTX 3090 上的判定	估算 140.6 tok/s112.5–168.7校准估算 ±20%	运行流畅Qwen3 30B-A3B (2507) 在 RTX 4090 上的判定	估算 146.7 tok/s117.4–176.1校准估算 ±20%
Muse Glimmer 30BQ4_K_M	运行流畅	估算 37.6 tok/s33.1–42.1校准估算 ±12%	运行流畅	估算 40.5 tok/s35.6–45.4校准估算 ±12%
Granite 4.2 30BQ4_K_M	运行流畅	估算 33.0 tok/s29.0–36.9校准估算 ±12%	运行流畅	估算 35.5 tok/s31.3–39.8校准估算 ±12%
Qwen3.5 27BQ4_K_M	运行流畅	估算 37.1 tok/s32.7–41.6校准估算 ±12%	运行流畅	44.8 tok/s8k 估算 40.0 tok/s（35.2–44.8，校准估算 ±12%）实测（2 次，512/40k 上下文）
Qwen3.6 27BQ4_K_M	运行流畅	估算 37.7 tok/s33.2–42.3校准估算 ±12%	运行流畅	估算 40.7 tok/s35.8–45.5校准估算 ±12%
Qwen3.8 27BQ4_K_M	运行流畅	估算 36.4 tok/s32.1–40.8校准估算 ±12%	运行流畅	49.8 tok/s8k 估算 39.3 tok/s（34.5–44.0，校准估算 ±12%）实测（1 次，1k 上下文）
Gemma 3 27BQ4_K_M	运行流畅	估算 38.0 tok/s33.5–42.6校准估算 ±12%	运行流畅	估算 41.0 tok/s36.1–45.9校准估算 ±12%
Gemma 4 26B-A4BQ4_K_M	运行流畅	108.0 tok/s8k 估算 134.9 tok/s（108.0–161.9，校准估算 ±20%）实测（1 次，32k 上下文）	运行流畅	估算 142.6 tok/s114.1–171.1校准估算 ±20%
Mistral Small 3.2 24BQ4_K_M	运行流畅	估算 41.8 tok/s36.8–46.8校准估算 ±12%	运行流畅	估算 45.0 tok/s39.6–50.4校准估算 ±12%
gpt-oss-20bMXFP4	运行流畅gpt-oss-20b 在 RTX 3090 上的判定	162.0 tok/s8k 估算 201.1 tok/s（160.9–241.3，校准估算 ±20%）实测（1 次，2k 上下文）	运行流畅gpt-oss-20b 在 RTX 4090 上的判定	225.2 tok/s8k 估算 214.1 tok/s（171.3–256.9，校准估算 ±20%）实测（1 次，2k 上下文）
Kanana 1.5 15.7B-A3BQ4_K_M	运行流畅	估算 156.3 tok/s125.0–187.5校准估算 ±20%	运行流畅	估算 164.4 tok/s131.5–197.3校准估算 ±20%
Qwen3 14BQ4_K_M	运行流畅Qwen3 14B 在 RTX 3090 上的判定	估算 63.4 tok/s55.7–71.0校准估算 ±12%	运行流畅Qwen3 14B 在 RTX 4090 上的判定	估算 68.2 tok/s60.0–76.4校准估算 ±12%
DeepSeek R1 Distill Qwen 14BQ4_K_M	运行流畅	估算 61.8 tok/s54.4–69.2校准估算 ±12%	运行流畅	估算 66.6 tok/s58.6–74.5校准估算 ±12%
HyperCLOVA X SEED Think 14BQ4_K_M	运行流畅	估算 64.3 tok/s45.0–83.5理论估算 ±30%	运行流畅	估算 69.2 tok/s48.4–90.0理论估算 ±30%
Phi-4Q4_K_M	运行流畅	估算 61.1 tok/s53.7–68.4校准估算 ±12%	运行流畅	估算 65.8 tok/s57.9–73.7校准估算 ±12%
Gemma 3 12BQ4_K_M	运行流畅Gemma 3 12B 在 RTX 3090 上的判定	估算 83.6 tok/s73.6–93.6校准估算 ±12%	运行流畅Gemma 3 12B 在 RTX 4090 上的判定	估算 90.0 tok/s79.2–100.8校准估算 ±12%
Mellum2.1 12B-A2.5B ThinkingQ4_K_M	运行流畅	估算 241.5 tok/s193.2–289.9校准估算 ±20%	运行流畅	估算 252.0 tok/s201.6–302.5校准估算 ±20%
Gemma 4 12BQ4_K_M	运行流畅	估算 90.3 tok/s79.5–101.2校准估算 ±12%	运行流畅	估算 97.3 tok/s85.6–108.9校准估算 ±12%
Qwen3.5 9BQ4_K_M	运行流畅	估算 106.7 tok/s93.9–119.5校准估算 ±12%	运行流畅	127.5 tok/s8k 估算 114.9 tok/s（101.2–128.7，校准估算 ±12%）实测（2 次，512/40k 上下文）
K2-Horizon 7BQ4_K_M	运行流畅	估算 96.4 tok/s84.8–107.9校准估算 ±12%	运行流畅	估算 103.8 tok/s91.3–116.3校准估算 ±12%
Qwen3 8BQ4_K_M	运行流畅	估算 105.0 tok/s92.4–117.6校准估算 ±12%	运行流畅	估算 113.1 tok/s99.5–126.7校准估算 ±12%
DeepSeek R1 0528 Qwen3 8BQ4_K_M	运行流畅	估算 105.0 tok/s92.4–117.6校准估算 ±12%	运行流畅	估算 113.1 tok/s99.5–126.7校准估算 ±12%
DeepSeek R1 Distill Llama 8BQ4_K_M	运行流畅	估算 109.3 tok/s96.2–122.4校准估算 ±12%	运行流畅	估算 117.7 tok/s103.6–131.8校准估算 ±12%
Kanana 1.5 8BQ4_K_M	运行流畅	估算 109.3 tok/s96.2–122.4校准估算 ±12%	运行流畅	估算 117.7 tok/s103.6–131.8校准估算 ±12%
Llama 3.1 8BQ4_K_M	运行流畅Llama 3.1 8B 在 RTX 3090 上的判定	估算 109.3 tok/s96.2–122.4校准估算 ±12%	运行流畅Llama 3.1 8B 在 RTX 4090 上的判定	91.0 tok/s8k 估算 117.7 tok/s（103.6–131.8，校准估算 ±12%）实测（1 次，4k 上下文）
Gemma 4 E4BQ4_K_M	运行流畅	估算 161.4 tok/s113.0–209.9理论估算 ±30%	运行流畅	估算 171.0 tok/s119.7–222.3理论估算 ±30%
Ling-3.0 TinyQ4_K_M	运行流畅	估算 377.2 tok/s264.1–490.4理论估算 ±30%	运行流畅	估算 390.2 tok/s273.2–507.3理论估算 ±30%
Gemma 4 E2BQ4_K_M	运行流畅	估算 269.1 tok/s188.4–349.8理论估算 ±30%	运行流畅	估算 281.9 tok/s197.3–366.5理论估算 ±30%
Qwen3.5 4BQ4_K_M	运行流畅	估算 211.5 tok/s186.1–236.8校准估算 ±12%	运行流畅	估算 227.7 tok/s200.4–255.1校准估算 ±12%
Nanbeige4.2 3BQ4_K_M	运行流畅	估算 106.9 tok/s74.9–139.0理论估算 ±30%	运行流畅	估算 115.2 tok/s80.6–149.7理论估算 ±30%
Spark-X2.5 4BQ4_K_M	运行流畅	估算 225.8 tok/s198.7–252.9校准估算 ±12%	运行流畅	估算 243.1 tok/s214.0–272.3校准估算 ±12%
Llama 3.2 3BQ4_K_M	运行流畅	估算 221.4 tok/s194.8–248.0校准估算 ±12%	运行流畅	估算 238.4 tok/s209.8–267.0校准估算 ±12%
LFM2.5 2.6BQ4_K_M	运行流畅	估算 363.1 tok/s254.2–472.1理论估算 ±30%	运行流畅	估算 391.1 tok/s273.8–508.4理论估算 ±30%
MiniCPM5 2BQ4_K_M	运行流畅	估算 342.6 tok/s301.5–383.7校准估算 ±12%	运行流畅	估算 369.0 tok/s324.7–413.3校准估算 ±12%
HyperCLOVA X SEED 1.5BQ4_K_M	运行流畅	估算 360.9 tok/s317.6–404.2校准估算 ±12%	运行流畅	估算 388.7 tok/s342.1–435.3校准估算 ±12%
EXAONE 4.0 1.2BQ4_K_M	运行流畅	估算 498.9 tok/s439.0–558.8校准估算 ±12%	运行流畅	估算 537.3 tok/s472.8–601.7校准估算 ±12%
Llama 3.2 1BQ4_K_M	运行流畅	估算 607.5 tok/s534.6–680.5校准估算 ±12%	运行流畅	估算 654.3 tok/s575.8–732.8校准估算 ±12%
MiniCPM5 1BQ4_K_M	运行流畅	估算 735.1 tok/s646.9–823.3校准估算 ±12%	运行流畅	估算 791.6 tok/s696.6–886.6校准估算 ±12%
K2-Horizon MoVA 36B-A4BQ4_K_M	运行良好	估算 79.2 tok/s55.5–103.0理论估算 ±30%	运行良好	估算 82.6 tok/s57.8–107.4理论估算 ±30%
Nemotron 3.5 Lightning 30B-A3BQ4_K_M	运行良好	估算 122.0 tok/s85.4–158.7理论估算 ±30%	运行良好	估算 126.5 tok/s88.5–164.4理论估算 ±30%
GLM-5.3 FlashQ4_K_M	无法运行	—	无法运行	—
DeepSeek V4 Flash 0731MXFP4	无法运行	—	无法运行	—
Solar Open 2 250BIQ4_XS	无法运行	—	无法运行	—
Ling-3.0 FlashQ4_K_M	无法运行	—	无法运行	—
Qwen3.5 122B-A10BQ4_K_M	无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好	估算 41.3 tok/s28.9–53.6理论估算 ±30%	无法运行改用 UD-Q2_K_XL（质量损失大）：运行良好	估算 42.2 tok/s29.5–54.8理论估算 ±30%
Laguna S 2.1Q4_K_M	无法运行	—	无法运行	—
gpt-oss-120bMXFP4	无法运行gpt-oss-120b 在 RTX 3090 上的判定	—	无法运行gpt-oss-120b 在 RTX 4090 上的判定	—
Solar Open 100BQ4_K_M	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 28.4 tok/s19.9–36.9理论估算 ±30%	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 28.9 tok/s20.2–37.5理论估算 ±30%
Kolibri 1Q4_K_M	无法运行改用 IQ4_XS：运行良好	估算 68.5 tok/s47.9–89.0理论估算 ±30%	无法运行改用 IQ4_XS：运行良好	估算 70.1 tok/s49.0–91.1理论估算 ±30%
Llama 3.3 70BQ4_K_M	无法运行改用 IQ4_XS：运行较慢	估算 2.2 tok/s1.7–2.6校准估算 ±20%	无法运行改用 IQ4_XS：运行较慢	估算 2.2 tok/s1.8–2.6校准估算 ±20%

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

公开基准测试

RTX 3090 的实测结果

RTX 3090 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
llama-2-7b	Q4_0	llama.cpp	512	5,175.0	158.2	—	github.com	2025-08-01
gpt-oss-20b	MXFP4	llama.cpp	2k	5,143.0	162.0	—	github.com	2025-08-20
Qwen3 8B	Q4_K_XL	llama.cpp	16k	—	87.5	—	hardware-corner.net	2026-08-09
Qwen3 30B-A3B (2507)	Q4_K_XL	llama.cpp	16k	—	113.8	—	hardware-corner.net	2026-08-09
Gemma 4 26B-A4B	Q4_K_M	ollama	32k	—	108.0	FA off	github.com	2026-04-07
Qwen3 8B	Q4_K_XL	llama.cpp	4k	4,050.0	115.3	CUDA	hardware-corner.net	2025-12-09
Qwen3 32B	Q4_K_XL	llama.cpp	4k	1,088.0	35.1	CUDA	hardware-corner.net	2025-12-09

RTX 4090 的实测结果

RTX 4090 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
llama-2-7b	Q4_0	llama.cpp	512	11,993.0	186.2	—	github.com	2025-08-06
gpt-oss-20b	MXFP4	llama.cpp	2k	8,078.0	225.2	—	github.com	2025-08-20
Qwen3 8B	Q4_K_XL	llama.cpp	16k	—	104.3	—	hardware-corner.net	2026-08-09
Qwen3 30B-A3B (2507)	Q4_K_XL	llama.cpp	16k	—	139.7	—	hardware-corner.net	2026-08-09
Llama 3.1 8B	Q4_K_M	llama.cpp	4k	6,697.0	91.0	ctx-weighted	localscore.ai	2026-08-09
Qwen3.8 27B	Q4_K_M	llama.cpp	1k	3,073.0	49.8	CUDA	github.com	2026-09-12
Qwen3.5 9B	Q4_K_M	ollama	40k	—	133.0	—	github.com	2026-10-12
Qwen3.5 27B	Q4_K_M	ollama	40k	—	47.6	—	github.com	2026-10-12
Qwen3.5 9B	Q4_K_M	llama.cpp	512	—	122.0	—	github.com	2026-10-14
Qwen3.5 27B	Q4_K_M	llama.cpp	512	—	42.0	—	github.com	2026-10-14
Qwen3 8B	Q4_K_XL	llama.cpp	4k	9,251.0	141.3	CUDA	hardware-corner.net	2026-03-01
Qwen3 32B	Q4_K_XL	llama.cpp	4k	2,448.0	39.6	CUDA	hardware-corner.net	2026-03-01
Qwen3 32B	Q4_K_M	llama.cpp	512	2,302.0	42.5	Vulkan	github.com	2025-12-09

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

常见问题

运行本地大模型时，RTX 3090 和 RTX 4090 哪个更快？

RTX 4090 的文本生成速度约为 RTX 3090 的 1.1 倍（基于 46 个在两者上都能以 Q4_K_M 或最接近的可用量化完全装入显存/内存的模型，取我们估算值的中位数）。Qwen3.5 35B-A3B Q4_K_M 的速度：RTX 3090 估算 148.8 tok/s（119.1–178.6，校准估算 ±20%）；RTX 4090 估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）。

两者各自能完全装入显存/内存的最大模型是什么？

RTX 3090 能把 Qwen3.5 35B-A3B Q4_K_M（22.63 GB 文件）完整装入 24 GB，估算 148.8 tok/s（119.1–178.6，校准估算 ±20%）。 RTX 4090 能把 Qwen3.5 35B-A3B Q4_K_M（22.63 GB 文件）完整装入 24 GB，估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）。

两者上各有多少本地大模型能运行良好？

以 Q4_K_M、8k 上下文计，在 58 个已收录的模型中，RTX 3090：运行流畅 44 个、运行良好 4 个、运行较慢 0 个、无法运行 10 个；RTX 4090：运行流畅 46 个、运行良好 2 个、运行较慢 0 个、无法运行 10 个。有 2 个模型的判定不同。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。

速度