CanRun

GeForce RTX 5090 能运行 Qwen3 14B 吗？

运行流畅Q4_K_M 可装入显存，还剩 20.9 GB：运行流畅，估算 121.3 tok/s（106.7–135.8，校准估算 ±12%）。

开放许可证 · Apache-2.0社区 GGUF · unsloth思考模式

32 GB 显存 · 1,792.0 GB/s · FP16 104.8 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。

GeForce RTX 5090 上 Qwen3 14B 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化文件大小判定速度显存/内存运行方式备注
Q2_K5.75 GB运行流畅
估算 176.9 tok/s155.6–198.1校准估算 ±12%
8.0 / 32.0 GB全部载入显卡—
IQ4_XS8.14 GB运行流畅
估算 132.3 tok/s116.4–148.2校准估算 ±12%
10.2 / 32.0 GB全部载入显卡—
Q4_K_M基准9.00 GB运行流畅
估算 121.3 tok/s106.7–135.8校准估算 ±12%
11.1 / 32.0 GB全部载入显卡—
Q8_015.70 GB运行流畅
估算 73.6 tok/s64.8–82.4校准估算 ±12%
17.4 / 32.0 GB全部载入显卡—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。
显存
权重
8.6 GB
KV 缓存
1.3 GB
计算缓冲区
0.6 GB
OS 预留
0.6 GB
空闲
20.9 GB

9.00 GB 文件中有 0.44 GB 不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。

上下文长度与 KV 缓存

KV 缓存

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文KV f16KV q8_0KV q4_0
4k
9.8 GB运行流畅
估算 129.7 tok/s114.1–145.3校准估算 ±12%
9.5 GB运行流畅
估算 134.0 tok/s117.9–150.1校准估算 ±12%
9.3 GB运行流畅
估算 136.5 tok/s120.1–152.9校准估算 ±12%
8k
10.5 GB运行流畅
估算 121.3 tok/s106.7–135.8校准估算 ±12%
9.9 GB运行流畅
估算 129.1 tok/s113.6–144.6校准估算 ±12%
9.5 GB运行流畅
估算 133.7 tok/s117.7–149.7校准估算 ±12%
16k
11.9 GB运行流畅
估算 107.4 tok/s94.5–120.2校准估算 ±12%
10.6 GB运行流畅
估算 120.2 tok/s105.8–134.6校准估算 ±12%
10.0 GB运行流畅
估算 128.5 tok/s113.0–143.9校准估算 ±12%
32k
14.7 GB运行流畅
估算 87.3 tok/s76.8–97.8校准估算 ±12%
12.2 GB运行流畅
估算 105.7 tok/s93.0–118.3校准估算 ±12%
10.9 GB运行流畅
估算 119.1 tok/s104.8–133.4校准估算 ±12%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k，q8_0 为 32k。

估算速度

生成
估算 121.3 tok/s（106.7–135.8，校准估算 ±12%）
提示词处理
约 7,556 tok/s（4,533–10,578，粗略估算 ±40%）

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-14B-Q4_K_M.gguf（9.00 GB），来自 unsloth/Qwen3-14B-GGUF。

llama.cpp
llama-server -hf unsloth/Qwen3-14B-GGUF:Q4_K_M -c 8192 -ngl all -fa on
  • -ngl all 把所有层都加载到 GPU 上。
  • -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
  • --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.72 GB。
Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-14B-GGUF:Q4_K_M
  • 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
  • /set parameter num_ctx 8192

相关页面

GeForce RTX 5090 上的其他模型

其他硬件上的 Qwen3 14B

常见问题

GeForce RTX 5090 能运行 Qwen3 14B 吗？

Q4_K_M 可装入显存，还剩 20.9 GB：运行流畅，估算 121.3 tok/s（106.7–135.8，校准估算 ±12%）。Q4_K_M 在 8k 上下文下需要 10.5 GB；这套配置有 31.4 GB 可用内存和 28.0 GB 空闲系统内存。

Qwen3 14B 在 GeForce RTX 5090 上最多能用多长的上下文？

在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k（KV 5.4 GB），q8_0 KV 缓存为 32k（KV 2.9 GB）。该模型最多支持 32k 上下文。

该用哪个量化？速度如何？

Q4_K_M（9.00 GB）是推荐的平衡之选：运行流畅，估算 121.3 tok/s（106.7–135.8，校准估算 ±12%）。仍能达到“运行流畅”的已收录最大文件是 Q8_0（15.70 GB），估算 73.6 tok/s（64.8–82.4，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。