GeForce RTX 4090 能运行 Qwen3 14B 吗？

运行流畅Q4_K_M 可装入显存，还剩 12.9 GB：运行流畅，估算 68.2 tok/s（60.0–76.4，校准估算 ±12%）。

开放许可证 · Apache-2.0 社区 GGUF · unsloth思考模式

24 GB 显存 · 1,008.0 GB/s · FP16 82.6 TFLOPS。按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。 GeForce RTX 3090 Ti 的内存配置相同（24 GB，1,008.0 GB/s），因此生成速度估算相同，只有提示词处理速度不同。提示词处理方面，这里是约 5,955 tok/s（3,573–8,337，粗略估算 ±40%），GeForce RTX 3090 Ti 是约 2,884 tok/s（1,730–4,037，粗略估算 ±40%）。

GeForce RTX 4090 上 Qwen3 14B 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化	文件大小	判定	速度	显存/内存	运行方式	备注
Q2_K	5.75 GB	运行流畅	估算 99.5 tok/s87.6–111.4校准估算 ±12%	8.0 / 24.0 GB	全部载入显卡	—
IQ4_XS	8.14 GB	运行流畅	估算 74.4 tok/s65.5–83.3校准估算 ±12%	10.2 / 24.0 GB	全部载入显卡	—
Q4_K_M基准	9.00 GB	运行流畅	估算 68.2 tok/s60.0–76.4校准估算 ±12%	11.1 / 24.0 GB	全部载入显卡	—
Q8_0	15.70 GB	运行流畅	估算 41.4 tok/s36.4–46.4校准估算 ±12%	17.4 / 24.0 GB	全部载入显卡	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。

显存

权重: 8.6 GB
KV 缓存: 1.3 GB
计算缓冲区: 0.6 GB
OS 预留: 0.6 GB
空闲: 12.9 GB

9.00 GB 文件中有 0.44 GB 不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。

上下文长度与 KV 缓存

上下文：8k

KV 缓存f16q8_0q4_0

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文	KV f16	KV q8_0	KV q4_0
4k	9.8 GB运行流畅估算 73.0 tok/s64.2–81.7校准估算 ±12%	9.5 GB运行流畅估算 75.4 tok/s66.3–84.4校准估算 ±12%	9.3 GB运行流畅估算 76.8 tok/s67.6–86.0校准估算 ±12%
8k	10.5 GB运行流畅估算 68.2 tok/s60.0–76.4校准估算 ±12%	9.9 GB运行流畅估算 72.6 tok/s63.9–81.3校准估算 ±12%	9.5 GB运行流畅估算 75.2 tok/s66.2–84.2校准估算 ±12%
16k	11.9 GB运行流畅估算 60.4 tok/s53.1–67.6校准估算 ±12%	10.6 GB运行流畅估算 67.6 tok/s59.5–75.7校准估算 ±12%	10.0 GB运行流畅估算 72.3 tok/s63.6–80.9校准估算 ±12%
32k	14.7 GB运行流畅估算 49.1 tok/s43.2–55.0校准估算 ±12%	12.2 GB运行流畅估算 59.4 tok/s52.3–66.6校准估算 ±12%	10.9 GB运行流畅估算 67.0 tok/s59.0–75.0校准估算 ±12%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k，q8_0 为 32k。

估算速度

生成: 估算 68.2 tok/s（60.0–76.4，校准估算 ±12%）
提示词处理: 约 5,955 tok/s（3,573–8,337，粗略估算 ±40%）

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

在 GeForce RTX 4090 上同样运行良好的更大模型
运行流畅
Qwen3.5 35B-A3B: 运行流畅，估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）
仍能运行流畅的更大量化
运行流畅
Q8_0（15.70 GB）：运行流畅，估算 41.4 tok/s（36.4–46.4，校准估算 ±12%）

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-14B-Q4_K_M.gguf（9.00 GB），来自 unsloth/Qwen3-14B-GGUF。

llama.cpp

llama-server -hf unsloth/Qwen3-14B-GGUF:Q4_K_M -c 8192 -ngl all -fa on

-ngl all 把所有层都加载到 GPU 上。
-fa on 开启 Flash Attention（量化 KV 缓存时需要）。
--cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.72 GB。

Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-14B-GGUF:Q4_K_M

在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
/set parameter num_ctx 8192

常见问题