CanRun

GeForce RTX 3060 12GB 能运行 Qwen3 14B 吗？

运行良好Q4_K_M 可装入显存，还剩 0.9 GB：运行良好，估算 24.4 tok/s（21.4–27.3，校准估算 ±12%）。若降到 Q2_K（质量损失大），可达到“运行流畅”，估算 35.5 tok/s（31.3–39.8，校准估算 ±12%）。

开放许可证 · Apache-2.0社区 GGUF · unsloth思考模式

12 GB 显存 · 360.0 GB/s · FP16 12.7 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。

GeForce RTX 3060 12GB 上 Qwen3 14B 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化文件大小判定速度显存/内存运行方式备注
Q2_K5.75 GB运行流畅
估算 35.5 tok/s31.3–39.8校准估算 ±12%
8.0 / 12.0 GB全部载入显卡—
IQ4_XS8.14 GB运行良好
估算 26.6 tok/s23.4–29.8校准估算 ±12%
10.2 / 12.0 GB全部载入显卡—
Q4_K_M基准9.00 GB运行良好
估算 24.4 tok/s21.4–27.3校准估算 ±12%
11.1 / 12.0 GB全部载入显卡—
Q8_015.70 GB运行较慢
估算 5.2 tok/s4.2–6.3校准估算 ±20%
12.0 / 12.0 GB + 6.2 GB 内存部分卸载—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。
显存
权重
8.6 GB
KV 缓存
1.3 GB
计算缓冲区
0.6 GB
OS 预留
0.6 GB
空闲
0.9 GB

9.00 GB 文件中有 0.44 GB 不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。

上下文长度与 KV 缓存

KV 缓存

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文KV f16KV q8_0KV q4_0
4k
9.8 GB运行良好
估算 26.1 tok/s22.9–29.2校准估算 ±12%
9.5 GB运行良好
估算 26.9 tok/s23.7–30.2校准估算 ±12%
9.3 GB运行良好
估算 27.4 tok/s24.1–30.7校准估算 ±12%
8k
10.5 GB运行良好
估算 24.4 tok/s21.4–27.3校准估算 ±12%
9.9 GB运行良好
估算 25.9 tok/s22.8–29.0校准估算 ±12%
9.5 GB运行良好
估算 26.9 tok/s23.6–30.1校准估算 ±12%
16k
11.9 GB运行较慢
估算 14.6 tok/s11.7–17.5校准估算 ±20%
10.6 GB运行良好
估算 24.1 tok/s21.2–27.0校准估算 ±12%
10.0 GB运行良好
估算 25.8 tok/s22.7–28.9校准估算 ±12%
32k
14.7 GB运行较慢
估算 6.0 tok/s4.8–7.2校准估算 ±20%
12.2 GB运行较慢
估算 12.8 tok/s10.3–15.4校准估算 ±20%
10.9 GB运行良好
估算 23.9 tok/s21.1–26.8校准估算 ±12%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 8k，q8_0 为 16k。

估算速度

生成
估算 24.4 tok/s（21.4–27.3，校准估算 ±12%）
提示词处理
约 916 tok/s（549–1,282，粗略估算 ±40%）

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-14B-Q4_K_M.gguf（9.00 GB），来自 unsloth/Qwen3-14B-GGUF。

llama.cpp
llama-server -hf unsloth/Qwen3-14B-GGUF:Q4_K_M -c 8192 -ngl all -fa on
  • -ngl all 把所有层都加载到 GPU 上。
  • -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
  • --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.72 GB。
Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-14B-GGUF:Q4_K_M
  • 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
  • /set parameter num_ctx 8192

相关页面

GeForce RTX 3060 12GB 上的其他模型

其他硬件上的 Qwen3 14B

常见问题

GeForce RTX 3060 12GB 能运行 Qwen3 14B 吗？

Q4_K_M 可装入显存，还剩 0.9 GB：运行良好，估算 24.4 tok/s（21.4–27.3，校准估算 ±12%）。若降到 Q2_K（质量损失大），可达到“运行流畅”，估算 35.5 tok/s（31.3–39.8，校准估算 ±12%）。Q4_K_M 在 8k 上下文下需要 10.5 GB；这套配置有 11.4 GB 可用内存和 28.0 GB 空闲系统内存。

Qwen3 14B 在 GeForce RTX 3060 12GB 上最多能用多长的上下文？

在 Q4_K_M 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 8k（KV 1.3 GB），q8_0 KV 缓存为 16k（KV 1.4 GB）。该模型最多支持 32k 上下文。

该用哪个量化？速度如何？

Q4_K_M（9.00 GB）是推荐的平衡之选：运行良好，估算 24.4 tok/s（21.4–27.3，校准估算 ±12%）。它也是达到这一判定的已收录最大文件。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。