GeForce RTX 3060 12GB 能运行 Gemma 3 12B 吗？

运行流畅Q4_K_M 可装入显存，还剩 3.0 GB：运行流畅，估算 32.2 tok/s（28.3–36.0，校准估算 ±12%）。

自定义许可证 · Gemma，商用前请先查看条款社区 GGUF · bartowski

12 GB 显存 · 360.0 GB/s · FP16 12.7 TFLOPS。按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。

GeForce RTX 3060 12GB 上 Gemma 3 12B 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化	文件大小	判定	速度	显存/内存	运行方式	备注
Q2_K	4.77 GB	运行流畅	估算 47.5 tok/s41.8–53.2校准估算 ±12%	6.5 / 12.0 GB	全部载入显卡	—
IQ4_XS	6.55 GB	运行流畅	估算 35.6 tok/s31.3–39.8校准估算 ±12%	8.3 / 12.0 GB	全部载入显卡	—
Q4_K_M基准	7.30 GB	运行流畅	估算 32.2 tok/s28.3–36.0校准估算 ±12%	9.0 / 12.0 GB	全部载入显卡	—
Q8_0	12.51 GB	运行较慢	估算 10.6 tok/s8.5–12.7校准估算 ±20%	12.0 / 12.0 GB + 2.2 GB 内存	部分卸载	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢”

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。

显存

权重: 7.3 GB
KV 缓存: 0.5 GB
计算缓冲区: 0.6 GB
OS 预留: 0.6 GB
空闲: 3.0 GB

上下文长度与 KV 缓存

上下文：8k

KV 缓存f16q8_0q4_0

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文	KV f16	KV q8_0	KV q4_0
4k	8.1 GB运行流畅估算 33.3 tok/s29.3–37.3校准估算 ±12%	8.0 GB运行流畅估算 33.9 tok/s29.8–37.9校准估算 ±12%	7.9 GB运行流畅估算 34.2 tok/s30.1–38.3校准估算 ±12%
8k	8.4 GB运行流畅估算 32.2 tok/s28.3–36.0校准估算 ±12%	8.2 GB运行流畅估算 33.2 tok/s29.2–37.2校准估算 ±12%	8.0 GB运行流畅估算 33.8 tok/s29.8–37.9校准估算 ±12%
16k	9.0 GB运行流畅估算 30.1 tok/s26.5–33.7校准估算 ±12%	8.5 GB运行流畅估算 32.0 tok/s28.2–35.8校准估算 ±12%	8.2 GB运行流畅估算 33.1 tok/s29.2–37.1校准估算 ±12%
32k	10.2 GB运行流畅估算 26.7 tok/s23.5–29.9校准估算 ±12%	9.2 GB运行流畅估算 29.8 tok/s26.2–33.4校准估算 ±12%	8.7 GB运行流畅估算 31.9 tok/s28.0–35.7校准估算 ±12%
64k	12.7 GB运行较慢估算 11.9 tok/s9.6–14.3校准估算 ±20%	10.7 GB运行流畅估算 26.3 tok/s23.1–29.4校准估算 ±12%	9.6 GB运行流畅估算 29.6 tok/s26.0–33.1校准估算 ±12%
128k	17.6 GB运行较慢估算 3.2 tok/s2.6–3.9校准估算 ±20%	13.6 GB运行较慢估算 8.9 tok/s7.1–10.6校准估算 ±20%	11.4 GB运行良好估算 25.1 tok/s20.1–30.1校准估算 ±20%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k，q8_0 为 64k。

估算速度

生成: 估算 32.2 tok/s（28.3–36.0，校准估算 ±12%）
提示词处理: 约 1,105 tok/s（663–1,547，粗略估算 ±40%）

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

在 GeForce RTX 3060 12GB 上同样运行良好的更大模型
运行良好
Qwen3.5 35B-A3B: 运行良好，估算 49.4 tok/s（34.6–64.2，理论估算 ±30%）

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：google_gemma-3-12b-it-Q4_K_M.gguf（7.30 GB），来自 bartowski/google_gemma-3-12b-it-GGUF。

llama.cpp

llama-server -hf bartowski/google_gemma-3-12b-it-GGUF:Q4_K_M -c 8192 -ngl all -fa on

-ngl all 把所有层都加载到 GPU 上。
-fa on 开启 Flash Attention（量化 KV 缓存时需要）。
--cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.29 GB。

Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/bartowski/google_gemma-3-12b-it-GGUF:Q4_K_M

在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
/set parameter num_ctx 8192

常见问题