CanRun

GeForce RTX 3060 12GB 能运行 Qwen3 30B-A3B (2507) 吗？

运行良好Q4_K_M 把注意力部分和 24 层的专家放在 GPU 上（11.6 GB），其余专家放在 9.0 GB 系统内存中：运行良好，估算 42.0 tok/s（29.4–54.6，理论估算 ±30%）。

开放许可证 · Apache-2.0社区 GGUF · unsloth

12 GB 显存 · 360.0 GB/s · FP16 12.7 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。

GeForce RTX 3060 12GB 上 Qwen3 30B-A3B (2507) 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化文件大小判定速度显存/内存运行方式备注
Q2_K11.26 GB运行良好
估算 76.2 tok/s53.3–99.0理论估算 ±30%
11.6 / 12.0 GB + 1.6 GB 内存MoE 专家放在内存未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
IQ4_XS16.38 GB运行良好
估算 47.9 tok/s33.5–62.3理论估算 ±30%
11.4 / 12.0 GB + 6.9 GB 内存MoE 专家放在内存未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Q4_K_M基准18.56 GB运行良好
估算 42.0 tok/s29.4–54.6理论估算 ±30%
11.6 / 12.0 GB + 9.0 GB 内存MoE 专家放在内存未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Q8_032.48 GB运行良好
估算 21.9 tok/s15.3–28.5理论估算 ±30%
11.0 / 12.0 GB + 23.4 GB 内存MoE 专家放在内存未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。
显存
系统内存
权重
9.6 GB
KV 缓存
0.8 GB
计算缓冲区
0.6 GB
OS 预留
0.6 GB
空闲
0.4 GB
系统内存中的权重
9.0 GB

上下文长度与 KV 缓存

KV 缓存

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文KV f16KV q8_0KV q4_0
4k
19.3 GB运行良好
估算 45.9 tok/s32.1–59.6理论估算 ±30%
19.1 GB运行良好
估算 47.5 tok/s33.2–61.7理论估算 ±30%
19.0 GB运行良好
估算 49.4 tok/s34.6–64.2理论估算 ±30%
8k
19.8 GB运行良好
估算 42.0 tok/s29.4–54.6理论估算 ±30%
19.4 GB运行良好
估算 45.6 tok/s31.9–59.3理论估算 ±30%
19.2 GB运行良好
估算 47.3 tok/s33.1–61.6理论估算 ±30%
16k
20.6 GB运行良好
估算 35.4 tok/s24.8–46.0理论估算 ±30%
19.9 GB运行良好
估算 40.9 tok/s28.6–53.1理论估算 ±30%
19.5 GB运行良好
估算 44.5 tok/s31.2–57.9理论估算 ±30%
32k
22.4 GB运行良好
估算 27.2 tok/s19.0–35.4理论估算 ±30%
20.9 GB运行良好
估算 34.8 tok/s24.4–45.3理论估算 ±30%
20.1 GB运行良好
估算 40.5 tok/s28.3–52.6理论估算 ±30%
64k
25.9 GB运行较慢
估算 18.8 tok/s13.1–24.4理论估算 ±30%
22.9 GB运行良好
估算 26.3 tok/s18.4–34.1理论估算 ±30%
21.3 GB运行良好
估算 33.3 tok/s23.3–43.3理论估算 ±30%
128k
33.0 GB装不下
27.0 GB运行较慢
估算 17.7 tok/s12.4–23.1理论估算 ±30%
23.7 GB运行良好
估算 25.1 tok/s17.6–32.7理论估算 ±30%
256k
47.0 GB装不下
35.1 GB装不下
28.6 GB运行较慢
估算 16.7 tok/s11.7–21.7理论估算 ±30%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 32k，q8_0 为 64k。

估算速度

生成
估算 42.0 tok/s（29.4–54.6，理论估算 ±30%）
提示词处理
只有整个模型都在 GPU 上运行时，才提供提示词处理速度估算。

判定依据: 未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf（18.56 GB），来自 unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF。

llama.cpp
llama-server -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M -c 8192 -ngl all --n-cpu-moe 24 -fa on
  • -ngl all 把所有层都加载到 GPU 上。
  • --n-cpu-moe 24 把前 24 层的专家放在系统内存中；其余 24 个含专家的层把专家留在 GPU 上。本估算也按同样的划分计算。
  • 如果加载时出现内存不足（out of memory）错误，把该值调高到 25；还不够就调到 26。
  • 如果省略 -ngl 和 --n-cpu-moe，llama.cpp b7410（2025 年 12 月）及更新版本会自行以类似方式拆分模型。
  • -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
  • --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.43 GB。
Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M
  • 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
  • Ollama 0.30 及更新版本会自动把一部分专家放在系统内存中，以适应你的显存。旧版本则按整层拆分，速度要慢得多。
  • /set parameter num_ctx 8192

相关页面

GeForce RTX 3060 12GB 上的其他模型

其他硬件上的 Qwen3 30B-A3B (2507)

常见问题

GeForce RTX 3060 12GB 能运行 Qwen3 30B-A3B (2507) 吗？

Q4_K_M 把注意力部分和 24 层的专家放在 GPU 上（11.6 GB），其余专家放在 9.0 GB 系统内存中：运行良好，估算 42.0 tok/s（29.4–54.6，理论估算 ±30%）。Q4_K_M 在 8k 上下文下需要 19.8 GB；这套配置有 11.4 GB 可用内存和 28.0 GB 空闲系统内存。

Qwen3 30B-A3B (2507) 在 GeForce RTX 3060 12GB 上最多能用多长的上下文？

在 Q4_K_M 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 32k（KV 3.2 GB），q8_0 KV 缓存为 64k（KV 3.4 GB）。该模型最多支持 256k 上下文。

该用哪个量化？速度如何？

Q4_K_M（18.56 GB）是推荐的平衡之选：运行良好，估算 42.0 tok/s（29.4–54.6，理论估算 ±30%）。仍能达到“运行良好”的已收录最大文件是 Q8_0（32.48 GB），估算 21.9 tok/s（15.3–28.5，理论估算 ±30%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。