GeForce RTX 4070 能运行 Qwen3 30B-A3B (2507) 吗？

运行良好Q4_K_M 把注意力部分和 24 层的专家放在 GPU 上（11.6 GB），其余专家放在 9.0 GB 系统内存中：运行良好，估算 46.8 tok/s（32.8–60.9，理论估算 ±30%）。

12 GB 显存 · 504.0 GB/s · FP16 29.1 TFLOPS。按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。 GeForce RTX 4070 Super 的内存配置相同（12 GB，504.0 GB/s），因此生成速度估算相同，只有提示词处理速度不同。

GeForce RTX 4070 上 Qwen3 30B-A3B (2507) 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化	文件大小	判定	速度	显存/内存	运行方式	备注
Q2_K	11.26 GB	运行良好	估算 92.3 tok/s64.6–120.0理论估算 ±30%	11.6 / 12.0 GB + 1.6 GB 内存	MoE 专家放在内存	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
IQ4_XS	16.38 GB	运行良好	估算 54.2 tok/s38.0–70.5理论估算 ±30%	11.4 / 12.0 GB + 6.9 GB 内存	MoE 专家放在内存	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Q4_K_M基准	18.56 GB	运行良好	估算 46.8 tok/s32.8–60.9理论估算 ±30%	11.6 / 12.0 GB + 9.0 GB 内存	MoE 专家放在内存	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Q8_0	32.48 GB	运行良好	估算 23.5 tok/s16.4–30.5理论估算 ±30%	11.0 / 12.0 GB + 23.4 GB 内存	MoE 专家放在内存	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。

显存

系统内存

权重: 9.6 GB
KV 缓存: 0.8 GB
计算缓冲区: 0.6 GB
OS 预留: 0.6 GB
空闲: 0.4 GB
系统内存中的权重: 9.0 GB

上下文长度与 KV 缓存

上下文：8k

KV 缓存f16q8_0q4_0

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文	KV f16	KV q8_0	KV q4_0
4k	19.3 GB运行良好估算 50.6 tok/s35.4–65.7理论估算 ±30%	19.1 GB运行良好估算 52.0 tok/s36.4–67.6理论估算 ±30%	19.0 GB运行良好估算 54.0 tok/s37.8–70.2理论估算 ±30%
8k	19.8 GB运行良好估算 46.8 tok/s32.8–60.9理论估算 ±30%	19.4 GB运行良好估算 50.4 tok/s35.3–65.5理论估算 ±30%	19.2 GB运行良好估算 51.9 tok/s36.3–67.4理论估算 ±30%
16k	20.6 GB运行良好估算 40.0 tok/s28.0–52.0理论估算 ±30%	19.9 GB运行良好估算 45.5 tok/s31.9–59.2理论估算 ±30%	19.5 GB运行良好估算 49.1 tok/s34.3–63.8理论估算 ±30%
32k	22.4 GB运行良好估算 31.5 tok/s22.0–40.9理论估算 ±30%	20.9 GB运行良好估算 39.5 tok/s27.7–51.4理论估算 ±30%	20.1 GB运行良好估算 45.2 tok/s31.6–58.8理论估算 ±30%
64k	25.9 GB运行良好估算 22.3 tok/s15.6–28.9理论估算 ±30%	22.9 GB运行良好估算 30.4 tok/s21.3–39.6理论估算 ±30%	21.3 GB运行良好估算 37.7 tok/s26.4–49.0理论估算 ±30%
128k	33.0 GB装不下	27.0 GB运行良好估算 21.0 tok/s14.7–27.4理论估算 ±30%	23.7 GB运行良好估算 29.1 tok/s20.4–37.8理论估算 ±30%
256k	47.0 GB装不下	35.1 GB装不下	28.6 GB运行较慢估算 19.8 tok/s13.8–25.7理论估算 ±30%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 64k，q8_0 为 128k。

估算速度

生成: 估算 46.8 tok/s（32.8–60.9，理论估算 ±30%）
提示词处理: 只有整个模型都在 GPU 上运行时，才提供提示词处理速度估算。

判定依据: 未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

在 GeForce RTX 4070 上同样运行良好的更大模型
运行良好
Qwen3.5 35B-A3B: 运行良好，估算 57.1 tok/s（40.0–74.3，理论估算 ±30%）
只把专家放在系统内存
--n-cpu-moe 24 只把前 24 层的专家放在系统内存中，其余全部放在 GPU 上（本估算即按此计算）。

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf（18.56 GB），来自 unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF。

llama.cpp

llama-server -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M -c 8192 -ngl all --n-cpu-moe 24 -fa on

-ngl all 把所有层都加载到 GPU 上。
--n-cpu-moe 24 把前 24 层的专家放在系统内存中；其余 24 个含专家的层把专家留在 GPU 上。本估算也按同样的划分计算。
如果加载时出现内存不足（out of memory）错误，把该值调高到 25；还不够就调到 26。
如果省略 -ngl 和 --n-cpu-moe，llama.cpp b7410（2025 年 12 月）及更新版本会自行以类似方式拆分模型。
-fa on 开启 Flash Attention（量化 KV 缓存时需要）。
--cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.43 GB。

Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M

在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
Ollama 0.30 及更新版本会自动把一部分专家放在系统内存中，以适应你的显存。旧版本则按整层拆分，速度要慢得多。
/set parameter num_ctx 8192

常见问题