GeForce RTX 4090 能运行 Qwen3 30B-A3B (2507) 吗？
运行流畅Q4_K_M 可装入显存，还剩 3.6 GB：运行流畅，估算 146.7 tok/s（117.4–176.1，校准估算 ±20%）。
24 GB 显存 · 1,008.0 GB/s · FP16 82.6 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。 GeForce RTX 3090 Ti 的内存配置相同（24 GB，1,008.0 GB/s），因此生成速度估算相同，只有提示词处理速度不同。提示词处理方面，这里是约 10,813 tok/s（6,488–15,138，粗略估算 ±40%），GeForce RTX 3090 Ti 是约 5,236 tok/s（3,142–7,331，粗略估算 ±40%）。
GeForce RTX 4090 上 Qwen3 30B-A3B (2507) 的全部量化
| 量化 | 文件大小 | 判定 | 速度 | 显存/内存 | 运行方式 | 备注 |
|---|---|---|---|---|---|---|
| Q2_K | 11.26 GB | 运行流畅 | 估算 167.7 tok/s134.2–201.3校准估算 ±20% | 13.1 / 24.0 GB | 全部载入显卡 | — |
| IQ4_XS | 16.38 GB | 运行流畅 | 估算 151.6 tok/s121.3–181.9校准估算 ±20% | 18.2 / 24.0 GB | 全部载入显卡 | — |
| Q4_K_M基准 | 18.56 GB | 运行流畅 | 估算 146.7 tok/s117.4–176.1校准估算 ±20% | 20.4 / 24.0 GB | 全部载入显卡 | — |
| Q8_0 | 32.48 GB | 运行良好 | 估算 43.5 tok/s30.5–56.6理论估算 ±30% | 23.2 / 24.0 GB + 11.2 GB 内存 | MoE 专家放在内存 | 未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 |
Q4_K_M 下的内存占用
- 权重
- 18.4 GB
- KV 缓存
- 0.8 GB
- 计算缓冲区
- 0.6 GB
- OS 预留
- 0.6 GB
- 空闲
- 3.6 GB
18.56 GB 文件中有 0.19 GB 不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。
上下文长度与 KV 缓存
| 上下文 | KV f16 | KV q8_0 | KV q4_0 |
|---|---|---|---|
| 4k | 19.3 GB运行流畅 估算 160.2 tok/s128.1–192.2校准估算 ±20% | 19.1 GB运行流畅 估算 167.3 tok/s133.8–200.7校准估算 ±20% | 19.0 GB运行流畅 估算 171.3 tok/s137.1–205.6校准估算 ±20% |
| 8k | 19.8 GB运行流畅 估算 146.7 tok/s117.4–176.1校准估算 ±20% | 19.4 GB运行流畅 估算 159.1 tok/s127.3–191.0校准估算 ±20% | 19.2 GB运行流畅 估算 166.7 tok/s133.4–200.0校准估算 ±20% |
| 16k | 20.6 GB运行流畅 估算 125.7 tok/s100.6–150.8校准估算 ±20% | 19.9 GB运行流畅 估算 145.0 tok/s116.0–174.0校准估算 ±20% | 19.5 GB运行流畅 估算 158.1 tok/s126.5–189.8校准估算 ±20% |
| 32k | 22.4 GB运行流畅 估算 97.7 tok/s78.1–117.2校准估算 ±20% | 20.9 GB运行流畅 估算 123.2 tok/s98.6–147.9校准估算 ±20% | 20.1 GB运行流畅 估算 143.4 tok/s114.7–172.1校准估算 ±20% |
| 64k | 25.9 GB运行良好 估算 53.7 tok/s37.6–69.8理论估算 ±30% | 22.9 GB运行流畅 估算 94.7 tok/s75.8–113.7校准估算 ±20% | 21.3 GB运行流畅 估算 120.8 tok/s96.7–145.0校准估算 ±20% |
| 128k | 33.0 GB运行良好 估算 26.8 tok/s18.8–34.8理论估算 ±30% | 27.0 GB运行良好 估算 48.3 tok/s33.8–62.8理论估算 ±30% | 23.7 GB运行良好 估算 84.5 tok/s59.2–109.9理论估算 ±30% |
| 256k | 47.0 GB装不下 | 35.1 GB运行良好 估算 24.4 tok/s17.1–31.7理论估算 ±30% | 28.6 GB运行良好 估算 42.1 tok/s29.5–54.8理论估算 ±30% |
S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行
在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k，q8_0 为 64k。
估算速度
- 生成
- 估算 146.7 tok/s（117.4–176.1，校准估算 ±20%）
- 提示词处理
- 约 10,813 tok/s（6,488–15,138，粗略估算 ±40%）
这一组合的实测结果
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
| 硬件 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 4090 | Q4_K_XL | llama.cpp | 16k | — | 139.7 | — | hardware-corner.net | 2026-08-09 |
如果这还不够
在 GeForce RTX 4090 上同样运行良好的更大模型
运行流畅Qwen3.5 35B-A3B: 运行流畅，估算 155.9 tok/s（124.7–187.1，校准估算 ±20%）
运行方法
以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。
文件：Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf（18.56 GB），来自 unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF。
llama-server -hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M -c 8192 -ngl all -fa on- -ngl all 把所有层都加载到 GPU 上。
- -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
- --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.43 GB。
PowerShell（先退出托盘中的 Ollama 程序）：
$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M- 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
/set parameter num_ctx 8192
相关页面
GeForce RTX 4090 上的其他模型
其他硬件上的 Qwen3 30B-A3B (2507)
常见问题
GeForce RTX 4090 能运行 Qwen3 30B-A3B (2507) 吗？
Q4_K_M 可装入显存，还剩 3.6 GB：运行流畅，估算 146.7 tok/s（117.4–176.1，校准估算 ±20%）。Q4_K_M 在 8k 上下文下需要 19.8 GB；这套配置有 23.4 GB 可用内存和 28.0 GB 空闲系统内存。
Qwen3 30B-A3B (2507) 在 GeForce RTX 4090 上最多能用多长的上下文？
在 Q4_K_M 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 32k（KV 3.2 GB），q8_0 KV 缓存为 64k（KV 3.4 GB）。该模型最多支持 256k 上下文。
该用哪个量化？速度如何？
Q4_K_M（18.56 GB）是推荐的平衡之选：运行流畅，估算 146.7 tok/s（117.4–176.1，校准估算 ±20%）。它也是达到这一判定的已收录最大文件。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。