CanRun

GeForce RTX 4070 能运行 gpt-oss-20b 吗？

运行良好MXFP4 把注意力部分和 20 层的专家放在 GPU 上（11.2 GB），其余专家放在 2.3 GB 系统内存中：运行良好，估算 78.5 tok/s（55.0–102.1，理论估算 ±30%）。

开放许可证 · Apache-2.0llama.cpp 团队 · ggml-org思考模式

12 GB 显存 · 504.0 GB/s · FP16 29.1 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。 GeForce RTX 4070 Super 的内存配置相同（12 GB，504.0 GB/s），因此生成速度估算相同，只有提示词处理速度不同。

GeForce RTX 4070 上 gpt-oss-20b 的全部量化

1 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化文件大小判定速度显存/内存运行方式备注
MXFP4基准12.11 GB运行良好
估算 78.5 tok/s55.0–102.1理论估算 ±30%
11.2 / 12.0 GB + 2.3 GB 内存MoE 专家放在内存未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

MXFP4 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。
显存
系统内存
权重
9.8 GB
KV 缓存
0.2 GB
计算缓冲区
0.6 GB
OS 预留
0.6 GB
空闲
0.8 GB
系统内存中的权重
2.3 GB

上下文长度与 KV 缓存

KV 缓存

MXFP4 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文KV f16KV q8_0KV q4_0
4k
12.1 GB运行良好
估算 87.6 tok/s61.3–113.9理论估算 ±30%
12.1 GB运行良好
估算 88.6 tok/s62.0–115.2理论估算 ±30%
12.0 GB运行良好
估算 89.2 tok/s62.4–115.9理论估算 ±30%
8k
12.3 GB运行良好
估算 78.5 tok/s55.0–102.1理论估算 ±30%
12.2 GB运行良好
估算 87.4 tok/s61.2–113.7理论估算 ±30%
12.1 GB运行良好
估算 88.5 tok/s62.0–115.1理论估算 ±30%
16k
12.5 GB运行良好
估算 75.2 tok/s52.6–97.7理论估算 ±30%
12.3 GB运行良好
估算 78.3 tok/s54.8–101.8理论估算 ±30%
12.2 GB运行良好
估算 87.3 tok/s61.1–113.5理论估算 ±30%
32k
13.1 GB运行良好
估算 64.6 tok/s45.2–84.0理论估算 ±30%
12.7 GB运行良好
估算 69.4 tok/s48.5–90.2理论估算 ±30%
12.5 GB运行良好
估算 78.0 tok/s54.6–101.4理论估算 ±30%
64k
14.2 GB运行良好
估算 47.9 tok/s33.6–62.3理论估算 ±30%
13.4 GB运行良好
估算 60.0 tok/s42.0–78.0理论估算 ±30%
13.0 GB运行良好
估算 69.0 tok/s48.3–89.7理论估算 ±30%
128k
16.4 GB运行良好
估算 32.7 tok/s22.9–42.5理论估算 ±30%
14.9 GB运行良好
估算 43.0 tok/s30.1–55.9理论估算 ±30%
14.1 GB运行良好
估算 52.9 tok/s37.0–68.8理论估算 ±30%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 MXFP4 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 128k，q8_0 为 128k。

估算速度

生成
估算 78.5 tok/s（55.0–102.1，理论估算 ±30%）
提示词处理
只有整个模型都在 GPU 上运行时，才提供提示词处理速度估算。

判定依据: 未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

运行方法

以下命令使用 MXFP4 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：gpt-oss-20b-MXFP4.gguf（12.11 GB），来自 ggml-org/gpt-oss-20b-GGUF。

llama.cpp
llama-server -hf ggml-org/gpt-oss-20b-GGUF:MXFP4 -c 8192 -ngl all --n-cpu-moe 4 -fa on
  • -ngl all 把所有层都加载到 GPU 上。
  • --n-cpu-moe 4 把前 4 层的专家放在系统内存中；其余 20 个含专家的层把专家留在 GPU 上。本估算也按同样的划分计算。
  • 如果加载时出现内存不足（out of memory）错误，把该值调高到 5；还不够就调到 6。
  • 如果省略 -ngl 和 --n-cpu-moe，llama.cpp b7410（2025 年 12 月）及更新版本会自行以类似方式拆分模型。
  • -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
  • --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.11 GB。
Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/ggml-org/gpt-oss-20b-GGUF:MXFP4
  • 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
  • Ollama 0.30 及更新版本会自动把一部分专家放在系统内存中，以适应你的显存。旧版本则按整层拆分，速度要慢得多。
  • /set parameter num_ctx 8192

相关页面

GeForce RTX 4070 上的其他模型

其他硬件上的 gpt-oss-20b

常见问题

GeForce RTX 4070 能运行 gpt-oss-20b 吗？

MXFP4 把注意力部分和 20 层的专家放在 GPU 上（11.2 GB），其余专家放在 2.3 GB 系统内存中：运行良好，估算 78.5 tok/s（55.0–102.1，理论估算 ±30%）。MXFP4 在 8k 上下文下需要 12.3 GB；这套配置有 11.4 GB 可用内存和 28.0 GB 空闲系统内存。

gpt-oss-20b 在 GeForce RTX 4070 上最多能用多长的上下文？

在 MXFP4 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 128k（KV 3.2 GB），q8_0 KV 缓存为 128k（KV 1.7 GB）。该模型最多支持 128k 上下文。

该用哪个量化？速度如何？

MXFP4（12.11 GB）是唯一已收录的文件：运行良好，估算 78.5 tok/s（55.0–102.1，理论估算 ±30%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。