CanRun

GeForce RTX 5060 Ti 16GB 能运行 gpt-oss-20b 吗？

运行流畅MXFP4 可装入显存，还剩 3.1 GB：运行流畅，实测 111.6 tok/s（2k 上下文，1 次；8k 估算 104.3 tok/s，83.5–125.2，校准估算 ±20%）。

开放许可证 · Apache-2.0llama.cpp 团队 · ggml-org思考模式

16 GB 显存 · 448.0 GB/s · FP16 23.7 TFLOPS。 按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。系统内存在 16 到 128 GB 之间时，上面的判定和量化文件都不变。

GeForce RTX 5060 Ti 16GB 上 gpt-oss-20b 的全部量化

1 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化文件大小判定速度显存/内存运行方式备注
MXFP4基准12.11 GB运行流畅
111.6 tok/s8k 估算 104.3 tok/s（83.5–125.2，校准估算 ±20%）实测（1 次，2k 上下文）
12.9 / 16.0 GB全部载入显卡—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

MXFP4 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。
显存
权重
11.5 GB
KV 缓存
0.2 GB
计算缓冲区
0.6 GB
OS 预留
0.6 GB
空闲
3.1 GB

12.11 GB 文件中有 0.63 GB 不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。

上下文长度与 KV 缓存

KV 缓存

MXFP4 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文KV f16KV q8_0KV q4_0
4k
12.1 GB运行流畅
估算 108.0 tok/s86.4–129.5校准估算 ±20%
12.1 GB运行流畅
估算 109.7 tok/s87.8–131.7校准估算 ±20%
12.0 GB运行流畅
估算 110.7 tok/s88.6–132.8校准估算 ±20%
8k
12.3 GB运行流畅
111.6 tok/s8k 估算 104.3 tok/s（83.5–125.2，校准估算 ±20%）实测（1 次，2k 上下文）
12.2 GB运行流畅
估算 107.7 tok/s86.2–129.2校准估算 ±20%
12.1 GB运行流畅
估算 109.6 tok/s87.7–131.5校准估算 ±20%
16k
12.5 GB运行流畅
估算 97.8 tok/s78.2–117.3校准估算 ±20%
12.3 GB运行流畅
估算 103.9 tok/s83.1–124.6校准估算 ±20%
12.2 GB运行流畅
估算 107.4 tok/s85.9–128.9校准估算 ±20%
32k
13.1 GB运行流畅
估算 86.9 tok/s69.5–104.3校准估算 ±20%
12.7 GB运行流畅
估算 96.9 tok/s77.5–116.3校准估算 ±20%
12.5 GB运行流畅
估算 103.4 tok/s82.7–124.0校准估算 ±20%
64k
14.2 GB运行流畅
估算 71.0 tok/s56.8–85.2校准估算 ±20%
13.4 GB运行流畅
估算 85.5 tok/s68.4–102.7校准估算 ±20%
13.0 GB运行流畅
估算 96.1 tok/s76.9–115.3校准估算 ±20%
128k
16.4 GB运行良好
估算 43.0 tok/s30.1–55.9理论估算 ±30%
14.9 GB运行流畅
估算 69.3 tok/s55.4–83.1校准估算 ±20%
14.1 GB运行流畅
估算 84.2 tok/s67.4–101.1校准估算 ±20%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 MXFP4 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 64k，q8_0 为 128k。

估算速度

生成
实测 111.6 tok/s（2k 上下文，1 次；8k 估算 104.3 tok/s，83.5–125.2，校准估算 ±20%）
提示词处理
约 3,599 tok/s（2,159–5,039，粗略估算 ±40%）

这一组合的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

这一组合的实测结果
硬件量化后端上下文提示词处理（tok/s）生成（tok/s）运行参数来源测量日期
GeForce RTX 5060 Ti 16GBMXFP4llama.cpp2k3,821.0111.6—github.com2025-08-20

如果这还不够

运行方法

以下命令使用 MXFP4 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：gpt-oss-20b-MXFP4.gguf（12.11 GB），来自 ggml-org/gpt-oss-20b-GGUF。

llama.cpp
llama-server -hf ggml-org/gpt-oss-20b-GGUF:MXFP4 -c 8192 -ngl all -fa on
  • -ngl all 把所有层都加载到 GPU 上。
  • -fa on 开启 Flash Attention（量化 KV 缓存时需要）。
  • --cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.11 GB。
Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/ggml-org/gpt-oss-20b-GGUF:MXFP4
  • 在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
  • /set parameter num_ctx 8192

相关页面

GeForce RTX 5060 Ti 16GB 上的其他模型

其他硬件上的 gpt-oss-20b

常见问题

GeForce RTX 5060 Ti 16GB 能运行 gpt-oss-20b 吗？

MXFP4 可装入显存，还剩 3.1 GB：运行流畅，实测 111.6 tok/s（2k 上下文，1 次；8k 估算 104.3 tok/s，83.5–125.2，校准估算 ±20%）。MXFP4 在 8k 上下文下需要 12.3 GB；这套配置有 15.4 GB 可用内存和 28.0 GB 空闲系统内存。

gpt-oss-20b 在 GeForce RTX 5060 Ti 16GB 上最多能用多长的上下文？

在 MXFP4 下，判定仍为“运行流畅”的上下文上限：f16 KV 缓存为 64k（KV 1.6 GB），q8_0 KV 缓存为 128k（KV 1.7 GB）。该模型最多支持 128k 上下文。

该用哪个量化？速度如何？

MXFP4（12.11 GB）是唯一已收录的文件：运行流畅，实测 111.6 tok/s（2k 上下文，1 次；8k 估算 104.3 tok/s，83.5–125.2，校准估算 ±20%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。