GeForce RTX 5090 能运行 gpt-oss-120b 吗？

无法运行MXFP4 需要 63.6 GB，比 31.4 GB 可用内存多出 32.2 GB。配 64 GB 系统内存时：运行良好，估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）。

开放许可证 · Apache-2.0 llama.cpp 团队 · ggml-org思考模式

32 GB 显存 · 1,792.0 GB/s · FP16 104.8 TFLOPS。按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。

不同系统内存容量下的判定

本页假设系统内存为 32 GB。对于这一组合，判定取决于你有多少系统内存。

16 GB无法运行MXFP4 装不下
32 GB无法运行MXFP4 装不下(本页采用)
64 GB运行良好估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）(下方命令采用)
96 GB运行良好估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）
128 GB运行良好估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）

GeForce RTX 5090 上 gpt-oss-120b 的全部量化

1 个已收录的 GGUF 文件，从小到大排列，系统内存 32 GB、8k 上下文
量化	文件大小	判定	速度	显存/内存	运行方式	备注
MXFP4基准	63.39 GB	无法运行	—	约需 63.6 GB；可用显存 31.4 GB，可用内存 28.0 GB	—	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

MXFP4 下的内存占用

下面的内存、上下文和速度数据假设系统内存为 64 GB（即上方内存提示中的配置）；若只有 32 GB，则什么都装不下。

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。

显存

系统内存

权重: 27.1 GB
KV 缓存: 0.3 GB
计算缓冲区: 0.6 GB
OS 预留: 0.6 GB
空闲: 3.4 GB
系统内存中的权重: 36.3 GB

系统内存、上下文长度与 KV 缓存

上下文：8k

KV 缓存f16q8_0q4_0

MXFP4 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文	KV f16	KV q8_0	KV q4_0
4k	63.4 GB运行良好估算 37.1 tok/s26.0–48.3理论估算 ±30%	63.4 GB运行良好估算 37.2 tok/s26.1–48.4理论估算 ±30%	63.3 GB运行良好估算 37.3 tok/s26.1–48.4理论估算 ±30%
8k	63.6 GB运行良好估算 35.5 tok/s24.8–46.1理论估算 ±30%	63.5 GB运行良好估算 37.1 tok/s26.0–48.3理论估算 ±30%	63.4 GB运行良好估算 37.2 tok/s26.1–48.4理论估算 ±30%
16k	64.0 GB运行良好估算 35.2 tok/s24.6–45.7理论估算 ±30%	63.7 GB运行良好估算 35.5 tok/s24.8–46.1理论估算 ±30%	63.6 GB运行良好估算 37.1 tok/s26.0–48.3理论估算 ±30%
32k	64.8 GB运行良好估算 34.6 tok/s24.2–45.0理论估算 ±30%	64.2 GB运行良好估算 35.1 tok/s24.6–45.7理论估算 ±30%	63.9 GB运行良好估算 35.4 tok/s24.8–46.1理论估算 ±30%
64k	66.3 GB运行良好估算 32.3 tok/s22.6–41.9理论估算 ±30%	65.2 GB运行良好估算 34.5 tok/s24.2–44.9理论估算 ±30%	64.5 GB运行良好估算 35.1 tok/s24.6–45.6理论估算 ±30%
128k	69.3 GB运行较慢估算 28.4 tok/s19.9–36.9理论估算 ±30%	67.0 GB运行良好估算 31.0 tok/s21.7–40.3理论估算 ±30%	65.8 GB运行良好估算 33.1 tok/s23.2–43.1理论估算 ±30%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

配 64 GB 系统内存时：在 MXFP4 下，判定仍为“运行良好”的上下文上限：f16 KV 缓存为 64k，q8_0 为 128k。

估算速度

生成: 配 64 GB 系统内存时：估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）
提示词处理: 只有整个模型都在 GPU 上运行时，才提供提示词处理速度估算。

判定依据: 未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中

这一组合的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

这一组合的实测结果
硬件	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
GeForce RTX 5090	MXFP4	llama.cpp	4k	—	9.6	--n-cpu-moe 21, DDR4 server	hardware-corner.net	2026-08-09

如果这还不够

在 GeForce RTX 5090 上运行良好的更小模型
运行良好
Kolibri 1: 运行良好，估算 83.3 tok/s（58.3–108.3，理论估算 ±30%）
同一 GPU 配 64 GB 系统内存
运行良好
MXFP4：运行良好，估算 35.5 tok/s（24.8–46.1，理论估算 ±30%）

运行方法

以下命令使用 MXFP4 文件。两个工具都会在首次运行时从 Hugging Face 下载。

这些命令假设系统内存为 64 GB（即上方内存提示中的配置）。如果你的内存容量不同，请在上方“系统内存、上下文长度与 KV 缓存”中选择对应容量，查看相应的命令。

文件：gpt-oss-120b-MXFP4.gguf（63.39 GB），来自 ggml-org/gpt-oss-120b-GGUF。

llama.cpp

llama-server -hf ggml-org/gpt-oss-120b-GGUF:MXFP4 -c 8192 -ngl all --n-cpu-moe 21 -fa on

-ngl all 把所有层都加载到 GPU 上。
--n-cpu-moe 21 把前 21 层的专家放在系统内存中；其余 15 个含专家的层把专家留在 GPU 上。本估算也按同样的划分计算。
如果加载时出现内存不足（out of memory）错误，把该值调高到 22；还不够就调到 23。
如果省略 -ngl 和 --n-cpu-moe，llama.cpp b7410（2025 年 12 月）及更新版本会自行以类似方式拆分模型。
-fa on 开启 Flash Attention（量化 KV 缓存时需要）。
--cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.16 GB。

Ollama

PowerShell（先退出托盘中的 Ollama 程序）：

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/ggml-org/gpt-oss-120b-GGUF:MXFP4

在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
Ollama 0.30 及更新版本会自动把一部分专家放在系统内存中，以适应你的显存。旧版本则按整层拆分，速度要慢得多。
/set parameter num_ctx 8192

常见问题