Nemotron 3.5 Lightning 30B-A3B 硬件要求

模型信息

参数量: 总计 31.58B · 激活 3B（MoE）
注意力机制: 混合注意力（仅部分层使用全注意力）
最大上下文: 262,144 个 token
发布日期: 2026-08-01
模型卡: Hugging Face 上的 Nemotron 3.5 Lightning 30B-A3B

GGUF 文件

收录的 Nemotron 3.5 Lightning 30B-A3B 量化文件，从小到大排列
量化	文件大小	质量	发布者
Q2_K	18.91 GB	损失严重	社区 GGUF · bartowski
IQ4_XS	18.92 GB	均衡	社区 GGUF · bartowski
Q4_K_M基准	25.48 GB	均衡	社区 GGUF · bartowski
Q8_0	35.00 GB	近乎无损	社区 GGUF · bartowski

这个模型的 Q2_K 文件和 IQ4_XS 文件大小差不多，而 IQ4_XS 保留的质量更高，建议改为下载 IQ4_XS。

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中，而且目前还不使用该模型的 MTP（多 token 预测）模块，因此从不加载它。Mac 按整个文件计算，所以需要的内存稍多一些。
量化	4k	8k	16k	32k	64k	128k	256k
Q2_K	18.5	18.6	18.7	19.0	19.5	20.5	22.5
IQ4_XS	18.5	18.6	18.7	19.0	19.5	20.5	22.5
Q4_K_M	25.0	25.1	25.2	25.5	26.0	27.0	29.0
Q8_0	33.8	33.8	34.0	34.2	34.7	35.7	37.7

哪些 GPU 能跑 Nemotron 3.5 Lightning 30B-A3B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	估算 305.7 tok/s214.0–397.4理论估算 ±30%	Q4_K_M	25.7 / 32.0 GB	全部载入显卡	最长 256k	—	市场价 US$4,200（截至 2026-08-09）
Apple M5 Ultra · 96 GB	运行流畅	估算 168.6 tok/s118.0–219.2理论估算 ±30%	Q4_K_M	26.1 / 67.2 GB	统一内存	最长 256k	—	—
Apple M5 Max (40-core GPU) · 48 GB	运行流畅	估算 137.2 tok/s96.0–178.3理论估算 ±30%	Q4_K_M	26.1 / 33.6 GB	统一内存	最长 256k	—	—
Apple M3 Ultra · 96 GB	运行流畅	估算 126.5 tok/s88.5–164.4理论估算 ±30%	Q4_K_M	26.1 / 67.2 GB	统一内存	最长 256k	—	—
Apple M4 Max (40-core GPU) · 48 GB	运行流畅	估算 124.5 tok/s87.2–161.9理论估算 ±30%	Q4_K_M	26.1 / 33.6 GB	统一内存	最长 256k	—	—
Apple M2 Ultra · 64 GB	运行流畅	估算 124.2 tok/s87.0–161.5理论估算 ±30%	Q4_K_M	26.1 / 44.8 GB	统一内存	最长 256k	—	—
Apple M5 Pro · 48 GB	运行流畅	估算 75.6 tok/s52.9–98.3理论估算 ±30%	Q4_K_M	26.1 / 33.6 GB	统一内存	最长 256k	—	—
NVIDIA DGX Spark · 64 GB	运行流畅	估算 69.8 tok/s48.8–90.7理论估算 ±30%	Q4_K_M	26.1 / 48.2 GB	统一内存	最长 256k	—	首发价 US$3,999（128 GB）
Apple M4 Pro · 48 GB	运行流畅	估算 68.0 tok/s47.6–88.4理论估算 ±30%	Q4_K_M	26.1 / 33.6 GB	统一内存	最长 256k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 64 GB	运行流畅	估算 65.9 tok/s46.1–85.7理论估算 ±30%	Q4_K_M	26.1 / 44.8 GB	统一内存	最长 256k	—	首发价 US$1,999（128 GB）
GeForce RTX 3090 Ti	运行良好	估算 126.5 tok/s88.5–164.4理论估算 ±30%	Q4_K_M	22.7 / 24.0 GB + 4.0 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$1,999
GeForce RTX 4090	运行良好	估算 126.5 tok/s88.5–164.4理论估算 ±30%	Q4_K_M	22.7 / 24.0 GB + 4.0 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$2,755（截至 2026-08-09）
GeForce RTX 3090	运行良好	估算 122.0 tok/s85.4–158.7理论估算 ±30%	Q4_K_M	22.7 / 24.0 GB + 4.0 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 5090 Laptop	运行良好	估算 119.4 tok/s83.6–155.3理论估算 ±30%	Q4_K_M	22.7 / 24.0 GB + 4.0 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	—
Radeon RX 7900 XTX	运行良好	估算 112.9 tok/s79.0–146.7理论估算 ±30%	Q4_K_M	22.7 / 24.0 GB + 4.0 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$999
Radeon RX 7900 XT	运行良好	估算 74.5 tok/s52.1–96.8理论估算 ±30%	Q4_K_M	18.8 / 20.0 GB + 7.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$899
GeForce RTX 5080	运行良好	估算 63.1 tok/s44.2–82.0理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 5070 Ti	运行良好	估算 62.2 tok/s43.5–80.8理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行良好	估算 62.2 tok/s43.5–80.8理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
GeForce RTX 4080 Super	运行良好	估算 59.3 tok/s41.5–77.1理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$999
GeForce RTX 4080	运行良好	估算 58.9 tok/s41.2–76.5理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$1,199
GeForce RTX 4070 Ti Super	运行良好	估算 57.8 tok/s40.5–75.2理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$799
GeForce RTX 4090 Laptop	运行良好	估算 55.3 tok/s38.7–71.9理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
Radeon RX 9070	运行良好	估算 55.0 tok/s38.5–71.5理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行良好	估算 55.0 tok/s38.5–71.5理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行良好	估算 54.6 tok/s38.2–70.9理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$499
GeForce RTX 5060 Ti 16GB	运行良好	估算 50.8 tok/s35.6–66.0理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$569（截至 2026-08-09）
GeForce RTX 3080 12GB	运行良好	估算 50.3 tok/s35.2–65.4理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$799
GeForce RTX 5070	运行良好	估算 47.5 tok/s33.3–61.8理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行良好	估算 47.5 tok/s33.3–61.8理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
GeForce RTX 2080 Ti	运行良好	估算 44.7 tok/s31.3–58.1理论估算 ±30%	Q4_K_M	9.8 / 11.0 GB + 16.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$999
GeForce RTX 3080 10GB	运行良好	估算 44.6 tok/s31.2–57.9理论估算 ±30%	Q4_K_M	8.8 / 10.0 GB + 17.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$699
GeForce RTX 4070	运行良好	估算 44.4 tok/s31.1–57.7理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$599
GeForce RTX 4070 Super	运行良好	估算 44.4 tok/s31.1–57.7理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$599
Radeon RX 9060 XT 16GB	运行良好	估算 43.9 tok/s30.7–57.0理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$449（截至 2026-08-09）
GeForce RTX 4080 Laptop	运行良好	估算 42.6 tok/s29.8–55.3理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
GeForce GTX 1080 Ti	运行良好	估算 42.3 tok/s29.6–54.9理论估算 ±30%	Q4_K_M	9.8 / 11.0 GB + 16.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$699
GeForce RTX 4060 Ti 16GB	运行良好	估算 42.2 tok/s29.5–54.9理论估算 ±30%	Q4_K_M	14.8 / 16.0 GB + 11.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$499
GeForce RTX 3060 12GB	运行良好	估算 40.2 tok/s28.2–52.3理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$250（截至 2026-08-09）
Intel Arc B580	运行良好	估算 39.3 tok/s27.5–51.1理论估算 ±30%	Q4_K_M	10.8 / 12.0 GB + 15.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$290（截至 2026-08-09）
GeForce RTX 3070	运行良好	估算 37.3 tok/s26.1–48.5理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$499
GeForce RTX 5060	运行良好	估算 37.3 tok/s26.1–48.5理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	运行良好	估算 37.3 tok/s26.1–48.5理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$429（截至 2026-08-09）
GeForce RTX 4060 Ti 8GB	运行良好	估算 33.2 tok/s23.2–43.1理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$399
GeForce RTX 4060	运行良好	估算 32.6 tok/s22.8–42.3理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$299
GeForce RTX 4060 Laptop	运行良好	估算 31.9 tok/s22.3–41.5理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
GeForce RTX 4070 Laptop	运行良好	估算 31.9 tok/s22.3–41.5理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	—
GeForce RTX 3050 8GB	运行良好	估算 30.5 tok/s21.3–39.6理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 16k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$249
Apple M5 Max (32-core GPU) · 36 GB	运行较慢	估算 80.1 tok/s56.0–104.1理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅	—
Apple M4 Max (32-core GPU) · 36 GB	运行较慢	估算 71.4 tok/s49.9–92.8理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅	—
Apple M6 · 32 GB	运行较慢	估算 29.7 tok/s20.8–38.6理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅	—
Apple M5 · 32 GB	运行较慢	估算 26.7 tok/s18.7–34.8理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅	—
Apple M4 · 32 GB	运行较慢	估算 20.9 tok/s14.6–27.1理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅	—
DDR5-6000 双通道 CPU · 32 GB	运行较慢	估算 16.7 tok/s11.7–21.7理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢”	—
DDR5-5600 双通道 CPU · 32 GB	运行较慢	估算 15.6 tok/s10.9–20.3理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢”	—
DDR4-3200 双通道 CPU · 32 GB	运行较慢	估算 8.9 tok/s6.2–11.6理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	—	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

能运行它的最便宜 GPU

运行流畅GeForce RTX 5090市场价 US$4,200（截至 2026-08-09），估算 305.7 tok/s（214.0–397.4，理论估算 ±30%）。
运行良好GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 40.2 tok/s（28.2–52.3，理论估算 ±30%）。

Nemotron 3.5 Lightning 30B-A3B 的实测结果

这个模型暂无公开基准测试结果。

常见问题

Nemotron 3.5 Lightning 30B-A3B 需要多少显存？

Q4_K_M 文件为 25.48 GB；在 8k 上下文下，显卡约需 25.1 GB（权重 24.48 GB、KV 缓存 0.1 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 18.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中，而且目前还不使用该模型的 MTP（多 token 预测）模块，因此从不加载它。Mac 按整个文件计算，所以需要的内存稍多一些。

能让 Nemotron 3.5 Lightning 30B-A3B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 5090，US$4,200（2026-08-09 市场价），估算 305.7 tok/s（214.0–397.4，理论估算 ±30%）。更便宜、仍能运行良好的选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 40.2 tok/s（28.2–52.3，理论估算 ±30%）。

Nemotron 3.5 Lightning 30B-A3B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：运行良好，估算 32.6 tok/s（22.8–42.3，理论估算 ±30%）; GeForce RTX 5060 Ti 16GB：运行良好，估算 50.8 tok/s（35.6–66.0，理论估算 ±30%）; GeForce RTX 3090：运行良好，估算 122.0 tok/s（85.4–158.7，理论估算 ±30%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。