Gemma 4 26B-A4B 硬件要求

模型信息

参数量: 总计 26.54B · 激活 4B（MoE）
注意力机制: 滑动窗口注意力
最大上下文: 262,144 个 token
发布日期: 2026-03-11
模型卡: Hugging Face 上的 Gemma 4 26B-A4B

同系列的其他规格

各模型在基准量化、8k 上下文下所需的显存，以及在常见显卡上的判定，按模型从小到大排列
模型	参数量	基准量化	所需显存（8k）	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Gemma 4 E2B	5.12B	Q4_K_M	2.1 GB	运行流畅	运行流畅	运行流畅
Gemma 4 E4B	8B	Q4_K_M	3.7 GB	运行流畅	运行流畅	运行流畅
Gemma 4 12B	11.96B	Q4_K_M	7.8 GB	运行良好	运行流畅	运行流畅
Gemma 4 26B-A4B当前模型	总计 26.54B · 激活 4B（MoE）	Q4_K_M	17.7 GB	运行良好	运行良好	运行流畅
Gemma 4 31B	31.27B	Q4_K_M	19.5 GB	运行较慢	运行较慢	运行流畅

GGUF 文件

收录的 Gemma 4 26B-A4B 量化文件，从小到大排列
量化	文件大小	质量	发布者
UD-Q2_K_XL	10.55 GB	损失严重	社区 GGUF · unsloth
IQ4_XS	13.60 GB	均衡	社区 GGUF · unsloth
Q4_K_M基准	16.95 GB	均衡	社区 GGUF · unsloth
Q8_0	26.86 GB	近乎无损	社区 GGUF · unsloth

文件大小不包括图像输入所需的视觉投影器（mmproj）。

部分仓库只发布 Unsloth Dynamic（UD）版本，大小以你实际下载的文件为准。

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。
量化	4k	8k	16k	32k	64k	128k	256k
UD-Q2_K_XL	11.2	11.3	11.5	12.0	13.0	14.9	18.8
IQ4_XS	14.2	14.3	14.6	15.1	16.0	18.0	21.8
Q4_K_M	17.6	17.7	17.9	18.4	19.4	21.3	25.2
Q8_0	27.5	27.6	27.8	28.3	29.3	31.2	35.1

哪些 GPU 能跑 Gemma 4 26B-A4B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	216.1 tok/s8k 估算 210.4 tok/s（168.3–252.4，校准估算 ±20%）实测（2 次，512/8k 上下文）	Q4_K_M	18.3 / 32.0 GB	全部载入显卡	最长 256k	—	市场价 US$4,200（截至 2026-08-09）
GeForce RTX 3090 Ti	运行流畅	估算 142.6 tok/s114.1–171.1校准估算 ±20%	Q4_K_M	18.3 / 24.0 GB	全部载入显卡	最长 128k	—	首发价 US$1,999
GeForce RTX 4090	运行流畅	估算 142.6 tok/s114.1–171.1校准估算 ±20%	Q4_K_M	18.3 / 24.0 GB	全部载入显卡	最长 128k	—	市场价 US$2,755（截至 2026-08-09）
GeForce RTX 5090 Laptop	运行流畅	估算 130.6 tok/s104.5–156.7校准估算 ±20%	Q4_K_M	18.3 / 24.0 GB	全部载入显卡	最长 128k	—	—
Apple M5 Ultra · 96 GB	运行流畅	估算 115.8 tok/s92.6–138.9校准估算 ±20%	Q4_K_M	17.7 / 67.2 GB	统一内存	最长 256k	—	—
Radeon RX 7900 XTX	运行流畅	估算 114.7 tok/s91.8–137.7校准估算 ±20%	Q4_K_M	18.3 / 24.0 GB	全部载入显卡	最长 128k	—	首发价 US$999
GeForce RTX 3090	运行流畅	108.0 tok/s8k 估算 134.9 tok/s（108.0–161.9，校准估算 ±20%）实测（1 次，32k 上下文）	Q4_K_M	18.3 / 24.0 GB	全部载入显卡	最长 128k	—	市场价 US$1,050（截至 2026-08-09）
Radeon RX 7900 XT	运行流畅	估算 102.9 tok/s82.4–123.5校准估算 ±20%	Q4_K_M	18.3 / 20.0 GB	全部载入显卡	最长 64k	—	首发价 US$899
Apple M5 Max (40-core GPU) · 48 GB	运行流畅	估算 98.4 tok/s78.7–118.1校准估算 ±20%	Q4_K_M	17.7 / 33.6 GB	统一内存	最长 256k	—	—
Apple M4 Max (40-core GPU) · 48 GB	运行流畅	估算 89.8 tok/s71.8–107.8校准估算 ±20%	Q4_K_M	17.7 / 33.6 GB	统一内存	最长 256k	—	—
Apple M3 Ultra · 96 GB	运行流畅	估算 89.0 tok/s71.2–106.8校准估算 ±20%	Q4_K_M	17.7 / 67.2 GB	统一内存	最长 256k	—	—
Apple M2 Ultra · 64 GB	运行流畅	79.1 tok/s8k 估算 87.5 tok/s（70.0–105.0，校准估算 ±20%）实测（1 次，512 上下文）	Q4_K_M	17.7 / 44.8 GB	统一内存	最长 256k	—	—
Apple M5 Max (32-core GPU) · 36 GB	运行流畅	估算 78.3 tok/s62.6–93.9校准估算 ±20%	Q4_K_M	17.7 / 25.2 GB	统一内存	最长 128k	—	—
Apple M4 Max (32-core GPU) · 36 GB	运行流畅	估算 71.2 tok/s56.9–85.4校准估算 ±20%	Q4_K_M	17.7 / 25.2 GB	统一内存	最长 128k	—	—
Apple M5 Pro · 48 GB	运行流畅	估算 55.6 tok/s44.5–66.8校准估算 ±20%	Q4_K_M	17.7 / 33.6 GB	统一内存	最长 128k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行流畅	54.3 tok/s8k 估算 48.1 tok/s（38.5–57.7，校准估算 ±20%）实测（2 次，512 上下文）	Q4_K_M	17.7 / 22.4 GB	统一内存	最长 128k	—	首发价 US$1,999（128 GB）
Apple M4 Pro · 48 GB	运行流畅	估算 50.2 tok/s40.2–60.2校准估算 ±20%	Q4_K_M	17.7 / 33.6 GB	统一内存	最长 128k	—	—
NVIDIA DGX Spark · 64 GB	运行流畅	47.0 tok/s8k 估算 51.5 tok/s（41.2–61.8，校准估算 ±20%）实测（1 次，32k 上下文）	Q4_K_M	17.7 / 48.2 GB	统一内存	最长 128k	—	首发价 US$3,999（128 GB）
Apple M6 · 32 GB	运行流畅	估算 32.8 tok/s26.3–39.4校准估算 ±20%	Q4_K_M	17.7 / 22.4 GB	统一内存	最长 16k	—	—
GeForce RTX 5080	运行良好	估算 90.8 tok/s63.6–118.1理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 5070 Ti	运行良好	估算 87.9 tok/s61.5–114.3理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行良好	估算 87.9 tok/s61.5–114.3理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	—
GeForce RTX 4080 Super	运行良好	估算 79.5 tok/s55.7–103.4理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$999
GeForce RTX 4080	运行良好	估算 78.4 tok/s54.9–101.9理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 256k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$1,199
GeForce RTX 4070 Ti Super	运行良好	估算 75.7 tok/s53.0–98.3理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$799
GeForce RTX 4090 Laptop	运行良好	估算 69.2 tok/s48.5–90.0理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	—
Radeon RX 9070	运行良好	估算 67.6 tok/s47.3–87.9理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行良好	估算 67.6 tok/s47.3–87.9理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行良好	估算 66.5 tok/s46.6–86.5理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$499
GeForce RTX 3080 12GB	运行良好	估算 59.3 tok/s41.5–77.1理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	首发价 US$799
GeForce RTX 5060 Ti 16GB	运行良好	估算 59.2 tok/s41.4–76.9理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$569（截至 2026-08-09）
GeForce RTX 5070	运行良好	估算 53.6 tok/s37.5–69.7理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行良好	估算 53.6 tok/s37.5–69.7理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	—
GeForce RTX 3080 10GB	运行良好	估算 49.2 tok/s34.5–64.0理论估算 ±30%	Q4_K_M	9.2 / 10.0 GB + 9.1 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$699
GeForce RTX 2080 Ti	运行良好	估算 48.9 tok/s34.2–63.5理论估算 ±30%	Q4_K_M	10.1 / 11.0 GB + 8.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$999
GeForce RTX 4070	运行良好	估算 47.8 tok/s33.5–62.1理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	首发价 US$599
GeForce RTX 4070 Super	运行良好	估算 47.8 tok/s33.5–62.1理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	首发价 US$599
Radeon RX 9060 XT 16GB	运行良好	估算 45.7 tok/s32.0–59.4理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	市场价 US$449（截至 2026-08-09）
GeForce RTX 4080 Laptop	运行良好	估算 44.6 tok/s31.2–58.0理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	—
GeForce GTX 1080 Ti	运行良好	估算 44.5 tok/s31.2–57.9理论估算 ±30%	Q4_K_M	10.1 / 11.0 GB + 8.2 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$699
GeForce RTX 4060 Ti 16GB	运行良好	估算 43.4 tok/s30.4–56.4理论估算 ±30%	Q4_K_M	15.4 / 16.0 GB + 2.9 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中改用 IQ4_XS：运行流畅	首发价 US$499
GeForce RTX 3060 12GB	运行良好	估算 40.7 tok/s28.5–53.0理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	市场价 US$250（截至 2026-08-09）
Intel Arc B580	运行良好	估算 39.0 tok/s27.3–50.8理论估算 ±30%	Q4_K_M	11.1 / 12.0 GB + 7.2 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中 UD-Q2_K_XL（质量损失大）：运行流畅	市场价 US$290（截至 2026-08-09）
GeForce RTX 3070	运行良好	估算 37.6 tok/s26.3–48.8理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$499
GeForce RTX 5060	运行良好	估算 37.6 tok/s26.3–48.8理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	运行良好	估算 37.6 tok/s26.3–48.8理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	市场价 US$429（截至 2026-08-09）
GeForce RTX 4060 Ti 8GB	运行良好	估算 31.4 tok/s22.0–40.8理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 16k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$399
GeForce RTX 4060	运行良好	估算 30.6 tok/s21.4–39.7理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 8k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$299
Apple M5 · 32 GB	运行良好	估算 29.8 tok/s23.8–35.7校准估算 ±20%	Q4_K_M	17.7 / 22.4 GB	统一内存	最长 128k	改用 IQ4_XS：运行流畅	—
Apple M4 · 32 GB	运行良好	估算 23.6 tok/s18.9–28.4校准估算 ±20%	Q4_K_M	17.7 / 22.4 GB	统一内存	最长 128k	UD-Q2_K_XL（质量损失大）：运行流畅	—
GeForce RTX 4060 Laptop	运行较慢	估算 29.7 tok/s20.8–38.6理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 128k	专家在系统内存中运行：这种方式需要达到 30 tok/s 及以上才算“运行良好” 改用 IQ4_XS：运行良好	—
GeForce RTX 4070 Laptop	运行较慢	估算 29.7 tok/s20.8–38.6理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 128k	专家在系统内存中运行：这种方式需要达到 30 tok/s 及以上才算“运行良好” 改用 IQ4_XS：运行良好	—
GeForce RTX 3050 8GB	运行较慢	估算 27.7 tok/s19.4–36.1理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 128k	专家在系统内存中运行：这种方式需要达到 30 tok/s 及以上才算“运行良好” 改用 IQ4_XS：运行良好	首发价 US$249
DDR5-6000 双通道 CPU · 32 GB	运行较慢	估算 15.2 tok/s12.1–18.2校准估算 ±20%	Q4_K_M	17.1 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢”	—
DDR5-5600 双通道 CPU · 32 GB	运行较慢	估算 14.2 tok/s11.3–17.0校准估算 ±20%	Q4_K_M	17.1 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢”	—
DDR4-3200 双通道 CPU · 32 GB	运行较慢	估算 8.1 tok/s6.5–9.7校准估算 ±20%	Q4_K_M	17.1 GB 内存	纯 CPU	最长 128k	—	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

能运行它的最便宜 GPU

运行流畅GeForce RTX 3090市场价 US$1,050（截至 2026-08-09），实测 108.0 tok/s（32k 上下文，1 次；8k 估算 134.9 tok/s，108.0–161.9，校准估算 ±20%）。
运行良好GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 40.7 tok/s（28.5–53.0，理论估算 ±30%）。

Gemma 4 26B-A4B 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

Gemma 4 26B-A4B 的实测结果
硬件	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
GeForce RTX 5090	Q4_K_M	llama.cpp	512	13,588.0	223.8	CUDA, KV q8_0	github.com	2026-05-24
GeForce RTX 5090	Q4_K_M	ollama	8k	—	208.4	CUDA, FA off	github.com	2026-04-05
GeForce RTX 3090	Q4_K_M	ollama	32k	—	108.0	FA off	github.com	2026-04-07
Radeon RX 7900 XT	UD-Q4_K_XL	llama.cpp	512	2,884.0	77.8	ROCm	github.com	2026-04-18
Apple M2 Ultra	Q8_0	llama.cpp	512	2,160.0	87.4	Metal	github.com	2026-09-15
Apple M5 Max (40-core GPU)	Q8_0	llama.cpp	512	3,582.0	95.4	Metal	github.com	2026-09-15
Apple M2 Ultra	Q4_K_M	llama.cpp	512	1,550.0	79.1	Metal	github.com	2026-09-19
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	512	1,327.0	55.5	Vulkan	github.com	2026-06-30
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	512	1,209.0	53.0	Vulkan	github.com	2026-08-18
Ryzen AI Max+ 395 (Strix Halo)	UD-Q4_K_XL	llama.cpp	512	1,325.0	54.7	Vulkan	github.com	2026-05-18
NVIDIA DGX Spark	Q4_K_M	llama.cpp	32k	—	47.0	CUDA, depth 32768	github.com	2026-06-11

常见问题

Gemma 4 26B-A4B 需要多少显存？

Q4_K_M 文件为 16.95 GB；在 8k 上下文下，显卡约需 17.7 GB（权重 16.93 GB、KV 缓存 0.2 GB、计算缓冲区 0.6 GB）。已收录的最小文件（UD-Q2_K_XL（质量损失大））约需 11.3 GB。

能让 Gemma 4 26B-A4B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 3090，US$1,050（2026-08-09 市场价），实测 108.0 tok/s（32k 上下文，1 次；8k 估算 134.9 tok/s，108.0–161.9，校准估算 ±20%）。更便宜、仍能运行良好的选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 40.7 tok/s（28.5–53.0，理论估算 ±30%）。

Gemma 4 26B-A4B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：运行良好，估算 30.6 tok/s（21.4–39.7，理论估算 ±30%）; GeForce RTX 5060 Ti 16GB：运行良好，估算 59.2 tok/s（41.4–76.9，理论估算 ±30%）; GeForce RTX 3090：运行流畅，实测 108.0 tok/s（32k 上下文，1 次；8k 估算 134.9 tok/s，108.0–161.9，校准估算 ±20%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。