Mistral Small 3.2 24B 硬件要求
模型信息
- 参数量
- 23.6B
- 注意力机制
- 全注意力
- 最大上下文
- 131,072 个 token
- 发布日期
- 2025-06-20
GGUF 文件
| 量化 | 文件大小 | 质量 | 发布者 |
|---|---|---|---|
| Q2_K | 8.89 GB | 损失严重 | 社区 GGUF · bartowski |
| IQ4_XS | 12.76 GB | 均衡 | 社区 GGUF · bartowski |
| Q4_K_M基准 | 14.33 GB | 均衡 | 社区 GGUF · bartowski |
| Q8_0 | 25.05 GB | 近乎无损 | 社区 GGUF · bartowski |
文件大小不包括图像输入所需的视觉投影器（mmproj）。
不同量化和上下文所需的显存
| 量化 | 4k | 8k | 16k | 32k | 64k | 128k |
|---|---|---|---|---|---|---|
| Q2_K | 9.9 | 10.6 | 12.0 | 14.8 | 20.5 | 31.8 |
| IQ4_XS | 13.6 | 14.3 | 15.7 | 18.6 | 24.2 | 35.6 |
| Q4_K_M | 15.1 | 15.9 | 17.3 | 20.1 | 25.8 | 37.1 |
| Q8_0 | 25.5 | 26.2 | 27.7 | 30.5 | 36.2 | 47.5 |
哪些 GPU 能跑 Mistral Small 3.2 24B？
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。
左右滑动可查看所有列。
| 硬件 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 | 价格 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 运行流畅 | 估算 80.0 tok/s70.4–89.6校准估算 ±12% | Q4_K_M | 16.5 / 32.0 GB | 全部载入显卡 | 最长 64k | — | 市场价 US$4,200（截至 2026-08-09） |
| Radeon RX 7900 XTX | 运行流畅 | 估算 46.6 tok/s41.0–52.1校准估算 ±12% | Q4_K_M | 16.5 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$999 |
| GeForce RTX 3090 Ti | 运行流畅 | 估算 45.0 tok/s39.6–50.4校准估算 ±12% | Q4_K_M | 16.5 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$1,999 |
| GeForce RTX 4090 | 运行流畅 | 估算 45.0 tok/s39.6–50.4校准估算 ±12% | Q4_K_M | 16.5 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$2,755（截至 2026-08-09） |
| Apple M5 Ultra · 96 GB | 运行流畅 | 估算 44.7 tok/s35.7–53.6校准估算 ±20% | Q4_K_M | 16.2 / 67.2 GB | 统一内存 | 最长 64k | — | — |
| GeForce RTX 3090 | 运行流畅 | 估算 41.8 tok/s36.8–46.8校准估算 ±12% | Q4_K_M | 16.5 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$1,050（截至 2026-08-09） |
| GeForce RTX 5090 Laptop | 运行流畅 | 估算 40.0 tok/s35.2–44.8校准估算 ±12% | Q4_K_M | 16.5 / 24.0 GB | 全部载入显卡 | 最长 32k | — | — |
| Radeon RX 7900 XT | 运行流畅 | 估算 38.8 tok/s34.1–43.5校准估算 ±12% | Q4_K_M | 16.5 / 20.0 GB | 全部载入显卡 | 最长 16k | — | 首发价 US$899 |
| Apple M3 Ultra · 96 GB | 运行流畅 | 估算 29.8 tok/s23.8–35.7校准估算 ±20% | Q4_K_M | 16.2 / 67.2 GB | 统一内存 | 最长 32k | — | — |
| Apple M5 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 29.8 tok/s23.8–35.7校准估算 ±20% | Q4_K_M | 16.2 / 33.6 GB | 统一内存 | 最长 32k | — | — |
| Apple M2 Ultra · 64 GB | 运行流畅 | 估算 29.1 tok/s23.3–34.9校准估算 ±20% | Q4_K_M | 16.2 / 44.8 GB | 统一内存 | 最长 32k | — | — |
| Apple M4 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 26.5 tok/s21.2–31.8校准估算 ±20% | Q4_K_M | 16.2 / 33.6 GB | 统一内存 | 最长 32k | — | — |
| Apple M5 Max (32-core GPU) · 36 GB | 运行流畅 | 估算 22.3 tok/s17.8–26.8校准估算 ±20% | Q4_K_M | 16.2 / 25.2 GB | 统一内存 | 最长 16k | — | — |
| GeForce RTX 5080 | 运行良好 | 估算 23.5 tok/s18.8–28.2校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$1,256（截至 2026-08-09） |
| GeForce RTX 5070 Ti | 运行良好 | 估算 22.6 tok/s18.1–27.2校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$949（截至 2026-08-09） |
| GeForce RTX 5080 Laptop | 运行良好 | 估算 22.6 tok/s18.1–27.2校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| — |
| GeForce RTX 4080 Super | 运行良好 | 估算 20.3 tok/s16.2–24.3校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 首发价 US$999 |
| GeForce RTX 4080 | 运行良好 | 估算 20.0 tok/s16.0–24.0校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 首发价 US$1,199 |
| Apple M4 Max (32-core GPU) · 36 GB | 运行良好 | 估算 19.9 tok/s15.9–23.9校准估算 ±20% | Q4_K_M | 16.2 / 25.2 GB | 统一内存 | 最长 32k |
| — |
| Radeon RX 9070 | 运行良好 | 估算 19.7 tok/s15.8–23.6校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$639（截至 2026-08-09） |
| Radeon RX 9070 XT | 运行良好 | 估算 19.7 tok/s15.8–23.6校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$689（截至 2026-08-09） |
| Radeon RX 7800 XT | 运行良好 | 估算 19.3 tok/s15.5–23.2校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 首发价 US$499 |
| GeForce RTX 4070 Ti Super | 运行良好 | 估算 19.2 tok/s15.4–23.1校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 首发价 US$799 |
| GeForce RTX 4090 Laptop | 运行良好 | 估算 17.5 tok/s14.0–21.0校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| — |
| Apple M5 Pro · 24 GB | 运行良好 | 估算 14.9 tok/s11.9–17.9校准估算 ±20% | Q4_K_M | 16.2 / 16.8 GB | 统一内存 | 最长 8k |
| — |
| GeForce RTX 5060 Ti 16GB | 运行良好 | 估算 14.8 tok/s11.8–17.7校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$569（截至 2026-08-09） |
| NVIDIA DGX Spark · 64 GB | 运行良好 | 估算 13.6 tok/s10.9–16.3校准估算 ±20% | Q4_K_M | 16.2 / 48.2 GB | 统一内存 | 最长 64k |
| 首发价 US$3,999（128 GB） |
| Ryzen AI Max+ 395 (Strix Halo) · 32 GB | 运行良好 | 估算 13.4 tok/s10.7–16.1校准估算 ±20% | Q4_K_M | 16.2 / 22.4 GB | 统一内存 | 最长 32k |
| 首发价 US$1,999（128 GB） |
| Apple M4 Pro · 24 GB | 运行良好 | 估算 13.2 tok/s10.6–15.9校准估算 ±20% | Q4_K_M | 16.2 / 16.8 GB | 统一内存 | 最长 8k |
| — |
| Radeon RX 9060 XT 16GB | 运行良好 | 估算 12.4 tok/s9.9–14.8校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k |
| 市场价 US$449（截至 2026-08-09） |
| GeForce RTX 4060 Ti 16GB | 运行良好 | 估算 10.7 tok/s8.5–12.8校准估算 ±20% | Q4_K_M | 16.0 / 16.0 GB + 0.8 GB 内存 | 部分卸载 | 最长 8k | — | 首发价 US$499 |
| Apple M6 · 24 GB | 运行良好 | 估算 8.3 tok/s6.6–9.9校准估算 ±20% | Q4_K_M | 16.2 / 16.8 GB | 统一内存 | 最长 8k | — | — |
| Apple M5 · 24 GB | 运行较慢 | 估算 7.4 tok/s6.0–8.9校准估算 ±20% | Q4_K_M | 16.2 / 16.8 GB | 统一内存 | 最长 8k |
| — |
| GeForce RTX 3080 12GB | 运行较慢 | 估算 7.4 tok/s5.9–8.9校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 首发价 US$799 |
| GeForce RTX 5070 | 运行较慢 | 估算 7.1 tok/s5.7–8.5校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 市场价 US$629（截至 2026-08-09） |
| GeForce RTX 5070 Ti Laptop | 运行较慢 | 估算 7.1 tok/s5.7–8.5校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| — |
| GeForce RTX 4070 | 运行较慢 | 估算 6.8 tok/s5.4–8.1校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 首发价 US$599 |
| GeForce RTX 4070 Super | 运行较慢 | 估算 6.8 tok/s5.4–8.1校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 首发价 US$599 |
| GeForce RTX 4080 Laptop | 运行较慢 | 估算 6.6 tok/s5.2–7.9校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| — |
| Intel Arc B580 | 运行较慢 | 估算 6.4 tok/s5.1–7.6校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 市场价 US$290（截至 2026-08-09） |
| GeForce RTX 3060 12GB | 运行较慢 | 估算 6.3 tok/s5.0–7.5校准估算 ±20% | Q4_K_M | 12.0 / 12.0 GB + 4.8 GB 内存 | 部分卸载 | 最长 32k |
| 市场价 US$250（截至 2026-08-09） |
| GeForce RTX 2080 Ti | 运行较慢 | 估算 6.1 tok/s4.9–7.3校准估算 ±20% | Q4_K_M | 11.0 / 11.0 GB + 5.8 GB 内存 | 部分卸载 | 最长 32k |
| 首发价 US$999 |
| GeForce GTX 1080 Ti | 运行较慢 | 估算 5.9 tok/s4.1–7.6理论估算 ±30% | Q4_K_M | 11.0 / 11.0 GB + 5.8 GB 内存 | 部分卸载 | 最长 32k |
| 首发价 US$699 |
| Apple M4 · 24 GB | 运行较慢 | 估算 5.8 tok/s4.7–7.0校准估算 ±20% | Q4_K_M | 16.2 / 16.8 GB | 统一内存 | 最长 8k |
| — |
| GeForce RTX 3080 10GB | 运行较慢 | 估算 5.5 tok/s4.4–6.6校准估算 ±20% | Q4_K_M | 10.0 / 10.0 GB + 6.8 GB 内存 | 部分卸载 | 最长 32k | — | 首发价 US$699 |
| GeForce RTX 3070 | 运行较慢 | 估算 4.3 tok/s3.4–5.1校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 首发价 US$499 |
| GeForce RTX 5060 | 运行较慢 | 估算 4.3 tok/s3.4–5.1校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 市场价 US$339（截至 2026-08-09） |
| GeForce RTX 5060 Ti 8GB | 运行较慢 | 估算 4.3 tok/s3.4–5.1校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 市场价 US$429（截至 2026-08-09） |
| GeForce RTX 4060 Ti 8GB | 运行较慢 | 估算 4.1 tok/s3.3–4.9校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 首发价 US$399 |
| GeForce RTX 4060 | 运行较慢 | 估算 4.0 tok/s3.2–4.8校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 首发价 US$299 |
| GeForce RTX 4060 Laptop | 运行较慢 | 估算 4.0 tok/s3.2–4.8校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | — |
| GeForce RTX 4070 Laptop | 运行较慢 | 估算 4.0 tok/s3.2–4.8校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | — |
| GeForce RTX 3050 8GB | 运行较慢 | 估算 3.9 tok/s3.1–4.7校准估算 ±20% | Q4_K_M | 8.0 / 8.0 GB + 8.8 GB 内存 | 部分卸载 | 最长 32k | — | 首发价 US$249 |
| DDR5-6000 双通道 CPU · 32 GB | 运行较慢 | 估算 3.1 tok/s2.5–3.7校准估算 ±20% | Q4_K_M | 15.7 GB 内存 | 纯 CPU | 最长 32k | — | — |
| DDR5-5600 双通道 CPU · 32 GB | 运行较慢 | 估算 2.9 tok/s2.3–3.4校准估算 ±20% | Q4_K_M | 15.7 GB 内存 | 纯 CPU | 最长 32k | — | — |
| DDR4-3200 双通道 CPU · 64 GB | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 2.5 tok/s2.0–3.0校准估算 ±20% | Q2_K | 10.2 GB 内存 | 纯 CPU | 最长 16k | — | — |
能运行它的最便宜 GPU
- 运行流畅GeForce RTX 3090市场价 US$1,050（截至 2026-08-09），估算 41.8 tok/s（36.8–46.8，校准估算 ±12%）。
- 运行良好Radeon RX 9060 XT 16GB市场价 US$449（截至 2026-08-09），估算 12.4 tok/s（9.9–14.8，校准估算 ±20%）。
Mistral Small 3.2 24B 的实测结果
这个模型暂无公开基准测试结果。
常见问题
Mistral Small 3.2 24B 需要多少显存？
Q4_K_M 文件为 14.33 GB；在 8k 上下文下，显卡约需 15.9 GB（权重 13.94 GB、KV 缓存 1.3 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 10.6 GB。 文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
能让 Mistral Small 3.2 24B 运行良好的最便宜 GPU 是哪款？
运行流畅的最便宜选择：GeForce RTX 3090，US$1,050（2026-08-09 市场价），估算 41.8 tok/s（36.8–46.8，校准估算 ±12%）。更便宜、仍能运行良好的选择：Radeon RX 9060 XT 16GB，US$449（2026-08-09 市场价），估算 12.4 tok/s（9.9–14.8，校准估算 ±20%）。
Mistral Small 3.2 24B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？
Q4_K_M、8k 上下文下：GeForce RTX 4060：运行较慢，估算 4.0 tok/s（3.2–4.8，校准估算 ±20%）; GeForce RTX 5060 Ti 16GB：运行良好，估算 14.8 tok/s（11.8–17.7，校准估算 ±20%）; GeForce RTX 3090：运行流畅，估算 41.8 tok/s（36.8–46.8，校准估算 ±12%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。