Qwen3 8B 硬件要求
模型信息
- 参数量
- 8.2B
- 注意力机制
- 全注意力
- 最大上下文
- 32,768 个 token
- 发布日期
- 2025-04-29
同系列的其他规格
| 模型 | 参数量 | 基准量化 | 所需显存（8k） | GeForce RTX 4060 | GeForce RTX 5060 Ti 16GB | GeForce RTX 3090 |
|---|---|---|---|---|---|---|
| Qwen3 8B当前模型 | 8.2B | Q4_K_M | 6.5 GB | 运行流畅 | 运行流畅 | 运行流畅 |
| Qwen3 14B | 14.8B | Q4_K_M | 10.5 GB | 运行较慢 | 运行流畅 | 运行流畅 |
| Qwen3 30B-A3B (2507) | 总计 30.5B · 激活 3.3B（MoE） | Q4_K_M | 19.8 GB | 运行良好 | 运行良好 | 运行流畅 |
| Qwen3 32B | 32.8B | Q4_K_M | 22.0 GB | 无法运行 | 运行较慢 | 运行良好 |
GGUF 文件
| 量化 | 文件大小 | 质量 | 发布者 |
|---|---|---|---|
| Q2_K | 3.28 GB | 损失严重 | 社区 GGUF · unsloth |
| IQ4_XS | 4.58 GB | 均衡 | 社区 GGUF · unsloth |
| Q4_K_M基准 | 5.03 GB | 均衡 | 社区 GGUF · unsloth |
| Q8_0 | 8.71 GB | 近乎无损 | 社区 GGUF · unsloth |
部分仓库只发布 Unsloth Dynamic（UD）版本，大小以你实际下载的文件为准。
不同量化和上下文所需的显存
| 量化 | 4k | 8k | 16k | 32k |
|---|---|---|---|---|
| Q2_K | 4.2 | 4.9 | 6.1 | 8.7 |
| IQ4_XS | 5.4 | 6.0 | 7.3 | 9.9 |
| Q4_K_M | 5.8 | 6.5 | 7.7 | 10.3 |
| Q8_0 | 9.2 | 9.8 | 11.1 | 13.7 |
哪些 GPU 能跑 Qwen3 8B？
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
左右滑动可查看所有列。
| 硬件 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 | 价格 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 运行流畅 | 234.3 tok/s8k 估算 201.1 tok/s（177.0–225.2，校准估算 ±12%）实测（1 次，512 上下文） | Q4_K_M | 7.1 / 32.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$4,200（截至 2026-08-09） |
| Radeon RX 7900 XTX | 运行流畅 | 估算 117.0 tok/s102.9–131.0校准估算 ±12% | Q4_K_M | 7.1 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$999 |
| GeForce RTX 3090 Ti | 运行流畅 | 估算 113.1 tok/s99.5–126.7校准估算 ±12% | Q4_K_M | 7.1 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$1,999 |
| GeForce RTX 4090 | 运行流畅 | 估算 113.1 tok/s99.5–126.7校准估算 ±12% | Q4_K_M | 7.1 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$2,755（截至 2026-08-09） |
| Apple M5 Ultra · 96 GB | 运行流畅 | 估算 112.2 tok/s89.8–134.7校准估算 ±20% | Q4_K_M | 6.8 / 67.2 GB | 统一内存 | 最长 32k | — | — |
| GeForce RTX 5080 | 运行流畅 | 估算 107.7 tok/s94.8–120.7校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$1,256（截至 2026-08-09） |
| GeForce RTX 3090 | 运行流畅 | 估算 105.0 tok/s92.4–117.6校准估算 ±12% | Q4_K_M | 7.1 / 24.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$1,050（截至 2026-08-09） |
| GeForce RTX 3080 12GB | 运行流畅 | 估算 102.3 tok/s90.1–114.6校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$799 |
| GeForce RTX 5070 Ti | 运行流畅 | 估算 100.5 tok/s88.5–112.6校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$949（截至 2026-08-09） |
| GeForce RTX 5080 Laptop | 运行流畅 | 估算 100.5 tok/s88.5–112.6校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | — |
| GeForce RTX 5090 Laptop | 运行流畅 | 估算 100.5 tok/s88.5–112.6校准估算 ±12% | Q4_K_M | 7.1 / 24.0 GB | 全部载入显卡 | 最长 32k | — | — |
| Radeon RX 9070 | 运行流畅 | 99.3 tok/s8k 估算 78.6 tok/s（69.2–88.0，校准估算 ±12%）实测（2 次，512 上下文） | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$639（截至 2026-08-09） |
| Radeon RX 7900 XT | 运行流畅 | 估算 97.5 tok/s85.8–109.2校准估算 ±12% | Q4_K_M | 7.1 / 20.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$899 |
| GeForce RTX 3080 10GB | 运行流畅 | 估算 85.3 tok/s75.1–95.5校准估算 ±12% | Q4_K_M | 7.1 / 10.0 GB | 全部载入显卡 | 最长 16k | — | 首发价 US$699 |
| GeForce RTX 4080 Super | 运行流畅 | 估算 82.6 tok/s72.7–92.5校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$999 |
| GeForce RTX 4080 | 运行流畅 | 估算 80.5 tok/s70.8–90.1校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$1,199 |
| Radeon RX 9070 XT | 运行流畅 | 估算 78.6 tok/s69.2–88.0校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$689（截至 2026-08-09） |
| Radeon RX 7800 XT | 运行流畅 | 估算 76.0 tok/s66.9–85.1校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$499 |
| GeForce RTX 4070 Ti Super | 运行流畅 | 估算 75.4 tok/s66.4–84.5校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$799 |
| GeForce RTX 5070 | 运行流畅 | 估算 75.4 tok/s66.4–84.5校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$629（截至 2026-08-09） |
| GeForce RTX 5070 Ti Laptop | 运行流畅 | 估算 75.4 tok/s66.4–84.5校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | — |
| Apple M3 Ultra · 96 GB | 运行流畅 | 估算 74.8 tok/s59.9–89.8校准估算 ±20% | Q4_K_M | 6.8 / 67.2 GB | 统一内存 | 最长 32k | — | — |
| Apple M5 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 74.8 tok/s59.8–89.8校准估算 ±20% | Q4_K_M | 6.8 / 33.6 GB | 统一内存 | 最长 32k | — | — |
| Apple M2 Ultra · 64 GB | 运行流畅 | 估算 73.1 tok/s58.5–87.7校准估算 ±20% | Q4_K_M | 6.8 / 44.8 GB | 统一内存 | 最长 32k | — | — |
| GeForce RTX 2080 Ti | 运行流畅 | 估算 69.1 tok/s60.8–77.4校准估算 ±12% | Q4_K_M | 7.1 / 11.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$999 |
| Apple M4 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 66.5 tok/s53.2–79.8校准估算 ±20% | Q4_K_M | 6.8 / 33.6 GB | 统一内存 | 最长 32k | — | — |
| GeForce RTX 4090 Laptop | 运行流畅 | 估算 64.6 tok/s56.9–72.4校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | — |
| Intel Arc B580 | 运行流畅 | 61.0 tok/s8k 估算 43.1 tok/s（34.5–51.8，校准估算 ±20%）实测（1 次，8k 上下文） | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 16k | — | 市场价 US$290（截至 2026-08-09） |
| GeForce RTX 4070 | 运行流畅 | 估算 56.6 tok/s49.8–63.3校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$599 |
| GeForce RTX 4070 Super | 运行流畅 | 估算 56.6 tok/s49.8–63.3校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$599 |
| Apple M5 Max (32-core GPU) · 36 GB | 运行流畅 | 估算 56.0 tok/s44.8–67.3校准估算 ±20% | Q4_K_M | 6.8 / 25.2 GB | 统一内存 | 最长 32k | — | — |
| GeForce GTX 1080 Ti | 运行流畅 | 估算 54.3 tok/s38.0–70.6理论估算 ±30% | Q4_K_M | 7.1 / 11.0 GB | 全部载入显卡 | 最长 32k | — | 首发价 US$699 |
| GeForce RTX 3070 | 运行流畅 | 估算 50.3 tok/s44.2–56.3校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k | — | 首发价 US$499 |
| GeForce RTX 5060 | 运行流畅 | 估算 50.3 tok/s44.2–56.3校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k | — | 市场价 US$339（截至 2026-08-09） |
| GeForce RTX 5060 Ti 16GB | 运行流畅 | 估算 50.3 tok/s44.2–56.3校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 32k | — | 市场价 US$569（截至 2026-08-09） |
| GeForce RTX 5060 Ti 8GB | 运行流畅 | 估算 50.3 tok/s44.2–56.3校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k | — | 市场价 US$429（截至 2026-08-09） |
| Apple M4 Max (32-core GPU) · 36 GB | 运行流畅 | 估算 50.0 tok/s40.0–59.9校准估算 ±20% | Q4_K_M | 6.8 / 25.2 GB | 统一内存 | 最长 32k | — | — |
| GeForce RTX 4080 Laptop | 运行流畅 | 估算 48.5 tok/s42.7–54.3校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 32k | — | — |
| Apple M5 Pro · 24 GB | 运行流畅 | 45.4 tok/s8k 估算 37.4 tok/s（29.9–44.9，校准估算 ±20%）实测（1 次，512 上下文） | Q4_K_M | 6.8 / 16.8 GB | 统一内存 | 最长 16k | — | — |
| NVIDIA DGX Spark · 64 GB | 运行流畅 | 43.9 tok/s8k 估算 34.1 tok/s（27.3–41.0，校准估算 ±20%）实测（1 次，512 上下文） | Q4_K_M | 6.8 / 48.2 GB | 统一内存 | 最长 8k | — | 首发价 US$3,999（128 GB） |
| Ryzen AI Max+ 395 (Strix Halo) · 32 GB | 运行流畅 | 43.6 tok/s8k 估算 33.7 tok/s（26.9–40.4，校准估算 ±20%）实测（1 次，512 上下文） | Q4_K_M | 6.8 / 22.4 GB | 统一内存 | 最长 8k | — | 首发价 US$1,999（128 GB） |
| GeForce RTX 3060 12GB | 运行流畅 | 估算 40.4 tok/s35.6–45.2校准估算 ±12% | Q4_K_M | 7.1 / 12.0 GB | 全部载入显卡 | 最长 16k | — | 市场价 US$250（截至 2026-08-09） |
| Radeon RX 9060 XT 16GB | 运行流畅 | 估算 39.2 tok/s34.5–43.9校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 16k | — | 市场价 US$449（截至 2026-08-09） |
| Apple M4 Pro · 24 GB | 运行流畅 | 估算 33.3 tok/s26.6–39.9校准估算 ±20% | Q4_K_M | 6.8 / 16.8 GB | 统一内存 | 最长 8k | — | — |
| GeForce RTX 4060 Ti 16GB | 运行流畅 | 估算 32.3 tok/s28.4–36.2校准估算 ±12% | Q4_K_M | 7.1 / 16.0 GB | 全部载入显卡 | 最长 8k | — | 首发价 US$499 |
| GeForce RTX 4060 Ti 8GB | 运行流畅 | 估算 32.3 tok/s28.4–36.2校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k | — | 首发价 US$399 |
| GeForce RTX 4060 | 运行流畅 | 估算 30.5 tok/s26.9–34.2校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k | — | 首发价 US$299 |
| GeForce RTX 4060 Laptop | 运行良好 | 估算 28.7 tok/s25.3–32.2校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k |
| — |
| GeForce RTX 4070 Laptop | 运行良好 | 估算 28.7 tok/s25.3–32.2校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k |
| — |
| GeForce RTX 3050 8GB | 运行良好 | 估算 25.1 tok/s22.1–28.2校准估算 ±12% | Q4_K_M | 7.1 / 8.0 GB | 全部载入显卡 | 最长 8k |
| 首发价 US$249 |
| Apple M5 · 16 GB | 运行良好 | 估算 18.7 tok/s15.0–22.5校准估算 ±20% | Q4_K_M | 6.8 / 11.2 GB | 统一内存 | 最长 16k | — | — |
| Apple M6 · 16 GB | 运行良好 | 估算 18.7 tok/s15.0–22.5校准估算 ±20% | Q4_K_M | 6.8 / 11.2 GB | 统一内存 | 最长 16k | — | — |
| Apple M4 · 16 GB | 运行良好 | 估算 14.6 tok/s11.7–17.5校准估算 ±20% | Q4_K_M | 6.8 / 11.2 GB | 统一内存 | 最长 16k | — | — |
| DDR5-6000 双通道 CPU · 16 GB | 运行较慢 | 估算 7.7 tok/s6.2–9.2校准估算 ±20% | Q4_K_M | 6.2 GB 内存 | 纯 CPU | 最长 32k | — | — |
| DDR5-5600 双通道 CPU · 16 GB | 运行较慢 | 估算 7.2 tok/s5.7–8.6校准估算 ±20% | Q4_K_M | 6.2 GB 内存 | 纯 CPU | 最长 32k | — | — |
| DDR4-3200 双通道 CPU · 16 GB | 运行较慢 | 估算 4.1 tok/s3.3–4.9校准估算 ±20% | Q4_K_M | 6.2 GB 内存 | 纯 CPU | 最长 16k | — | — |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
能运行它的最便宜 GPU
- 运行流畅GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 40.4 tok/s（35.6–45.2，校准估算 ±12%）。
Qwen3 8B 的实测结果
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
| 硬件 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | Q4_K_XL | llama.cpp | 16k | — | 145.3 | — | hardware-corner.net | 2026-08-09 |
| GeForce RTX 4090 | Q4_K_XL | llama.cpp | 16k | — | 104.3 | — | hardware-corner.net | 2026-08-09 |
| GeForce RTX 3090 | Q4_K_XL | llama.cpp | 16k | — | 87.5 | — | hardware-corner.net | 2026-08-09 |
| GeForce RTX 3060 12GB | Q4_K_XL | llama.cpp | 16k | — | 42.0 | — | hardware-corner.net | 2026-08-09 |
| GeForce RTX 4090 | Q4_K_XL | llama.cpp | 4k | 9,251.0 | 141.3 | CUDA | hardware-corner.net | 2026-03-01 |
| GeForce RTX 5090 | Q4_K_XL | llama.cpp | 4k | 11,933.0 | 200.4 | CUDA | hardware-corner.net | 2026-03-02 |
| GeForce RTX 3090 | Q4_K_XL | llama.cpp | 4k | 4,050.0 | 115.3 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 3060 12GB | Q4_K_XL | llama.cpp | 4k | 1,697.0 | 55.2 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 3090 Ti | Q4_K_XL | llama.cpp | 4k | 4,468.0 | 123.7 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4060 Ti 16GB | Q4_K_XL | llama.cpp | 4k | 2,675.0 | 45.8 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4070 Super | Q4_K_XL | llama.cpp | 4k | 4,322.0 | 75.4 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4070 Ti Super | Q4_K_XL | llama.cpp | 4k | 5,220.0 | 96.3 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4070 | Q4_K_XL | llama.cpp | 4k | 3,564.0 | 71.2 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4080 Super | Q4_K_XL | llama.cpp | 4k | 6,137.0 | 104.2 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 4080 | Q4_K_XL | llama.cpp | 4k | 6,178.0 | 102.7 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 5060 Ti 16GB | Q4_K_XL | llama.cpp | 4k | 2,965.0 | 69.2 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 5070 Ti | Q4_K_XL | llama.cpp | 4k | 5,557.0 | 120.5 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 5070 | Q4_K_XL | llama.cpp | 4k | 3,488.0 | 85.8 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 5080 | Q4_K_XL | llama.cpp | 4k | 6,410.0 | 129.1 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 3080 10GB | Q4_K_XL | llama.cpp | 16k | 2,288.0 | 74.2 | CUDA | hardware-corner.net | 2025-12-09 |
| GeForce RTX 5090 | Q4_K_M | llama.cpp | 512 | — | 234.3 | CUDA, KV q8_0 | github.com | 2026-10-07 |
| GeForce RTX 5090 | Q8_0 | llama.cpp | 512 | 10,787.0 | 136.2 | CUDA | github.com | 2025-10-16 |
| Radeon RX 9070 | Q4_K_M | llama.cpp | 512 | 2,635.0 | 109.9 | Vulkan | github.com | 2026-09-06 |
| Radeon RX 9070 | Q4_K_M | llama.cpp | 512 | 3,447.0 | 88.7 | ROCm | github.com | 2026-09-07 |
| Intel Arc B580 | Q4_K_M | ollama | 8k | — | 61.0 | Vulkan | github.com | 2026-08-27 |
| Ryzen AI Max+ 395 (Strix Halo) | Q4_K_M | llama.cpp | 512 | 1,238.0 | 43.6 | Vulkan | github.com | 2026-09-08 |
| NVIDIA DGX Spark | Q4_K_M | llama.cpp | 512 | 3,168.0 | 43.9 | CUDA | github.com | 2025-12-05 |
| Apple M5 Pro | Q4_K_M | llama.cpp | 512 | 1,223.0 | 45.4 | Metal | github.com | 2026-09-08 |
| Apple M5 | Q8_0 | llama.cpp | 512 | 712.0 | 16.1 | Metal, KV q8_0 | andoriyanishant.com | 2026-09-13 |
常见问题
Qwen3 8B 需要多少显存？
Q4_K_M 文件为 5.03 GB；在 8k 上下文下，显卡约需 6.5 GB（权重 4.67 GB、KV 缓存 1.2 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 4.9 GB。 文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
能让 Qwen3 8B 运行良好的最便宜 GPU 是哪款？
运行流畅的最便宜选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 40.4 tok/s（35.6–45.2，校准估算 ±12%）。
Qwen3 8B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？
Q4_K_M、8k 上下文下：GeForce RTX 4060：运行流畅，估算 30.5 tok/s（26.9–34.2，校准估算 ±12%）; GeForce RTX 5060 Ti 16GB：运行流畅，估算 50.3 tok/s（44.2–56.3，校准估算 ±12%）; GeForce RTX 3090：运行流畅，估算 105.0 tok/s（92.4–117.6，校准估算 ±12%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。