Qwen3 32B 硬件要求

模型信息

参数量: 32.8B
注意力机制: 全注意力
最大上下文: 32,768 个 token
发布日期: 2025-04-29
模型卡: Hugging Face 上的 Qwen3 32B

同系列的其他规格

各模型在基准量化、8k 上下文下所需的显存，以及在常见显卡上的判定，按模型从小到大排列
模型	参数量	基准量化	所需显存（8k）	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Qwen3 8B	8.2B	Q4_K_M	6.5 GB	运行流畅	运行流畅	运行流畅
Qwen3 14B	14.8B	Q4_K_M	10.5 GB	运行较慢	运行流畅	运行流畅
Qwen3 30B-A3B (2507)	总计 30.5B · 激活 3.3B（MoE）	Q4_K_M	19.8 GB	运行良好	运行良好	运行流畅
Qwen3 32B当前模型	32.8B	Q4_K_M	22.0 GB	无法运行	运行较慢	运行良好

GGUF 文件

收录的 Qwen3 32B 量化文件，从小到大排列
量化	文件大小	质量	发布者
Q2_K	12.34 GB	损失严重	社区 GGUF · bartowski
IQ4_XS	17.69 GB	均衡	社区 GGUF · bartowski
Q4_K_M基准	19.76 GB	均衡	社区 GGUF · bartowski
Q8_0	34.82 GB	近乎无损	社区 GGUF · bartowski

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
量化	4k	8k	16k	32k
Q2_K	13.7	14.8	17.0	21.5
IQ4_XS	18.9	20.0	22.2	26.7
Q4_K_M	20.9	22.0	24.3	28.7
Q8_0	35.6	36.7	38.9	43.4

哪些 GPU 能跑 Qwen3 32B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	53.3 tok/s8k 估算 57.3 tok/s（50.4–64.1，校准估算 ±12%）实测（1 次，512 上下文）	Q4_K_M	22.6 / 32.0 GB	全部载入显卡	最长 32k	—	市场价 US$4,200（截至 2026-08-09）
GeForce RTX 4090	运行流畅	42.5 tok/s8k 估算 32.2 tok/s（28.3–36.1，校准估算 ±12%）实测（1 次，512 上下文）	Q4_K_M	22.6 / 24.0 GB	全部载入显卡	最长 8k	—	市场价 US$2,755（截至 2026-08-09）
Radeon RX 7900 XTX	运行流畅	估算 33.3 tok/s29.3–37.3校准估算 ±12%	Q4_K_M	22.6 / 24.0 GB	全部载入显卡	最长 8k	—	首发价 US$999
GeForce RTX 3090 Ti	运行流畅	估算 32.2 tok/s28.3–36.1校准估算 ±12%	Q4_K_M	22.6 / 24.0 GB	全部载入显卡	最长 8k	—	首发价 US$1,999
Apple M5 Ultra · 96 GB	运行流畅	估算 32.0 tok/s25.6–38.3校准估算 ±20%	Q4_K_M	22.5 / 67.2 GB	统一内存	最长 8k	—	—
GeForce RTX 3090	运行良好	估算 29.9 tok/s26.3–33.5校准估算 ±12%	Q4_K_M	22.6 / 24.0 GB	全部载入显卡	最长 8k	改用 IQ4_XS：运行流畅	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 5090 Laptop	运行良好	估算 28.6 tok/s25.2–32.1校准估算 ±12%	Q4_K_M	22.6 / 24.0 GB	全部载入显卡	最长 8k	改用 IQ4_XS：运行流畅	—
Apple M3 Ultra · 96 GB	运行良好	26.7 tok/s8k 估算 21.3 tok/s（17.0–25.6，校准估算 ±20%）实测（1 次，512 上下文）	Q4_K_M	22.5 / 67.2 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行流畅	—
Apple M5 Max (40-core GPU) · 48 GB	运行良好	估算 21.3 tok/s17.0–25.6校准估算 ±20%	Q4_K_M	22.5 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行流畅	—
Apple M2 Ultra · 64 GB	运行良好	估算 20.8 tok/s16.7–25.0校准估算 ±20%	Q4_K_M	22.5 / 44.8 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行流畅	—
Apple M4 Max (40-core GPU) · 48 GB	运行良好	估算 18.9 tok/s15.2–22.7校准估算 ±20%	Q4_K_M	22.5 / 33.6 GB	统一内存	最长 32k	—	—
Apple M5 Max (32-core GPU) · 36 GB	运行良好	估算 16.0 tok/s12.8–19.1校准估算 ±20%	Q4_K_M	22.5 / 25.2 GB	统一内存	最长 16k	—	—
Apple M4 Max (32-core GPU) · 36 GB	运行良好	估算 14.2 tok/s11.4–17.1校准估算 ±20%	Q4_K_M	22.5 / 25.2 GB	统一内存	最长 16k	—	—
Apple M5 Pro · 48 GB	运行较慢	估算 10.7 tok/s8.5–12.8校准估算 ±20%	Q4_K_M	22.5 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行良好	—
NVIDIA DGX Spark · 64 GB	运行较慢	10.7 tok/s8k 估算 9.7 tok/s（7.8–11.7，校准估算 ±20%）实测（2 次，512 上下文）	Q4_K_M	22.5 / 48.2 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行良好	首发价 US$3,999（128 GB）
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行较慢	10.2 tok/s8k 估算 5.8 tok/s（4.1–7.6，理论估算 ±30%）实测（2 次，512 上下文）	Q4_K_M	21.9 GB 内存	纯 CPU	最长 16k	Q2_K（质量损失大）：运行良好	首发价 US$1,999（128 GB）
Apple M4 Pro · 48 GB	运行较慢	估算 9.5 tok/s7.6–11.4校准估算 ±20%	Q4_K_M	22.5 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行良好	—
Radeon RX 7900 XT	运行较慢	估算 9.4 tok/s7.5–11.2校准估算 ±20%	Q4_K_M	20.0 / 20.0 GB + 3.1 GB 内存	部分卸载	最长 16k	改用 IQ4_XS：运行良好 Q2_K（质量损失大）：运行流畅	首发价 US$899
GeForce RTX 5080	运行较慢	估算 5.1 tok/s4.1–6.1校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 5070 Ti	运行较慢	估算 5.1 tok/s4.0–6.1校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行较慢	估算 5.1 tok/s4.0–6.1校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	—
GeForce RTX 4080 Super	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$999
GeForce RTX 4080	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$1,199
Radeon RX 9070	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$499
GeForce RTX 4070 Ti Super	运行较慢	估算 4.9 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$799
GeForce RTX 4090 Laptop	运行较慢	估算 4.8 tok/s3.8–5.7校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	—
GeForce RTX 5060 Ti 16GB	运行较慢	估算 4.5 tok/s3.6–5.5校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	市场价 US$569（截至 2026-08-09）
Radeon RX 9060 XT 16GB	运行较慢	估算 4.3 tok/s3.4–5.2校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	市场价 US$449（截至 2026-08-09）
GeForce RTX 4060 Ti 16GB	运行较慢	估算 4.1 tok/s3.3–4.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.1 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	首发价 US$499
Apple M6 · 32 GB	运行较慢	估算 3.9 tok/s2.7–5.1理论估算 ±30%	Q4_K_M	21.9 GB 内存	纯 CPU	最长 16k	—	—
Apple M5 · 32 GB	运行较慢	估算 3.5 tok/s2.5–4.6理论估算 ±30%	Q4_K_M	21.9 GB 内存	纯 CPU	最长 16k	—	—
GeForce RTX 3080 12GB	运行较慢	估算 3.5 tok/s2.8–4.1校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	首发价 US$799
GeForce RTX 5070	运行较慢	估算 3.4 tok/s2.7–4.1校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行较慢	估算 3.4 tok/s2.7–4.1校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	—
GeForce RTX 4070	运行较慢	估算 3.3 tok/s2.7–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	首发价 US$599
GeForce RTX 4070 Super	运行较慢	估算 3.3 tok/s2.7–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	首发价 US$599
GeForce RTX 4080 Laptop	运行较慢	估算 3.3 tok/s2.6–3.9校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	—
Intel Arc B580	运行较慢	估算 3.2 tok/s2.6–3.9校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	市场价 US$290（截至 2026-08-09）
GeForce RTX 3060 12GB	运行较慢	估算 3.2 tok/s2.6–3.8校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.1 GB 内存	部分卸载	最长 8k	—	市场价 US$250（截至 2026-08-09）
GeForce RTX 2080 Ti	运行较慢	估算 3.1 tok/s2.5–3.8校准估算 ±20%	Q4_K_M	11.0 / 11.0 GB + 12.1 GB 内存	部分卸载	最长 8k	—	首发价 US$999
GeForce GTX 1080 Ti	运行较慢	估算 3.1 tok/s2.2–4.0理论估算 ±30%	Q4_K_M	11.0 / 11.0 GB + 12.1 GB 内存	部分卸载	最长 8k	—	首发价 US$699
Apple M4 · 32 GB	无法运行改用 IQ4_XS：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	IQ4_XS	20.4 / 22.4 GB	统一内存	最长 8k	—	—
GeForce RTX 3070	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	首发价 US$499
GeForce RTX 5060	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	市场价 US$429（截至 2026-08-09）
GeForce RTX 4060 Ti 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.3校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	首发价 US$399
GeForce RTX 4060	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	首发价 US$299
GeForce RTX 4060 Laptop	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 4070 Laptop	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 3050 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.2 tok/s3.4–5.1校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	—	首发价 US$249
GeForce RTX 3080 10GB	无法运行改用 IQ4_XS：运行较慢	估算 3.5 tok/s2.8–4.1校准估算 ±20%	IQ4_XS	10.0 / 10.0 GB + 11.0 GB 内存	部分卸载	最长 8k	—	首发价 US$699
DDR5-6000 双通道 CPU · 96 GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.3 tok/s2.7–4.0校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	—	—
DDR5-5600 双通道 CPU · 96 GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.1 tok/s2.5–3.7校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	—	—
DDR4-3200 双通道 CPU · 64 GB	无法运行	估算 1.2 tok/s0.9–1.4校准估算 ±20%	Q4_K_M	21.9 GB 内存	纯 CPU	—	能装下，但速度太慢，难以实际使用	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

能运行它的最便宜 GPU

运行流畅GeForce RTX 4090市场价 US$2,755（截至 2026-08-09），实测 42.5 tok/s（512 上下文，1 次；8k 估算 32.2 tok/s，28.3–36.1，校准估算 ±12%）。
运行良好GeForce RTX 3090市场价 US$1,050（截至 2026-08-09），估算 29.9 tok/s（26.3–33.5，校准估算 ±12%）。

Qwen3 32B 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

Qwen3 32B 的实测结果
硬件	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
GeForce RTX 5090	Q4_K_XL	llama.cpp	4k	2,931.0	61.4	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4090	Q4_K_XL	llama.cpp	4k	2,448.0	39.6	CUDA	hardware-corner.net	2026-03-01
GeForce RTX 3090	Q4_K_XL	llama.cpp	4k	1,088.0	35.1	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 3090 Ti	Q4_K_XL	llama.cpp	4k	1,239.0	38.0	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5090	Q4_K_M	llama.cpp	512	3,446.0	53.3	CUDA	github.com	2026-09-15
GeForce RTX 4090	Q4_K_M	llama.cpp	512	2,302.0	42.5	Vulkan	github.com	2025-12-09
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	512	256.0	9.9	ROCm	blog.tosukui.xyz	2025-07-13
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	512	140.0	10.4	Vulkan	blog.tosukui.xyz	2025-05-16
Ryzen AI Max+ 395 (Strix Halo)	Q8_0	llama.cpp	512	77.0	6.4	ROCm	llm-tracker.info	2025-05-11
NVIDIA DGX Spark	Q4_K_M	llama.cpp	512	630.0	10.5	CUDA, Vulkan	github.com	2025-11-22
NVIDIA DGX Spark	Q4_K_M	llama.cpp	512	762.0	10.8	CUDA	github.com	2025-12-05
Apple M3 Ultra	Q4_K_M	llama.cpp	512	335.0	26.7	Metal	github.com	2025-12-08

常见问题

Qwen3 32B 需要多少显存？

Q4_K_M 文件为 19.76 GB；在 8k 上下文下，显卡约需 22.0 GB（权重 19.32 GB、KV 缓存 2.1 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 14.8 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。

能让 Qwen3 32B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 4090，US$2,755（2026-08-09 市场价），实测 42.5 tok/s（512 上下文，1 次；8k 估算 32.2 tok/s，28.3–36.1，校准估算 ±12%）。更便宜、仍能运行良好的选择：GeForce RTX 3090，US$1,050（2026-08-09 市场价），估算 29.9 tok/s（26.3–33.5，校准估算 ±12%）。

Qwen3 32B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：无法运行，估算 2.5 tok/s（2.0–3.0，校准估算 ±20%）; GeForce RTX 5060 Ti 16GB：运行较慢，估算 4.5 tok/s（3.6–5.5，校准估算 ±20%）; GeForce RTX 3090：运行良好，估算 29.9 tok/s（26.3–33.5，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。