DeepSeek R1 Distill Qwen 32B 硬件要求

模型信息

参数量: 32.8B
注意力机制: 全注意力
最大上下文: 131,072 个 token
发布日期: 2025-01-20
模型卡: Hugging Face 上的 DeepSeek R1 Distill Qwen 32B

同系列的其他规格

各模型在基准量化、8k 上下文下所需的显存，以及在常见显卡上的判定，按模型从小到大排列
模型	参数量	基准量化	所需显存（8k）	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
DeepSeek R1 Distill Llama 8B	8.03B	Q4_K_M	6.3 GB	运行流畅	运行流畅	运行流畅
DeepSeek R1 0528 Qwen3 8B	8.19B	Q4_K_M	6.5 GB	运行流畅	运行流畅	运行流畅
DeepSeek R1 Distill Qwen 14B	14.77B	Q4_K_M	10.7 GB	运行较慢	运行良好	运行流畅
DeepSeek R1 Distill Qwen 32B当前模型	32.8B	Q4_K_M	22.1 GB	无法运行	运行较慢	运行良好

GGUF 文件

收录的 DeepSeek R1 Distill Qwen 32B 量化文件，从小到大排列
量化	文件大小	质量	发布者
Q2_K	12.31 GB	损失严重	社区 GGUF · unsloth
Q4_K_M基准	19.85 GB	均衡	社区 GGUF · unsloth
Q6_K	26.89 GB	近乎无损	社区 GGUF · unsloth
Q8_0	34.82 GB	近乎无损	社区 GGUF · unsloth

部分仓库只发布 Unsloth Dynamic（UD）版本，大小以你实际下载的文件为准。

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
量化	4k	8k	16k	32k	64k	128k
Q2_K	13.7	14.8	17.0	21.4	30.3	48.1
Q4_K_M	21.0	22.1	24.4	28.8	37.7	55.5
Q6_K	27.9	29.0	31.2	35.6	44.5	62.3
Q8_0	35.6	36.7	38.9	43.4	52.3	70.0

哪些 GPU 能跑 DeepSeek R1 Distill Qwen 32B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	估算 57.0 tok/s50.2–63.9校准估算 ±12%	Q4_K_M	22.7 / 32.0 GB	全部载入显卡	最长 32k	—	市场价 US$4,200（截至 2026-08-09）
Radeon RX 7900 XTX	运行流畅	估算 33.2 tok/s29.2–37.1校准估算 ±12%	Q4_K_M	22.7 / 24.0 GB	全部载入显卡	最长 8k	—	首发价 US$999
GeForce RTX 3090 Ti	运行流畅	估算 32.1 tok/s28.2–35.9校准估算 ±12%	Q4_K_M	22.7 / 24.0 GB	全部载入显卡	最长 8k	—	首发价 US$1,999
GeForce RTX 4090	运行流畅	估算 32.1 tok/s28.2–35.9校准估算 ±12%	Q4_K_M	22.7 / 24.0 GB	全部载入显卡	最长 8k	—	市场价 US$2,755（截至 2026-08-09）
Apple M5 Ultra · 96 GB	运行流畅	估算 31.8 tok/s25.5–38.2校准估算 ±20%	Q4_K_M	22.6 / 67.2 GB	统一内存	最长 8k	—	—
GeForce RTX 3090	运行良好	估算 29.8 tok/s26.2–33.4校准估算 ±12%	Q4_K_M	22.7 / 24.0 GB	全部载入显卡	最长 8k	Q2_K（质量损失大）：运行流畅	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 5090 Laptop	运行良好	估算 28.5 tok/s25.1–31.9校准估算 ±12%	Q4_K_M	22.7 / 24.0 GB	全部载入显卡	最长 8k	Q2_K（质量损失大）：运行流畅	—
Apple M3 Ultra · 96 GB	运行良好	估算 21.2 tok/s17.0–25.5校准估算 ±20%	Q4_K_M	22.6 / 67.2 GB	统一内存	最长 64k	Q2_K（质量损失大）：运行流畅	—
Apple M5 Max (40-core GPU) · 48 GB	运行良好	估算 21.2 tok/s17.0–25.5校准估算 ±20%	Q4_K_M	22.6 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行流畅	—
Apple M2 Ultra · 64 GB	运行良好	估算 20.7 tok/s16.6–24.9校准估算 ±20%	Q4_K_M	22.6 / 44.8 GB	统一内存	最长 64k	Q2_K（质量损失大）：运行流畅	—
Apple M4 Max (40-core GPU) · 48 GB	运行良好	估算 18.9 tok/s15.1–22.6校准估算 ±20%	Q4_K_M	22.6 / 33.6 GB	统一内存	最长 32k	—	—
Apple M5 Max (32-core GPU) · 36 GB	运行良好	估算 15.9 tok/s12.7–19.1校准估算 ±20%	Q4_K_M	22.6 / 25.2 GB	统一内存	最长 16k	—	—
Apple M4 Max (32-core GPU) · 36 GB	运行良好	估算 14.2 tok/s11.3–17.0校准估算 ±20%	Q4_K_M	22.6 / 25.2 GB	统一内存	最长 16k	—	—
Apple M5 Pro · 48 GB	运行较慢	估算 10.6 tok/s8.5–12.7校准估算 ±20%	Q4_K_M	22.6 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行良好	—
NVIDIA DGX Spark · 64 GB	运行较慢	估算 9.7 tok/s7.7–11.6校准估算 ±20%	Q4_K_M	22.6 / 48.2 GB	统一内存	最长 64k	Q2_K（质量损失大）：运行良好	首发价 US$3,999（128 GB）
Apple M4 Pro · 48 GB	运行较慢	估算 9.4 tok/s7.5–11.3校准估算 ±20%	Q4_K_M	22.6 / 33.6 GB	统一内存	最长 32k	Q2_K（质量损失大）：运行良好	—
Radeon RX 7900 XT	运行较慢	估算 9.2 tok/s7.3–11.0校准估算 ±20%	Q4_K_M	20.0 / 20.0 GB + 3.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$899
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行较慢	估算 5.8 tok/s4.1–7.6理论估算 ±30%	Q4_K_M	22.0 GB 内存	纯 CPU	最长 16k	Q2_K（质量损失大）：运行良好	首发价 US$1,999（128 GB）
GeForce RTX 5080	运行较慢	估算 5.0 tok/s4.0–6.1校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 5070 Ti	运行较慢	估算 5.0 tok/s4.0–6.0校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行较慢	估算 5.0 tok/s4.0–6.0校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	—
GeForce RTX 4080 Super	运行较慢	估算 4.9 tok/s3.9–5.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$999
GeForce RTX 4080	运行较慢	估算 4.9 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$1,199
Radeon RX 9070	运行较慢	估算 4.9 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行较慢	估算 4.9 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行较慢	估算 4.8 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$499
GeForce RTX 4070 Ti Super	运行较慢	估算 4.8 tok/s3.9–5.8校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行流畅	首发价 US$799
GeForce RTX 4090 Laptop	运行较慢	估算 4.7 tok/s3.8–5.7校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	—
GeForce RTX 5060 Ti 16GB	运行较慢	估算 4.5 tok/s3.6–5.4校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	市场价 US$569（截至 2026-08-09）
Radeon RX 9060 XT 16GB	运行较慢	估算 4.3 tok/s3.4–5.1校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	市场价 US$449（截至 2026-08-09）
GeForce RTX 4060 Ti 16GB	运行较慢	估算 4.0 tok/s3.2–4.9校准估算 ±20%	Q4_K_M	16.0 / 16.0 GB + 7.2 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好	首发价 US$499
Apple M6 · 32 GB	运行较慢	估算 3.9 tok/s2.7–5.0理论估算 ±30%	Q4_K_M	22.0 GB 内存	纯 CPU	最长 16k	—	—
Apple M5 · 32 GB	运行较慢	估算 3.5 tok/s2.4–4.5理论估算 ±30%	Q4_K_M	22.0 GB 内存	纯 CPU	最长 16k	—	—
GeForce RTX 3080 12GB	运行较慢	估算 3.4 tok/s2.7–4.1校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	首发价 US$799
GeForce RTX 5070	运行较慢	估算 3.4 tok/s2.7–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行较慢	估算 3.4 tok/s2.7–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	—
GeForce RTX 4070	运行较慢	估算 3.3 tok/s2.6–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	首发价 US$599
GeForce RTX 4070 Super	运行较慢	估算 3.3 tok/s2.6–4.0校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	首发价 US$599
GeForce RTX 4080 Laptop	运行较慢	估算 3.2 tok/s2.6–3.9校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	—
Intel Arc B580	运行较慢	估算 3.2 tok/s2.6–3.8校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	市场价 US$290（截至 2026-08-09）
GeForce RTX 3060 12GB	运行较慢	估算 3.2 tok/s2.5–3.8校准估算 ±20%	Q4_K_M	12.0 / 12.0 GB + 11.2 GB 内存	部分卸载	最长 8k	—	市场价 US$250（截至 2026-08-09）
GeForce RTX 2080 Ti	运行较慢	估算 3.1 tok/s2.5–3.7校准估算 ±20%	Q4_K_M	11.0 / 11.0 GB + 12.2 GB 内存	部分卸载	最长 8k	—	首发价 US$999
GeForce GTX 1080 Ti	运行较慢	估算 3.1 tok/s2.1–4.0理论估算 ±30%	Q4_K_M	11.0 / 11.0 GB + 12.2 GB 内存	部分卸载	最长 8k	—	首发价 US$699
Apple M4 · 32 GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 6.3 tok/s5.0–7.6校准估算 ±20%	Q2_K	15.0 / 22.4 GB	统一内存	最长 32k	—	—
GeForce RTX 3080 10GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 6.2 tok/s4.9–7.4校准估算 ±20%	Q2_K	10.0 / 10.0 GB + 5.6 GB 内存	部分卸载	最长 16k	—	首发价 US$699
GeForce RTX 3070	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	首发价 US$499
GeForce RTX 5060	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.6 tok/s3.7–5.5校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	市场价 US$429（截至 2026-08-09）
GeForce RTX 4060 Ti 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.3校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	首发价 US$399
GeForce RTX 4060	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	首发价 US$299
GeForce RTX 4060 Laptop	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 4070 Laptop	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 3050 8GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.3 tok/s3.4–5.1校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	—	首发价 US$249
DDR5-6000 双通道 CPU · 96 GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.3 tok/s2.7–4.0校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	—	—
DDR5-5600 双通道 CPU · 96 GB	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.1 tok/s2.5–3.7校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	—	—
DDR4-3200 双通道 CPU · 64 GB	无法运行	估算 1.2 tok/s0.9–1.4校准估算 ±20%	Q4_K_M	22.0 GB 内存	纯 CPU	—	能装下，但速度太慢，难以实际使用	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

能运行它的最便宜 GPU

运行流畅GeForce RTX 4090市场价 US$2,755（截至 2026-08-09），估算 32.1 tok/s（28.2–35.9，校准估算 ±12%）。
运行良好GeForce RTX 3090市场价 US$1,050（截至 2026-08-09），估算 29.8 tok/s（26.2–33.4，校准估算 ±12%）。

DeepSeek R1 Distill Qwen 32B 的实测结果

这个模型暂无公开基准测试结果。

常见问题

DeepSeek R1 Distill Qwen 32B 需要多少显存？

Q4_K_M 文件为 19.85 GB；在 8k 上下文下，显卡约需 22.1 GB（权重 19.41 GB、KV 缓存 2.1 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 14.8 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。

能让 DeepSeek R1 Distill Qwen 32B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 4090，US$2,755（2026-08-09 市场价），估算 32.1 tok/s（28.2–35.9，校准估算 ±12%）。更便宜、仍能运行良好的选择：GeForce RTX 3090，US$1,050（2026-08-09 市场价），估算 29.8 tok/s（26.2–33.4，校准估算 ±12%）。

DeepSeek R1 Distill Qwen 32B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：无法运行，估算 2.5 tok/s（2.0–3.0，校准估算 ±20%）; GeForce RTX 5060 Ti 16GB：运行较慢，估算 4.5 tok/s（3.6–5.4，校准估算 ±20%）; GeForce RTX 3090：运行良好，估算 29.8 tok/s（26.2–33.4，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。