DDR5-5600 双通道 CPU 能跑哪些本地大模型？

无 GPU：整个模型在系统内存中运行

按纯 CPU 推理计算，为操作系统预留 4 GB 内存，8k 上下文，f16 KV 缓存。判定按内存容量分别列出。

规格

内存配置: 16 GB · 32 GB · 64 GB · 96 GB
内存带宽: 89.6 GB/s
发布年份: 2021

判定一览

基于 Q4_K_M（或最接近的可用量化）、8k 上下文。

16 GB运行流畅0 个模型运行良好0 个模型运行较慢28 个模型无法运行30 个模型另有 5 个模型可以用更低的量化运行。
32 GB运行流畅0 个模型运行良好0 个模型运行较慢38 个模型无法运行20 个模型另有 8 个模型可以用更低的量化运行。
64 GB运行流畅0 个模型运行良好0 个模型运行较慢39 个模型无法运行19 个模型另有 10 个模型可以用更低的量化运行。
96 GB运行流畅0 个模型运行良好0 个模型运行较慢44 个模型无法运行14 个模型另有 8 个模型可以用更低的量化运行。

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

DDR5-5600 双通道 CPU 上的全部模型

左右滑动可查看所有列。

58 个模型，内存 96 GB，按判定和速度排序
模型	判定	速度	量化	显存/内存	运行方式	上下文	备注
MiniCPM5 1B	运行较慢	估算 50.3 tok/s40.2–60.3校准估算 ±20%	Q4_K_M	0.9 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Ling-3.0 Tiny	运行较慢	估算 45.3 tok/s31.7–58.9理论估算 ±30%	Q4_K_M	4.9 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Llama 3.2 1B	运行较慢	估算 41.5 tok/s33.2–49.8校准估算 ±20%	Q4_K_M	1.1 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”
EXAONE 4.0 1.2B	运行较慢	估算 34.1 tok/s27.3–40.9校准估算 ±20%	Q4_K_M	1.3 GB 内存	纯 CPU	最长 64k	CPU 推理：最高只能判为“运行较慢” 思考模式
Gemma 4 E2B	运行较慢	估算 28.9 tok/s20.2–37.6理论估算 ±30%	Q4_K_M	3.2 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
LFM2.5 2.6B	运行较慢	估算 24.8 tok/s17.4–32.3理论估算 ±30%	Q4_K_M	1.8 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
HyperCLOVA X SEED 1.5B	运行较慢	估算 24.7 tok/s19.7–29.6校准估算 ±20%	Q4_K_M	1.8 GB 内存	纯 CPU	最长 16k	CPU 推理：最高只能判为“运行较慢”
MiniCPM5 2B	运行较慢	估算 23.4 tok/s18.7–28.1校准估算 ±20%	Q4_K_M	1.9 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Mellum2.1 12B-A2.5B Thinking	运行较慢	估算 21.7 tok/s17.3–26.0校准估算 ±20%	Q4_K_M	8.2 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
MiniCPM-V 4.7 35B-A3B	运行较慢	估算 19.5 tok/s15.6–23.5校准估算 ±20%	Q4_K_M	21.3 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Qwen3.6 35B-A3B	运行较慢	估算 19.0 tok/s15.2–22.8校准估算 ±20%	Q4_K_M	22.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Qwen3.5 35B-A3B	运行较慢	估算 18.7 tok/s15.0–22.5校准估算 ±20%	Q4_K_M	22.8 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
gpt-oss-20b	运行较慢	估算 16.8 tok/s13.5–20.2校准估算 ±20%	MXFP4	12.3 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Kolibri 1	运行较慢	估算 16.2 tok/s13.0–19.5校准估算 ±20%	Q4_K_M	49.9 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Nemotron 3.5 Lightning 30B-A3B	运行较慢	估算 15.6 tok/s10.9–20.3理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Spark-X2.5 4B	运行较慢	估算 15.4 tok/s12.4–18.5校准估算 ±20%	Q4_K_M	2.9 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Llama 3.2 3B	运行较慢	估算 15.1 tok/s12.1–18.2校准估算 ±20%	Q4_K_M	3.0 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”
Qwen3.5 4B	运行较慢	估算 14.5 tok/s11.6–17.4校准估算 ±20%	Q4_K_M	3.1 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Gemma 4 26B-A4B	运行较慢	估算 14.2 tok/s11.3–17.0校准估算 ±20%	Q4_K_M	17.1 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
Gemma 4 E4B	运行较慢	估算 14.1 tok/s9.9–18.3理论估算 ±30%	Q4_K_M	5.1 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Qwen3 30B-A3B (2507)	运行较慢	估算 13.7 tok/s11.0–16.4校准估算 ±20%	Q4_K_M	19.4 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”
Kanana 1.5 15.7B-A3B	运行较慢	估算 12.6 tok/s10.0–15.1校准估算 ±20%	Q4_K_M	11.5 GB 内存	纯 CPU	最长 32k	CPU 推理：最高只能判为“运行较慢”
gpt-oss-120b	运行较慢	估算 12.6 tok/s10.0–15.1校准估算 ±20%	MXFP4	63.7 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢” 思考模式
Ling-3.0 Flash	运行较慢	估算 12.2 tok/s8.5–15.9理论估算 ±30%	Q4_K_M	77.1 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 思考模式
K2-Horizon MoVA 36B-A4B	运行较慢	估算 9.6 tok/s6.7–12.5理论估算 ±30%	Q4_K_M	24.0 GB 内存	纯 CPU	最长 32k	思考模式
Laguna S 2.1	运行较慢	估算 7.7 tok/s6.2–9.2校准估算 ±20%	Q4_K_M	68.1 GB 内存	纯 CPU	最长 128k	思考模式
DeepSeek R1 Distill Llama 8B	运行较慢	估算 7.5 tok/s6.0–9.0校准估算 ±20%	Q4_K_M	6.0 GB 内存	纯 CPU	最长 64k	思考模式
Kanana 1.5 8B	运行较慢	估算 7.5 tok/s6.0–9.0校准估算 ±20%	Q4_K_M	6.0 GB 内存	纯 CPU	最长 32k	—
Llama 3.1 8B	运行较慢	估算 7.5 tok/s6.0–9.0校准估算 ±20%	Q4_K_M	6.0 GB 内存	纯 CPU	最长 128k	—
Nanbeige4.2 3B	运行较慢	估算 7.3 tok/s5.1–9.5理论估算 ±30%	Q4_K_M	4.2 GB 内存	纯 CPU	最长 32k	思考模式
Qwen3.5 9B	运行较慢	估算 7.3 tok/s5.8–8.8校准估算 ±20%	Q4_K_M	6.1 GB 内存	纯 CPU	最长 256k	思考模式
DeepSeek R1 0528 Qwen3 8B	运行较慢	估算 7.2 tok/s5.7–8.6校准估算 ±20%	Q4_K_M	6.2 GB 内存	纯 CPU	最长 64k	思考模式
Qwen3 8B	运行较慢	估算 7.2 tok/s5.7–8.6校准估算 ±20%	Q4_K_M	6.2 GB 内存	纯 CPU	最长 32k	思考模式
K2-Horizon 7B	运行较慢	估算 6.6 tok/s5.3–7.9校准估算 ±20%	Q4_K_M	6.8 GB 内存	纯 CPU	最长 32k	思考模式
Gemma 4 12B	运行较慢	估算 6.2 tok/s4.9–7.4校准估算 ±20%	Q4_K_M	7.3 GB 内存	纯 CPU	最长 256k	思考模式
Qwen3.5 122B-A10B	运行较慢	估算 6.0 tok/s4.8–7.2校准估算 ±20%	Q4_K_M	78.5 GB 内存	纯 CPU	最长 256k	思考模式
Gemma 3 12B	运行较慢	估算 5.7 tok/s4.6–6.9校准估算 ±20%	Q4_K_M	7.8 GB 内存	纯 CPU	最长 128k	—
HyperCLOVA X SEED Think 14B	运行较慢	估算 4.4 tok/s3.1–5.7理论估算 ±30%	Q4_K_M	10.2 GB 内存	纯 CPU	最长 32k	思考模式
Solar Open 100B	运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q4_K_M	63.9 GB 内存	纯 CPU	最长 16k	思考模式
Qwen3 14B	运行较慢	估算 4.3 tok/s3.5–5.2校准估算 ±20%	Q4_K_M	10.3 GB 内存	纯 CPU	最长 32k	思考模式
DeepSeek R1 Distill Qwen 14B	运行较慢	估算 4.2 tok/s3.4–5.1校准估算 ±20%	Q4_K_M	10.6 GB 内存	纯 CPU	最长 16k	思考模式
Phi-4	运行较慢	估算 4.2 tok/s3.3–5.0校准估算 ±20%	Q4_K_M	10.7 GB 内存	纯 CPU	最长 16k	—
Mistral Small 3.2 24B	运行较慢	估算 2.9 tok/s2.3–3.4校准估算 ±20%	Q4_K_M	15.7 GB 内存	纯 CPU	最长 32k	—
Gemma 3 27B	运行较慢	估算 2.6 tok/s2.1–3.1校准估算 ±20%	Q4_K_M	17.2 GB 内存	纯 CPU	最长 64k	—
Muse Glimmer 30B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.0 tok/s3.2–4.8校准估算 ±20%	Q2_K	11.1 GB 内存	纯 CPU	最长 128k	思考模式
Qwen3.8 27B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.9 tok/s3.2–4.7校准估算 ±20%	Q2_K	11.4 GB 内存	纯 CPU	最长 32k	思考模式
Qwen3.6 27B	无法运行改用 UD-Q2_K_XL（质量损失大）：运行较慢	估算 3.6 tok/s2.9–4.3校准估算 ±20%	UD-Q2_K_XL	12.4 GB 内存	纯 CPU	最长 32k	思考模式
Gemma 4 31B	无法运行改用 UD-Q2_K_XL（质量损失大）：运行较慢	估算 3.6 tok/s2.9–4.3校准估算 ±20%	UD-Q2_K_XL	12.4 GB 内存	纯 CPU	最长 32k	思考模式
Qwen3.5 27B	无法运行改用 UD-Q2_K_XL（质量损失大）：运行较慢	估算 3.6 tok/s2.8–4.3校准估算 ±20%	UD-Q2_K_XL	12.6 GB 内存	纯 CPU	最长 32k	思考模式
Granite 4.2 30B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.4 tok/s2.8–4.1校准估算 ±20%	Q2_K	13.0 GB 内存	纯 CPU	最长 8k	思考模式
DeepSeek R1 Distill Qwen 32B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.1 tok/s2.5–3.7校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	思考模式
Qwen3 32B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 3.1 tok/s2.5–3.7校准估算 ±20%	Q2_K	14.5 GB 内存	纯 CPU	最长 8k	思考模式
EXAONE 4.0 32B	无法运行	估算 2.3 tok/s1.8–2.7校准估算 ±20%	Q4_K_M	19.9 GB 内存	纯 CPU	—	能装下，但速度太慢，难以实际使用思考模式
EXAONE 4.5 33B	无法运行	估算 2.2 tok/s1.7–2.6校准估算 ±20%	Q4_K_M	20.6 GB 内存	纯 CPU	—	能装下，但速度太慢，难以实际使用思考模式
Llama 3.3 70B	无法运行	估算 1.0 tok/s0.8–1.2校准估算 ±20%	Q4_K_M	45.2 GB 内存	纯 CPU	—	能装下，但速度太慢，难以实际使用
DeepSeek V4 Flash 0731	无法运行	—	MXFP4	需要 155.0 GB	—	—	约需 155.0 GB；可用内存 92.0 GB 思考模式
GLM-5.3 Flash	无法运行	—	Q4_K_M	需要 181.5 GB	—	—	约需 181.5 GB；可用内存 92.0 GB 思考模式
Solar Open 2 250B	无法运行	—	IQ4_XS	需要 136.6 GB	—	—	约需 136.6 GB；可用内存 92.0 GB 思考模式

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

不同内存容量下的判定

各内存配置下的 Q4_K_M 判定，速度请打开模型页面查看
模型	16 GB	32 GB	64 GB	96 GB
MiniCPM5 1B	运行较慢	运行较慢	运行较慢	运行较慢
Ling-3.0 Tiny	运行较慢	运行较慢	运行较慢	运行较慢
Llama 3.2 1B	运行较慢	运行较慢	运行较慢	运行较慢
EXAONE 4.0 1.2B	运行较慢	运行较慢	运行较慢	运行较慢
Gemma 4 E2B	运行较慢	运行较慢	运行较慢	运行较慢
LFM2.5 2.6B	运行较慢	运行较慢	运行较慢	运行较慢
HyperCLOVA X SEED 1.5B	运行较慢	运行较慢	运行较慢	运行较慢
MiniCPM5 2B	运行较慢	运行较慢	运行较慢	运行较慢
Mellum2.1 12B-A2.5B Thinking	运行较慢	运行较慢	运行较慢	运行较慢
MiniCPM-V 4.7 35B-A3B	无法运行	运行较慢	运行较慢	运行较慢
Qwen3.6 35B-A3B	无法运行	运行较慢	运行较慢	运行较慢
Qwen3.5 35B-A3B	无法运行	运行较慢	运行较慢	运行较慢
gpt-oss-20b	无法运行	运行较慢	运行较慢	运行较慢
Kolibri 1	无法运行	无法运行	运行较慢	运行较慢
Nemotron 3.5 Lightning 30B-A3B	无法运行	运行较慢	运行较慢	运行较慢
Spark-X2.5 4B	运行较慢	运行较慢	运行较慢	运行较慢
Llama 3.2 3B	运行较慢	运行较慢	运行较慢	运行较慢
Qwen3.5 4B	运行较慢	运行较慢	运行较慢	运行较慢
Gemma 4 26B-A4B	无法运行	运行较慢	运行较慢	运行较慢
Gemma 4 E4B	运行较慢	运行较慢	运行较慢	运行较慢
Qwen3 30B-A3B (2507)	无法运行	运行较慢	运行较慢	运行较慢
Kanana 1.5 15.7B-A3B	运行较慢	运行较慢	运行较慢	运行较慢
gpt-oss-120b	无法运行	无法运行	无法运行	运行较慢
Ling-3.0 Flash	无法运行	无法运行	无法运行	运行较慢
K2-Horizon MoVA 36B-A4B	无法运行	运行较慢	运行较慢	运行较慢
Laguna S 2.1	无法运行	无法运行	无法运行	运行较慢
DeepSeek R1 Distill Llama 8B	运行较慢	运行较慢	运行较慢	运行较慢
Kanana 1.5 8B	运行较慢	运行较慢	运行较慢	运行较慢
Llama 3.1 8B	运行较慢	运行较慢	运行较慢	运行较慢
Nanbeige4.2 3B	运行较慢	运行较慢	运行较慢	运行较慢
Qwen3.5 9B	运行较慢	运行较慢	运行较慢	运行较慢
DeepSeek R1 0528 Qwen3 8B	运行较慢	运行较慢	运行较慢	运行较慢
Qwen3 8B	运行较慢	运行较慢	运行较慢	运行较慢
K2-Horizon 7B	运行较慢	运行较慢	运行较慢	运行较慢
Gemma 4 12B	运行较慢	运行较慢	运行较慢	运行较慢
Qwen3.5 122B-A10B	无法运行	无法运行	无法运行	运行较慢
Gemma 3 12B	运行较慢	运行较慢	运行较慢	运行较慢
HyperCLOVA X SEED Think 14B	运行较慢	运行较慢	运行较慢	运行较慢
Solar Open 100B	无法运行	无法运行	无法运行	运行较慢
Qwen3 14B	运行较慢	运行较慢	运行较慢	运行较慢
DeepSeek R1 Distill Qwen 14B	运行较慢	运行较慢	运行较慢	运行较慢
Phi-4	运行较慢	运行较慢	运行较慢	运行较慢
Mistral Small 3.2 24B	无法运行	运行较慢	运行较慢	运行较慢
Gemma 3 27B	无法运行	运行较慢	运行较慢	运行较慢
Muse Glimmer 30B	无法运行	无法运行	无法运行	无法运行
Qwen3.8 27B	无法运行	无法运行	无法运行	无法运行
Qwen3.6 27B	无法运行	无法运行	无法运行	无法运行
Gemma 4 31B	无法运行	无法运行	无法运行	无法运行
Qwen3.5 27B	无法运行	无法运行	无法运行	无法运行
Granite 4.2 30B	无法运行	无法运行	无法运行	无法运行
DeepSeek R1 Distill Qwen 32B	无法运行	无法运行	无法运行	无法运行
Qwen3 32B	无法运行	无法运行	无法运行	无法运行
EXAONE 4.0 32B	无法运行	无法运行	无法运行	无法运行
EXAONE 4.5 33B	无法运行	无法运行	无法运行	无法运行
Llama 3.3 70B	无法运行	无法运行	无法运行	无法运行
DeepSeek V4 Flash 0731	无法运行	无法运行	无法运行	无法运行
GLM-5.3 Flash	无法运行	无法运行	无法运行	无法运行
Solar Open 2 250B	无法运行	无法运行	无法运行	无法运行

DDR5-5600 双通道 CPU 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

DDR5-5600 双通道 CPU 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
mistral-7b	Q4_K_M	llamafile	512	—	11.2	—	github.com	2024-06-15

常见问题

这套 CPU 配置能运行的最大模型是什么？

Ling-3.0 Flash Q4_K_M（77.01 GB 文件）可使用 96 GB 内存运行，估算 12.2 tok/s（8.5–15.9，理论估算 ±30%）。

DDR5-5600 双通道 CPU 上有多少本地大模型能运行良好？

按 Q4_K_M、8k 上下文计算，内存 96 GB，在 58 个已收录的模型中，0 个运行流畅、0 个运行良好、44 个运行较慢，14 个无法运行。

DDR5-5600 双通道 CPU 能运行 Llama 3.3 70B 这样的 70B 模型吗？

能装入内存，但速度太慢，难以实用：估算 1.0 tok/s（0.8–1.2，校准估算 ±20%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。