Apple M4 Max（32-core GPU，MacBook Pro、Mac Studio）能跑哪些本地大模型？

统一内存：默认设置下 GPU 大约可以使用其中的 70%

按 8k 上下文和 f16 KV 缓存计算。判定按内存容量分别列出。

规格

内存配置: 36 GB
内存带宽: 410.0 GB/s
FP16 算力: 12.9 TFLOPS
发布年份: 2024
搭载这款芯片的 Mac: MacBook Pro：36 GB
Mac Studio：36 GB
其他写法: M4 Max 32

判定一览

基于 Q4_K_M（或最接近的可用量化）、8k 上下文，内存 36 GB。

运行流畅34 个模型运行良好13 个模型运行较慢1 个模型无法运行10 个模型另有 2 个模型可以用更低的量化运行。

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

Apple M4 Max (32-core GPU) 上的全部模型

左右滑动可查看所有列。

58 个模型，内存 36 GB，按判定和速度排序
模型	判定	速度	量化	显存/内存	运行方式	上下文	备注
MiniCPM5 1B	运行流畅	估算 349.6 tok/s279.7–419.5校准估算 ±20%	Q4_K_M	1.5 / 25.2 GB	统一内存	最长 128k	思考模式
Llama 3.2 1B	运行流畅	估算 288.9 tok/s231.1–346.7校准估算 ±20%	Q4_K_M	1.7 / 25.2 GB	统一内存	最长 128k	—
EXAONE 4.0 1.2B	运行流畅	估算 237.3 tok/s189.8–284.7校准估算 ±20%	Q4_K_M	1.9 / 25.2 GB	统一内存	最长 64k	思考模式
Ling-3.0 Tiny	运行流畅	估算 227.4 tok/s159.2–295.6理论估算 ±30%	Q4_K_M	5.5 / 25.2 GB	统一内存	最长 128k	思考模式
LFM2.5 2.6B	运行流畅	估算 172.7 tok/s120.9–224.5理论估算 ±30%	Q4_K_M	2.4 / 25.2 GB	统一内存	最长 128k	思考模式
HyperCLOVA X SEED 1.5B	运行流畅	估算 171.7 tok/s137.3–206.0校准估算 ±20%	Q4_K_M	2.4 / 25.2 GB	统一内存	最长 16k	—
MiniCPM5 2B	运行流畅	估算 162.9 tok/s130.4–195.5校准估算 ±20%	Q4_K_M	2.5 / 25.2 GB	统一内存	最长 128k	思考模式
Gemma 4 E2B	运行流畅	估算 148.7 tok/s104.1–193.3理论估算 ±30%	Q4_K_M	3.7 / 25.2 GB	统一内存	最长 128k	思考模式
Mellum2.1 12B-A2.5B Thinking	运行流畅	估算 137.5 tok/s110.0–165.0校准估算 ±20%	Q4_K_M	8.8 / 25.2 GB	统一内存	最长 128k	思考模式
Spark-X2.5 4B	运行流畅	估算 107.4 tok/s85.9–128.8校准估算 ±20%	Q4_K_M	3.5 / 25.2 GB	统一内存	最长 128k	思考模式
Llama 3.2 3B	运行流畅	估算 105.3 tok/s84.2–126.3校准估算 ±20%	Q4_K_M	3.5 / 25.2 GB	统一内存	最长 64k	—
Qwen3.5 4B	运行流畅	估算 100.6 tok/s80.5–120.7校准估算 ±20%	Q4_K_M	3.7 / 25.2 GB	统一内存	最长 128k	思考模式
MiniCPM-V 4.7 35B-A3B	运行流畅	估算 99.7 tok/s79.8–119.7校准估算 ±20%	Q4_K_M	21.9 / 25.2 GB	统一内存	最长 64k	思考模式
Qwen3.6 35B-A3B	运行流畅	估算 93.2 tok/s74.5–111.8校准估算 ±20%	Q4_K_M	23.0 / 25.2 GB	统一内存	最长 64k	思考模式
gpt-oss-20b	运行流畅	92.4 tok/s8k 估算 101.6 tok/s（81.3–121.9，校准估算 ±20%）实测（1 次，2k 上下文）	MXFP4	12.9 / 25.2 GB	统一内存	最长 128k	思考模式
Kanana 1.5 15.7B-A3B	运行流畅	估算 84.6 tok/s67.7–101.5校准估算 ±20%	Q4_K_M	12.1 / 25.2 GB	统一内存	最长 32k	—
Gemma 4 E4B	运行流畅	估算 83.8 tok/s58.6–108.9理论估算 ±30%	Q4_K_M	5.7 / 25.2 GB	统一内存	最长 128k	思考模式
Qwen3.5 35B-A3B	运行流畅	估算 82.8 tok/s66.2–99.3校准估算 ±20%	Q4_K_M	23.4 / 25.2 GB	统一内存	最长 64k	思考模式
Qwen3 30B-A3B (2507)	运行流畅	估算 80.0 tok/s64.0–96.0校准估算 ±20%	Q4_K_M	19.9 / 25.2 GB	统一内存	最长 32k	—
Gemma 4 26B-A4B	运行流畅	估算 71.2 tok/s56.9–85.4校准估算 ±20%	Q4_K_M	17.7 / 25.2 GB	统一内存	最长 128k	思考模式
DeepSeek R1 Distill Llama 8B	运行流畅	估算 52.0 tok/s41.6–62.4校准估算 ±20%	Q4_K_M	6.6 / 25.2 GB	统一内存	最长 32k	思考模式
Kanana 1.5 8B	运行流畅	估算 52.0 tok/s41.6–62.4校准估算 ±20%	Q4_K_M	6.6 / 25.2 GB	统一内存	最长 32k	—
Llama 3.1 8B	运行流畅	估算 52.0 tok/s41.6–62.4校准估算 ±20%	Q4_K_M	6.6 / 25.2 GB	统一内存	最长 64k	—
K2-Horizon MoVA 36B-A4B	运行流畅	估算 51.9 tok/s36.3–67.5理论估算 ±30%	Q4_K_M	24.6 / 25.2 GB	统一内存	最长 8k	思考模式
Nanbeige4.2 3B	运行流畅	估算 50.9 tok/s35.6–66.1理论估算 ±30%	Q4_K_M	4.7 / 25.2 GB	统一内存	最长 16k	思考模式
Qwen3.5 9B	运行流畅	估算 50.8 tok/s40.6–60.9校准估算 ±20%	Q4_K_M	6.7 / 25.2 GB	统一内存	最长 128k	思考模式
DeepSeek R1 0528 Qwen3 8B	运行流畅	估算 50.0 tok/s40.0–59.9校准估算 ±20%	Q4_K_M	6.8 / 25.2 GB	统一内存	最长 32k	思考模式
Qwen3 8B	运行流畅	估算 50.0 tok/s40.0–59.9校准估算 ±20%	Q4_K_M	6.8 / 25.2 GB	统一内存	最长 32k	思考模式
K2-Horizon 7B	运行流畅	估算 45.8 tok/s36.7–55.0校准估算 ±20%	Q4_K_M	7.4 / 25.2 GB	统一内存	最长 16k	思考模式
Gemma 4 12B	运行流畅	估算 43.0 tok/s34.4–51.5校准估算 ±20%	Q4_K_M	7.8 / 25.2 GB	统一内存	最长 128k	思考模式
Gemma 3 12B	运行流畅	估算 39.8 tok/s31.8–47.7校准估算 ±20%	Q4_K_M	8.4 / 25.2 GB	统一内存	最长 64k	—
HyperCLOVA X SEED Think 14B	运行流畅	估算 30.6 tok/s21.4–39.7理论估算 ±30%	Q4_K_M	10.8 / 25.2 GB	统一内存	最长 8k	思考模式
Qwen3 14B	运行流畅	估算 30.1 tok/s24.1–36.2校准估算 ±20%	Q4_K_M	10.9 / 25.2 GB	统一内存	最长 8k	思考模式
Phi-4	运行流畅	估算 29.0 tok/s23.2–34.9校准估算 ±20%	Q4_K_M	11.3 / 25.2 GB	统一内存	最长 16k	—
DeepSeek R1 Distill Qwen 14B	运行良好	估算 29.4 tok/s23.5–35.3校准估算 ±20%	Q4_K_M	11.2 / 25.2 GB	统一内存	最长 64k	改用 IQ4_XS：运行流畅思考模式
Mistral Small 3.2 24B	运行良好	估算 19.9 tok/s15.9–23.9校准估算 ±20%	Q4_K_M	16.2 / 25.2 GB	统一内存	最长 32k	改用 IQ4_XS：运行流畅
Gemma 3 27B	运行良好	估算 18.1 tok/s14.5–21.7校准估算 ±20%	Q4_K_M	17.8 / 25.2 GB	统一内存	最长 64k	改用 IQ4_XS：运行流畅
Qwen3.6 27B	运行良好	估算 18.0 tok/s14.4–21.5校准估算 ±20%	Q4_K_M	17.9 / 25.2 GB	统一内存	最长 64k	思考模式
Muse Glimmer 30B	运行良好	估算 17.9 tok/s14.3–21.5校准估算 ±20%	Q4_K_M	18.0 / 25.2 GB	统一内存	最长 128k	思考模式
Qwen3.5 27B	运行良好	估算 17.7 tok/s14.1–21.2校准估算 ±20%	Q4_K_M	18.2 / 25.2 GB	统一内存	最长 64k	思考模式
Qwen3.8 27B	运行良好	估算 17.3 tok/s13.9–20.8校准估算 ±20%	Q4_K_M	18.6 / 25.2 GB	统一内存	最长 64k	思考模式
Gemma 4 31B	运行良好	估算 16.4 tok/s13.1–19.7校准估算 ±20%	Q4_K_M	19.6 / 25.2 GB	统一内存	最长 64k	思考模式
Granite 4.2 30B	运行良好	估算 15.7 tok/s12.5–18.8校准估算 ±20%	Q4_K_M	20.4 / 25.2 GB	统一内存	最长 16k	思考模式
EXAONE 4.0 32B	运行良好	估算 15.7 tok/s12.5–18.8校准估算 ±20%	Q4_K_M	20.5 / 25.2 GB	统一内存	最长 64k	思考模式
EXAONE 4.5 33B	运行良好	估算 15.1 tok/s12.1–18.2校准估算 ±20%	Q4_K_M	21.2 / 25.2 GB	统一内存	最长 32k	思考模式
Qwen3 32B	运行良好	估算 14.2 tok/s11.4–17.1校准估算 ±20%	Q4_K_M	22.5 / 25.2 GB	统一内存	最长 16k	思考模式
DeepSeek R1 Distill Qwen 32B	运行良好	估算 14.2 tok/s11.3–17.0校准估算 ±20%	Q4_K_M	22.6 / 25.2 GB	统一内存	最长 16k	思考模式
Nemotron 3.5 Lightning 30B-A3B	运行较慢	估算 71.4 tok/s49.9–92.8理论估算 ±30%	Q4_K_M	25.5 GB 内存	纯 CPU	最长 256k	CPU 推理：最高只能判为“运行较慢” 改用 IQ4_XS：运行流畅思考模式
Kolibri 1	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 85.3 tok/s59.7–110.9理论估算 ±30%	Q2_K	30.1 GB 内存	纯 CPU	最长 64k	CPU 推理：最高只能判为“运行较慢” 思考模式
Llama 3.3 70B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 7.1 tok/s4.9–9.2理论估算 ±30%	Q2_K	29.1 GB 内存	纯 CPU	最长 16k	—
DeepSeek V4 Flash 0731	无法运行	—	MXFP4	需要 155.6 GB	—	—	约需 155.6 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
GLM-5.3 Flash	无法运行	—	Q4_K_M	需要 182.1 GB	—	—	约需 182.1 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
gpt-oss-120b	无法运行	—	MXFP4	需要 64.3 GB	—	—	约需 64.3 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
Laguna S 2.1	无法运行	—	Q4_K_M	需要 68.6 GB	—	—	约需 68.6 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
Ling-3.0 Flash	无法运行	—	Q4_K_M	需要 77.7 GB	—	—	约需 77.7 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
Qwen3.5 122B-A10B	无法运行	—	Q4_K_M	需要 79.0 GB	—	—	约需 79.0 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
Solar Open 100B	无法运行	—	Q4_K_M	需要 64.4 GB	—	—	约需 64.4 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式
Solar Open 2 250B	无法运行	—	IQ4_XS	需要 137.2 GB	—	—	约需 137.2 GB；可用内存 32.0 GB（其中 GPU 可用 25.2 GB）思考模式

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

Apple M4 Max (32-core GPU) 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

Apple M4 Max (32-core GPU) 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
gpt-oss-20b	MXFP4	llama.cpp	2k	1,277.0	92.4	—	github.com	2025-08-18

常见问题

能完全在 Apple M4 Max (32-core GPU) 上运行的最大模型是什么？

K2-Horizon MoVA 36B-A4B Q4_K_M（22.37 GB 文件）在 8k 上下文下可完整装入 36 GB 统一内存，估算 51.9 tok/s（36.3–67.5，理论估算 ±30%）。

Apple M4 Max (32-core GPU) 上有多少本地大模型能运行良好？

按 Q4_K_M、8k 上下文计算，内存 36 GB，在 58 个已收录的模型中，34 个运行流畅、13 个运行良好、1 个运行较慢，10 个无法运行。

Apple M4 Max (32-core GPU) 能运行 Llama 3.3 70B 这样的 70B 模型吗？

运行较慢——纯 CPU，Q2_K（质量损失大）：估算 7.1 tok/s（4.9–9.2，理论估算 ±30%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。