Apple M5 Ultra（Mac Studio） 能跑哪些本地大模型？
统一内存：默认设置下 GPU 大约可以使用其中的 70%
按 8k 上下文和 f16 KV 缓存计算。判定按内存容量分别列出。
规格
- 内存配置
- 96 GB · 256 GB
- 内存带宽
- 1,228.0 GB/s
- FP16 算力
- 33.2 TFLOPS
- 发布年份
- 2026
- 搭载这款芯片的 Mac
- Mac Studio：96 GB · 256 GB
- 其他写法
- M5 Ultra
判定一览
基于 Q4_K_M（或最接近的可用量化）、8k 上下文。
- 96 GB运行流畅51 个模型运行良好1 个模型运行较慢3 个模型无法运行3 个模型
- 256 GB运行流畅56 个模型运行良好1 个模型运行较慢1 个模型无法运行0 个模型
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
Apple M5 Ultra 上的全部模型
左右滑动可查看所有列。
| 模型 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 |
|---|---|---|---|---|---|---|---|
| MiniCPM5 1B | 运行流畅 | 估算 785.3 tok/s628.2–942.4校准估算 ±20% | Q4_K_M | 1.5 / 179.2 GB | 统一内存 | 最长 128k |
|
| Llama 3.2 1B | 运行流畅 | 估算 649.1 tok/s519.2–778.9校准估算 ±20% | Q4_K_M | 1.7 / 179.2 GB | 统一内存 | 最长 128k | — |
| EXAONE 4.0 1.2B | 运行流畅 | 估算 533.0 tok/s426.4–639.6校准估算 ±20% | Q4_K_M | 1.9 / 179.2 GB | 统一内存 | 最长 64k |
|
| LFM2.5 2.6B | 运行流畅 | 估算 388.0 tok/s271.6–504.3理论估算 ±30% | Q4_K_M | 2.4 / 179.2 GB | 统一内存 | 最长 128k |
|
| HyperCLOVA X SEED 1.5B | 运行流畅 | 估算 385.6 tok/s308.5–462.7校准估算 ±20% | Q4_K_M | 2.4 / 179.2 GB | 统一内存 | 最长 16k | — |
| MiniCPM5 2B | 运行流畅 | 估算 366.0 tok/s292.8–439.2校准估算 ±20% | Q4_K_M | 2.5 / 179.2 GB | 统一内存 | 最长 128k |
|
| Ling-3.0 Tiny | 运行流畅 | 估算 264.1 tok/s184.9–343.3理论估算 ±30% | Q4_K_M | 5.5 / 179.2 GB | 统一内存 | 最长 128k |
|
| Gemma 4 E2B | 运行流畅 | 估算 252.2 tok/s176.5–327.9理论估算 ±30% | Q4_K_M | 3.7 / 179.2 GB | 统一内存 | 最长 128k |
|
| Spark-X2.5 4B | 运行流畅 | 估算 241.2 tok/s193.0–289.4校准估算 ±20% | Q4_K_M | 3.5 / 179.2 GB | 统一内存 | 最长 256k |
|
| Llama 3.2 3B | 运行流畅 | 估算 236.5 tok/s189.2–283.8校准估算 ±20% | Q4_K_M | 3.5 / 179.2 GB | 统一内存 | 最长 128k | — |
| Qwen3.5 4B | 运行流畅 | 估算 225.9 tok/s180.7–271.1校准估算 ±20% | Q4_K_M | 3.7 / 179.2 GB | 统一内存 | 最长 256k |
|
| gpt-oss-20b | 运行流畅 | 估算 187.4 tok/s149.9–224.9校准估算 ±20% | MXFP4 | 12.9 / 179.2 GB | 统一内存 | 最长 128k |
|
| Mellum2.1 12B-A2.5B Thinking | 运行流畅 | 估算 183.0 tok/s146.4–219.6校准估算 ±20% | Q4_K_M | 8.8 / 179.2 GB | 统一内存 | 最长 128k |
|
| Nemotron 3.5 Lightning 30B-A3B | 运行流畅 | 估算 168.6 tok/s118.0–219.2理论估算 ±30% | Q4_K_M | 26.1 / 179.2 GB | 统一内存 | 最长 256k |
|
| Gemma 4 E4B | 运行流畅 | 估算 159.1 tok/s111.4–206.8理论估算 ±30% | Q4_K_M | 5.7 / 179.2 GB | 统一内存 | 最长 128k |
|
| gpt-oss-120b | 运行流畅 | 估算 131.0 tok/s104.8–157.2校准估算 ±20% | MXFP4 | 64.3 / 179.2 GB | 统一内存 | 最长 128k |
|
| MiniCPM-V 4.7 35B-A3B | 运行流畅 | 估算 130.8 tok/s104.7–157.0校准估算 ±20% | Q4_K_M | 21.9 / 179.2 GB | 统一内存 | 最长 256k |
|
| Kanana 1.5 15.7B-A3B | 运行流畅 | 估算 128.1 tok/s102.5–153.7校准估算 ±20% | Q4_K_M | 12.1 / 179.2 GB | 统一内存 | 最长 32k | — |
| Qwen3.6 35B-A3B | 运行流畅 | 估算 125.7 tok/s100.5–150.8校准估算 ±20% | Q4_K_M | 23.0 / 179.2 GB | 统一内存 | 最长 256k |
|
| Qwen3.5 35B-A3B | 运行流畅 | 估算 116.8 tok/s93.5–140.2校准估算 ±20% | Q4_K_M | 23.4 / 179.2 GB | 统一内存 | 最长 256k |
|
| DeepSeek R1 Distill Llama 8B | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% | Q4_K_M | 6.6 / 179.2 GB | 统一内存 | 最长 128k |
|
| Kanana 1.5 8B | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% | Q4_K_M | 6.6 / 179.2 GB | 统一内存 | 最长 32k | — |
| Llama 3.1 8B | 运行流畅 | 估算 116.8 tok/s93.4–140.1校准估算 ±20% | Q4_K_M | 6.6 / 179.2 GB | 统一内存 | 最长 128k | — |
| Gemma 4 26B-A4B | 运行流畅 | 估算 115.8 tok/s92.6–138.9校准估算 ±20% | Q4_K_M | 17.7 / 179.2 GB | 统一内存 | 最长 256k |
|
| Nanbeige4.2 3B | 运行流畅 | 估算 114.3 tok/s80.0–148.5理论估算 ±30% | Q4_K_M | 4.7 / 179.2 GB | 统一内存 | 最长 64k |
|
| Qwen3.5 9B | 运行流畅 | 估算 114.0 tok/s91.2–136.8校准估算 ±20% | Q4_K_M | 6.7 / 179.2 GB | 统一内存 | 最长 256k |
|
| DeepSeek R1 0528 Qwen3 8B | 运行流畅 | 估算 112.2 tok/s89.8–134.7校准估算 ±20% | Q4_K_M | 6.8 / 179.2 GB | 统一内存 | 最长 64k |
|
| Qwen3 8B | 运行流畅 | 估算 112.2 tok/s89.8–134.7校准估算 ±20% | Q4_K_M | 6.8 / 179.2 GB | 统一内存 | 最长 32k |
|
| Kolibri 1 | 运行流畅 | 估算 108.1 tok/s86.5–129.8校准估算 ±20% | Q4_K_M | 50.5 / 179.2 GB | 统一内存 | 最长 256k |
|
| Qwen3 30B-A3B (2507) | 运行流畅 | 估算 106.6 tok/s85.3–127.9校准估算 ±20% | Q4_K_M | 19.9 / 179.2 GB | 统一内存 | 最长 256k | — |
| Ling-3.0 Flash | 运行流畅 | 估算 106.3 tok/s74.4–138.2理论估算 ±30% | Q4_K_M | 77.7 / 179.2 GB | 统一内存 | 最长 256k |
|
| K2-Horizon 7B | 运行流畅 | 估算 103.0 tok/s82.4–123.6校准估算 ±20% | Q4_K_M | 7.4 / 179.2 GB | 统一内存 | 最长 64k |
|
| Gemma 4 12B | 运行流畅 | 估算 96.5 tok/s77.2–115.8校准估算 ±20% | Q4_K_M | 7.8 / 179.2 GB | 统一内存 | 最长 256k |
|
| Gemma 3 12B | 运行流畅 | 估算 89.3 tok/s71.5–107.2校准估算 ±20% | Q4_K_M | 8.4 / 179.2 GB | 统一内存 | 最长 128k | — |
| K2-Horizon MoVA 36B-A4B | 运行流畅 | 估算 82.3 tok/s57.6–106.9理论估算 ±30% | Q4_K_M | 24.6 / 179.2 GB | 统一内存 | 最长 64k |
|
| HyperCLOVA X SEED Think 14B | 运行流畅 | 估算 68.7 tok/s48.1–89.3理论估算 ±30% | Q4_K_M | 10.8 / 179.2 GB | 统一内存 | 最长 64k |
|
| Qwen3 14B | 运行流畅 | 估算 67.7 tok/s54.1–81.2校准估算 ±20% | Q4_K_M | 10.9 / 179.2 GB | 统一内存 | 最长 32k |
|
| DeepSeek R1 Distill Qwen 14B | 运行流畅 | 估算 66.0 tok/s52.8–79.2校准估算 ±20% | Q4_K_M | 11.2 / 179.2 GB | 统一内存 | 最长 64k |
|
| Phi-4 | 运行流畅 | 估算 65.2 tok/s52.2–78.3校准估算 ±20% | Q4_K_M | 11.3 / 179.2 GB | 统一内存 | 最长 16k | — |
| Laguna S 2.1 | 运行流畅 | 估算 61.9 tok/s49.5–74.3校准估算 ±20% | Q4_K_M | 68.6 / 179.2 GB | 统一内存 | 最长 128k |
|
| Qwen3.5 122B-A10B | 运行流畅 | 估算 58.6 tok/s46.9–70.4校准估算 ±20% | Q4_K_M | 79.0 / 179.2 GB | 统一内存 | 最长 256k |
|
| Solar Open 100B | 运行流畅 | 估算 56.5 tok/s45.2–67.8校准估算 ±20% | Q4_K_M | 64.4 / 179.2 GB | 统一内存 | 最长 32k |
|
| DeepSeek V4 Flash 0731 | 运行流畅 | 估算 52.5 tok/s36.7–68.2理论估算 ±30% | MXFP4 | 155.6 / 179.2 GB | 统一内存 | 最长 256k |
|
| Solar Open 2 250B | 运行流畅 | 估算 50.3 tok/s40.3–60.4校准估算 ±20% | IQ4_XS | 137.2 / 179.2 GB | 统一内存 | 最长 128k |
|
| Mistral Small 3.2 24B | 运行流畅 | 估算 44.7 tok/s35.7–53.6校准估算 ±20% | Q4_K_M | 16.2 / 179.2 GB | 统一内存 | 最长 64k | — |
| Gemma 3 27B | 运行流畅 | 估算 40.6 tok/s32.5–48.8校准估算 ±20% | Q4_K_M | 17.8 / 179.2 GB | 统一内存 | 最长 128k | — |
| Qwen3.6 27B | 运行流畅 | 估算 40.3 tok/s32.3–48.4校准估算 ±20% | Q4_K_M | 17.9 / 179.2 GB | 统一内存 | 最长 64k |
|
| Muse Glimmer 30B | 运行流畅 | 估算 40.2 tok/s32.1–48.2校准估算 ±20% | Q4_K_M | 18.0 / 179.2 GB | 统一内存 | 最长 128k |
|
| Qwen3.5 27B | 运行流畅 | 估算 39.7 tok/s31.7–47.6校准估算 ±20% | Q4_K_M | 18.2 / 179.2 GB | 统一内存 | 最长 64k |
|
| Qwen3.8 27B | 运行流畅 | 估算 38.9 tok/s31.1–46.7校准估算 ±20% | Q4_K_M | 18.6 / 179.2 GB | 统一内存 | 最长 64k |
|
| Gemma 4 31B | 运行流畅 | 估算 36.9 tok/s29.5–44.2校准估算 ±20% | Q4_K_M | 19.6 / 179.2 GB | 统一内存 | 最长 32k |
|
| Granite 4.2 30B | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% | Q4_K_M | 20.4 / 179.2 GB | 统一内存 | 最长 16k |
|
| EXAONE 4.0 32B | 运行流畅 | 估算 35.2 tok/s28.2–42.3校准估算 ±20% | Q4_K_M | 20.5 / 179.2 GB | 统一内存 | 最长 32k |
|
| EXAONE 4.5 33B | 运行流畅 | 估算 34.0 tok/s27.2–40.8校准估算 ±20% | Q4_K_M | 21.2 / 179.2 GB | 统一内存 | 最长 32k |
|
| Qwen3 32B | 运行流畅 | 估算 32.0 tok/s25.6–38.3校准估算 ±20% | Q4_K_M | 22.5 / 179.2 GB | 统一内存 | 最长 8k |
|
| DeepSeek R1 Distill Qwen 32B | 运行流畅 | 估算 31.8 tok/s25.5–38.2校准估算 ±20% | Q4_K_M | 22.6 / 179.2 GB | 统一内存 | 最长 8k |
|
| Llama 3.3 70B | 运行良好 | 估算 15.5 tok/s12.4–18.6校准估算 ±20% | Q4_K_M | 45.8 / 179.2 GB | 统一内存 | 最长 128k |
|
| GLM-5.3 Flash | 运行较慢 | 估算 39.5 tok/s27.6–51.3理论估算 ±30% | Q4_K_M | 181.5 GB 内存 | 纯 CPU | 最长 256k |
|
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
不同内存容量下的判定
| 模型 | 96 GB | 256 GB |
|---|---|---|
| MiniCPM5 1B | 运行流畅 | 运行流畅 |
| Llama 3.2 1B | 运行流畅 | 运行流畅 |
| EXAONE 4.0 1.2B | 运行流畅 | 运行流畅 |
| LFM2.5 2.6B | 运行流畅 | 运行流畅 |
| HyperCLOVA X SEED 1.5B | 运行流畅 | 运行流畅 |
| MiniCPM5 2B | 运行流畅 | 运行流畅 |
| Ling-3.0 Tiny | 运行流畅 | 运行流畅 |
| Gemma 4 E2B | 运行流畅 | 运行流畅 |
| Spark-X2.5 4B | 运行流畅 | 运行流畅 |
| Llama 3.2 3B | 运行流畅 | 运行流畅 |
| Qwen3.5 4B | 运行流畅 | 运行流畅 |
| gpt-oss-20b | 运行流畅 | 运行流畅 |
| Mellum2.1 12B-A2.5B Thinking | 运行流畅 | 运行流畅 |
| Nemotron 3.5 Lightning 30B-A3B | 运行流畅 | 运行流畅 |
| Gemma 4 E4B | 运行流畅 | 运行流畅 |
| gpt-oss-120b | 运行流畅 | 运行流畅 |
| MiniCPM-V 4.7 35B-A3B | 运行流畅 | 运行流畅 |
| Kanana 1.5 15.7B-A3B | 运行流畅 | 运行流畅 |
| Qwen3.6 35B-A3B | 运行流畅 | 运行流畅 |
| Qwen3.5 35B-A3B | 运行流畅 | 运行流畅 |
| DeepSeek R1 Distill Llama 8B | 运行流畅 | 运行流畅 |
| Kanana 1.5 8B | 运行流畅 | 运行流畅 |
| Llama 3.1 8B | 运行流畅 | 运行流畅 |
| Gemma 4 26B-A4B | 运行流畅 | 运行流畅 |
| Nanbeige4.2 3B | 运行流畅 | 运行流畅 |
| Qwen3.5 9B | 运行流畅 | 运行流畅 |
| DeepSeek R1 0528 Qwen3 8B | 运行流畅 | 运行流畅 |
| Qwen3 8B | 运行流畅 | 运行流畅 |
| Kolibri 1 | 运行流畅 | 运行流畅 |
| Qwen3 30B-A3B (2507) | 运行流畅 | 运行流畅 |
| Ling-3.0 Flash | 运行较慢 | 运行流畅 |
| K2-Horizon 7B | 运行流畅 | 运行流畅 |
| Gemma 4 12B | 运行流畅 | 运行流畅 |
| Gemma 3 12B | 运行流畅 | 运行流畅 |
| K2-Horizon MoVA 36B-A4B | 运行流畅 | 运行流畅 |
| HyperCLOVA X SEED Think 14B | 运行流畅 | 运行流畅 |
| Qwen3 14B | 运行流畅 | 运行流畅 |
| DeepSeek R1 Distill Qwen 14B | 运行流畅 | 运行流畅 |
| Phi-4 | 运行流畅 | 运行流畅 |
| Laguna S 2.1 | 运行较慢 | 运行流畅 |
| Qwen3.5 122B-A10B | 运行较慢 | 运行流畅 |
| Solar Open 100B | 运行流畅 | 运行流畅 |
| DeepSeek V4 Flash 0731 | 无法运行 | 运行流畅 |
| Solar Open 2 250B | 无法运行 | 运行流畅 |
| Mistral Small 3.2 24B | 运行流畅 | 运行流畅 |
| Gemma 3 27B | 运行流畅 | 运行流畅 |
| Qwen3.6 27B | 运行流畅 | 运行流畅 |
| Muse Glimmer 30B | 运行流畅 | 运行流畅 |
| Qwen3.5 27B | 运行流畅 | 运行流畅 |
| Qwen3.8 27B | 运行流畅 | 运行流畅 |
| Gemma 4 31B | 运行流畅 | 运行流畅 |
| Granite 4.2 30B | 运行流畅 | 运行流畅 |
| EXAONE 4.0 32B | 运行流畅 | 运行流畅 |
| EXAONE 4.5 33B | 运行流畅 | 运行流畅 |
| Qwen3 32B | 运行流畅 | 运行流畅 |
| DeepSeek R1 Distill Qwen 32B | 运行流畅 | 运行流畅 |
| Llama 3.3 70B | 运行良好 | 运行良好 |
| GLM-5.3 Flash | 无法运行 | 运行较慢 |
Apple M5 Ultra 的实测结果
我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。
| 模型 | 量化 | 后端 | 上下文 | 提示词处理（tok/s） | 生成（tok/s） | 运行参数 | 来源 | 测量日期 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 4,945.0 | 179.1 | Metal, FA | github.com | 2026-09-30 |
常见问题
能完全在 Apple M5 Ultra 上运行的最大模型是什么？
DeepSeek V4 Flash 0731 MXFP4（154.99 GB 文件）在 8k 上下文下可完整装入 256 GB 统一内存，估算 52.5 tok/s（36.7–68.2，理论估算 ±30%）。
Apple M5 Ultra 上有多少本地大模型能运行良好？
按 Q4_K_M、8k 上下文计算，内存 256 GB，在 58 个已收录的模型中，56 个运行流畅、1 个运行良好、1 个运行较慢，0 个无法运行。
Apple M5 Ultra 能运行 Llama 3.3 70B 这样的 70B 模型吗？
运行良好——统一内存，Q4_K_M：估算 15.5 tok/s（12.4–18.6，校准估算 ±20%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。