Apple M4 能运行 Qwen3 14B 吗？

运行较慢Q4_K_M 可装入统一内存（GPU 可用 11.2 GB，占用 10.9 GB）：运行较慢，估算 8.8 tok/s（7.1–10.6，校准估算 ±20%）。若降到 Q2_K（质量损失大），可达到“运行良好”，估算 12.9 tok/s（10.3–15.4，校准估算 ±20%）。

统一内存：默认设置下 GPU 大约可以使用其中的 70%开放许可证 · Apache-2.0 社区 GGUF · unsloth思考模式

16 GB 统一内存 · 120.0 GB/s · FP16 3.8 TFLOPS。按 8k 上下文和 f16 KV 缓存计算。判定按内存容量分别列出。

不同内存容量下的判定

本页使用 16 GB 配置；下面列出所有容量。

16 GB运行较慢估算 8.8 tok/s（7.1–10.6，校准估算 ±20%）Q2_K（质量损失大）：运行良好(本页采用)
24 GB运行较慢估算 8.8 tok/s（7.1–10.6，校准估算 ±20%）Q2_K（质量损失大）：运行良好
32 GB运行较慢估算 8.8 tok/s（7.1–10.6，校准估算 ±20%）Q2_K（质量损失大）：运行良好

Apple M4 上 Qwen3 14B 的全部量化

4 个已收录的 GGUF 文件，从小到大排列，8k 上下文
量化	文件大小	判定	速度	显存/内存	运行方式	备注
Q2_K	5.75 GB	运行良好	估算 12.9 tok/s10.3–15.4校准估算 ±20%	7.7 / 11.2 GB	统一内存	—
IQ4_XS	8.14 GB	运行较慢	估算 9.6 tok/s7.7–11.5校准估算 ±20%	10.1 / 11.2 GB	统一内存	—
Q4_K_M基准	9.00 GB	运行较慢	估算 8.8 tok/s7.1–10.6校准估算 ±20%	10.9 / 11.2 GB	统一内存	—
Q8_0	15.70 GB	无法运行	—	约需 17.6 GB；可用内存 12.0 GB（其中 GPU 可用 11.2 GB）	—	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

Q4_K_M 下的内存占用

权重、KV 缓存和计算缓冲区属于模型；OS 预留是显示驱动占用的部分。

统一内存

权重: 9.0 GB
KV 缓存: 1.3 GB
计算缓冲区: 0.6 GB
空闲: 0.3 GB
GPU 不可用: 4.8 GB

上下文长度与 KV 缓存

上下文：8k

KV 缓存f16q8_0q4_0

Q4_K_M 下各上下文长度和 KV 缓存类型所需的内存与判定，以及估算速度（tok/s）。
上下文	KV f16	KV q8_0	KV q4_0
4k	10.2 GB运行较慢估算 9.4 tok/s7.5–11.3校准估算 ±20%	9.9 GB运行较慢估算 9.7 tok/s7.8–11.7校准估算 ±20%	9.7 GB运行较慢估算 9.9 tok/s7.9–11.9校准估算 ±20%
8k	10.9 GB运行较慢估算 8.8 tok/s7.1–10.6校准估算 ±20%	10.3 GB运行较慢估算 9.4 tok/s7.5–11.3校准估算 ±20%	10.0 GB运行较慢估算 9.7 tok/s7.8–11.7校准估算 ±20%
16k	11.7 GB运行较慢估算 5.1 tok/s3.6–6.7理论估算 ±30%	11.1 GB运行较慢估算 8.7 tok/s7.0–10.5校准估算 ±20%	10.4 GB运行较慢估算 9.3 tok/s7.5–11.2校准估算 ±20%
32k	15.2 GB装不下	11.9 GB运行较慢估算 5.1 tok/s3.5–6.6理论估算 ±30%	10.5 GB运行较慢估算 5.7 tok/s4.0–7.4理论估算 ±30%

S = 运行流畅 · A = 运行良好 · B = 运行较慢 · F = 无法运行

在 Q4_K_M 下，判定仍为“运行较慢”的上下文上限：f16 KV 缓存为 16k，q8_0 为 32k。

估算速度

生成: 估算 8.8 tok/s（7.1–10.6，校准估算 ±20%）
提示词处理: 约 100 tok/s（60–140，粗略估算 ±40%）

这一组合的实测结果

这一组合还没有公开的实测结果；上面的数字都是估算。

如果这还不够

在 Apple M4 上运行良好的更小模型
运行良好
Gemma 3 12B: 运行良好，估算 11.6 tok/s（9.3–14.0，校准估算 ±20%）
Qwen3 14B 的更低量化
运行良好
Q2_K（5.75 GB，质量损失大）：运行良好，估算 12.9 tok/s（10.3–15.4，校准估算 ±20%）
Apple M6 上运行 Qwen3 14B
运行良好
Q4_K_M：运行良好，估算 12.5 tok/s（10.0–15.0，校准估算 ±20%）

运行方法

以下命令使用 Q4_K_M 文件。两个工具都会在首次运行时从 Hugging Face 下载。

文件：Qwen3-14B-Q4_K_M.gguf（9.00 GB），来自 unsloth/Qwen3-14B-GGUF。

llama.cpp

llama-server -hf unsloth/Qwen3-14B-GGUF:Q4_K_M -c 8192 -ngl all -fa on

-ngl all 把所有层都加载到 GPU 上。
-fa on 开启 Flash Attention（量化 KV 缓存时需要）。
--cache-type-k q8_0 --cache-type-v q8_0 可将 8k 上下文下的 KV 缓存缩小到 0.72 GB。

Ollama

终端：

OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-14B-GGUF:Q4_K_M

在显存低于 24 GB 的 GPU 上，Ollama 默认使用 4k 上下文。可在启动服务器时设置 OLLAMA_CONTEXT_LENGTH，或在对话中使用 /set parameter num_ctx。
/set parameter num_ctx 8192

常见问题