Phi-4 硬件要求

模型信息

参数量: 14.7B
注意力机制: 全注意力
最大上下文: 16,384 个 token
发布日期: 2024-12-12
模型卡: Hugging Face 上的 Phi-4

GGUF 文件

收录的 Phi-4 量化文件，从小到大排列
量化	文件大小	质量	发布者
Q4_K_M基准	9.05 GB	均衡	社区 GGUF · lmstudio-community
Q6_K	12.03 GB	近乎无损	社区 GGUF · lmstudio-community
Q8_0	15.58 GB	近乎无损	社区 GGUF · lmstudio-community

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
量化	4k	8k	16k
Q4_K_M	10.1	11.0	12.8
Q6_K	13.0	13.9	15.6
Q8_0	16.4	17.3	19.0

哪些 GPU 能跑 Phi-4？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	估算 116.9 tok/s102.9–131.0校准估算 ±12%	Q4_K_M	11.6 / 32.0 GB	全部载入显卡	最长 16k	—	市场价 US$4,200（截至 2026-08-09）
Radeon RX 7900 XTX	运行流畅	估算 68.0 tok/s59.8–76.2校准估算 ±12%	Q4_K_M	11.6 / 24.0 GB	全部载入显卡	最长 16k	—	首发价 US$999
GeForce RTX 3090 Ti	运行流畅	估算 65.8 tok/s57.9–73.7校准估算 ±12%	Q4_K_M	11.6 / 24.0 GB	全部载入显卡	最长 16k	—	首发价 US$1,999
GeForce RTX 4090	运行流畅	估算 65.8 tok/s57.9–73.7校准估算 ±12%	Q4_K_M	11.6 / 24.0 GB	全部载入显卡	最长 16k	—	市场价 US$2,755（截至 2026-08-09）
Apple M5 Ultra · 96 GB	运行流畅	估算 65.2 tok/s52.2–78.3校准估算 ±20%	Q4_K_M	11.3 / 67.2 GB	统一内存	最长 16k	—	—
GeForce RTX 5080	运行流畅	估算 62.6 tok/s55.1–70.2校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 3090	运行流畅	估算 61.1 tok/s53.7–68.4校准估算 ±12%	Q4_K_M	11.6 / 24.0 GB	全部载入显卡	最长 16k	—	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 3080 12GB	运行流畅	估算 59.5 tok/s52.4–66.7校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	首发价 US$799
GeForce RTX 5070 Ti	运行流畅	估算 58.5 tok/s51.4–65.5校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行流畅	估算 58.5 tok/s51.4–65.5校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	—
GeForce RTX 5090 Laptop	运行流畅	估算 58.5 tok/s51.4–65.5校准估算 ±12%	Q4_K_M	11.6 / 24.0 GB	全部载入显卡	最长 16k	—	—
Radeon RX 7900 XT	运行流畅	估算 56.7 tok/s49.9–63.5校准估算 ±12%	Q4_K_M	11.6 / 20.0 GB	全部载入显卡	最长 16k	—	首发价 US$899
GeForce RTX 4080 Super	运行流畅	估算 48.0 tok/s42.3–53.8校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$999
GeForce RTX 4080	运行流畅	估算 46.8 tok/s41.2–52.4校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$1,199
Radeon RX 9070	运行流畅	估算 45.7 tok/s40.2–51.2校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行流畅	估算 45.7 tok/s40.2–51.2校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行流畅	估算 44.2 tok/s38.9–49.5校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$499
GeForce RTX 4070 Ti Super	运行流畅	估算 43.8 tok/s38.6–49.1校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$799
GeForce RTX 5070	运行流畅	估算 43.8 tok/s38.6–49.1校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行流畅	估算 43.8 tok/s38.6–49.1校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	—
Apple M3 Ultra · 96 GB	运行流畅	估算 43.5 tok/s34.8–52.2校准估算 ±20%	Q4_K_M	11.3 / 67.2 GB	统一内存	最长 16k	—	—
Apple M5 Max (40-core GPU) · 48 GB	运行流畅	估算 43.5 tok/s34.8–52.2校准估算 ±20%	Q4_K_M	11.3 / 33.6 GB	统一内存	最长 16k	—	—
Apple M2 Ultra · 64 GB	运行流畅	估算 42.5 tok/s34.0–51.0校准估算 ±20%	Q4_K_M	11.3 / 44.8 GB	统一内存	最长 16k	—	—
Apple M4 Max (40-core GPU) · 48 GB	运行流畅	估算 38.7 tok/s30.9–46.4校准估算 ±20%	Q4_K_M	11.3 / 33.6 GB	统一内存	最长 16k	—	—
GeForce RTX 4090 Laptop	运行流畅	估算 37.6 tok/s33.1–42.1校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	—
GeForce RTX 4070	运行流畅	估算 32.9 tok/s28.9–36.8校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	首发价 US$599
GeForce RTX 4070 Super	运行流畅	估算 32.9 tok/s28.9–36.8校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	首发价 US$599
Apple M5 Max (32-core GPU) · 36 GB	运行流畅	估算 32.6 tok/s26.1–39.1校准估算 ±20%	Q4_K_M	11.3 / 25.2 GB	统一内存	最长 16k	—	—
GeForce RTX 5060 Ti 16GB	运行流畅	估算 29.2 tok/s25.7–32.7校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	市场价 US$569（截至 2026-08-09）
Apple M4 Max (32-core GPU) · 36 GB	运行流畅	估算 29.0 tok/s23.2–34.9校准估算 ±20%	Q4_K_M	11.3 / 25.2 GB	统一内存	最长 16k	—	—
GeForce RTX 4080 Laptop	运行流畅	估算 28.2 tok/s24.8–31.6校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	—
Intel Arc B580	运行流畅	估算 25.1 tok/s20.1–30.1校准估算 ±20%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	市场价 US$290（截至 2026-08-09）
GeForce RTX 3060 12GB	运行流畅	估算 23.5 tok/s20.7–26.3校准估算 ±12%	Q4_K_M	11.6 / 12.0 GB	全部载入显卡	最长 8k	—	市场价 US$250（截至 2026-08-09）
Radeon RX 9060 XT 16GB	运行流畅	估算 22.8 tok/s20.1–25.5校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 8k	—	市场价 US$449（截至 2026-08-09）
Apple M5 Pro · 24 GB	运行流畅	估算 21.7 tok/s17.4–26.1校准估算 ±20%	Q4_K_M	11.3 / 16.8 GB	统一内存	最长 8k	—	—
GeForce RTX 2080 Ti	运行良好	估算 21.6 tok/s17.3–25.9校准估算 ±20%	Q4_K_M	11.0 / 11.0 GB + 0.9 GB 内存	部分卸载	最长 8k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中	首发价 US$999
NVIDIA DGX Spark · 64 GB	运行良好	估算 19.8 tok/s15.9–23.8校准估算 ±20%	Q4_K_M	11.3 / 48.2 GB	统一内存	最长 16k	—	首发价 US$3,999（128 GB）
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行良好	估算 19.6 tok/s15.7–23.5校准估算 ±20%	Q4_K_M	11.3 / 22.4 GB	统一内存	最长 16k	—	首发价 US$1,999（128 GB）
Apple M4 Pro · 24 GB	运行良好	估算 19.3 tok/s15.5–23.2校准估算 ±20%	Q4_K_M	11.3 / 16.8 GB	统一内存	最长 16k	—	—
GeForce GTX 1080 Ti	运行良好	估算 19.1 tok/s13.4–24.8理论估算 ±30%	Q4_K_M	11.0 / 11.0 GB + 0.9 GB 内存	部分卸载	最长 8k	—	首发价 US$699
GeForce RTX 4060 Ti 16GB	运行良好	估算 18.8 tok/s16.5–21.0校准估算 ±12%	Q4_K_M	11.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$499
Apple M6 · 24 GB	运行良好	估算 12.1 tok/s9.7–14.5校准估算 ±20%	Q4_K_M	11.3 / 16.8 GB	统一内存	最长 16k	—	—
Apple M5 · 24 GB	运行良好	估算 10.9 tok/s8.7–13.1校准估算 ±20%	Q4_K_M	11.3 / 16.8 GB	统一内存	最长 16k	—	—
Apple M4 · 24 GB	运行良好	估算 8.5 tok/s6.8–10.2校准估算 ±20%	Q4_K_M	11.3 / 16.8 GB	统一内存	最长 8k	—	—
GeForce RTX 3080 10GB	运行较慢	估算 15.1 tok/s12.1–18.1校准估算 ±20%	Q4_K_M	10.0 / 10.0 GB + 1.9 GB 内存	部分卸载	最长 16k	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢”	首发价 US$699
GeForce RTX 3070	运行较慢	估算 8.1 tok/s6.5–9.8校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢”	首发价 US$499
GeForce RTX 5060	运行较慢	估算 8.1 tok/s6.5–9.8校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢”	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	运行较慢	估算 8.1 tok/s6.5–9.8校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢”	市场价 US$429（截至 2026-08-09）
GeForce RTX 4060 Ti 8GB	运行较慢	估算 7.5 tok/s6.0–9.0校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—	首发价 US$399
GeForce RTX 4060	运行较慢	估算 7.4 tok/s5.9–8.9校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—	首发价 US$299
GeForce RTX 4060 Laptop	运行较慢	估算 7.3 tok/s5.8–8.7校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 4070 Laptop	运行较慢	估算 7.3 tok/s5.8–8.7校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—	—
GeForce RTX 3050 8GB	运行较慢	估算 7.0 tok/s5.6–8.4校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—	首发价 US$249
DDR5-6000 双通道 CPU · 16 GB	运行较慢	估算 4.5 tok/s3.6–5.4校准估算 ±20%	Q4_K_M	10.7 GB 内存	纯 CPU	最长 8k	—	—
DDR5-5600 双通道 CPU · 16 GB	运行较慢	估算 4.2 tok/s3.3–5.0校准估算 ±20%	Q4_K_M	10.7 GB 内存	纯 CPU	最长 8k	—	—
DDR4-3200 双通道 CPU · 16 GB	运行较慢	估算 2.4 tok/s1.9–2.9校准估算 ±20%	Q4_K_M	10.7 GB 内存	纯 CPU	最长 8k	—	—

能运行它的最便宜 GPU

运行流畅GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 23.5 tok/s（20.7–26.3，校准估算 ±12%）。

Phi-4 的实测结果

这个模型暂无公开基准测试结果。

常见问题

Phi-4 需要多少显存？

Q4_K_M 文件为 9.05 GB；在 8k 上下文下，显卡约需 11.0 GB（权重 8.76 GB、KV 缓存 1.7 GB、计算缓冲区 0.6 GB）。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。

能让 Phi-4 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 23.5 tok/s（20.7–26.3，校准估算 ±12%）。

Phi-4 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：运行较慢，估算 7.4 tok/s（5.9–8.9，校准估算 ±20%）; GeForce RTX 5060 Ti 16GB：运行流畅，估算 29.2 tok/s（25.7–32.7，校准估算 ±12%）; GeForce RTX 3090：运行流畅，估算 61.1 tok/s（53.7–68.4，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。