Llama 3.2 1B 硬件要求

模型信息

参数量: 1.24B
注意力机制: 全注意力
最大上下文: 131,072 个 token
发布日期: 2024-09-25
模型卡: Hugging Face 上的 Llama 3.2 1B

同系列的其他规格

各模型在基准量化、8k 上下文下所需的显存，以及在常见显卡上的判定，按模型从小到大排列
模型	参数量	基准量化	所需显存（8k）	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Llama 3.2 1B当前模型	1.24B	Q4_K_M	1.6 GB	运行流畅	运行流畅	运行流畅
Llama 3.2 3B	3.21B	Q4_K_M	3.5 GB	运行流畅	运行流畅	运行流畅

GGUF 文件

收录的 Llama 3.2 1B 量化文件，从小到大排列
量化	文件大小	质量	发布者
IQ4_XS	0.74 GB	均衡	社区 GGUF · bartowski
Q4_K_M基准	0.81 GB	均衡	社区 GGUF · bartowski
Q8_0	1.32 GB	近乎无损	社区 GGUF · bartowski

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。
量化	4k	8k	16k	32k	64k	128k
IQ4_XS	1.4	1.6	1.9	2.6	4.0	6.7
Q4_K_M	1.5	1.6	2.0	2.7	4.0	6.8
Q8_0	2.0	2.2	2.5	3.2	4.6	7.3

哪些 GPU 能跑 Llama 3.2 1B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	估算 1,163.2 tok/s1,023.6–1,302.7校准估算 ±12%	Q4_K_M	2.2 / 32.0 GB	全部载入显卡	最长 128k	—	市场价 US$4,200（截至 2026-08-09）
Radeon RX 7900 XTX	运行流畅	估算 676.5 tok/s595.4–757.7校准估算 ±12%	Q4_K_M	2.2 / 24.0 GB	全部载入显卡	最长 128k	—	首发价 US$999
GeForce RTX 3090 Ti	运行流畅	估算 654.3 tok/s575.8–732.8校准估算 ±12%	Q4_K_M	2.2 / 24.0 GB	全部载入显卡	最长 128k	—	首发价 US$1,999
GeForce RTX 4090	运行流畅	估算 654.3 tok/s575.8–732.8校准估算 ±12%	Q4_K_M	2.2 / 24.0 GB	全部载入显卡	最长 128k	—	市场价 US$2,755（截至 2026-08-09）
Apple M5 Ultra · 96 GB	运行流畅	估算 649.1 tok/s519.2–778.9校准估算 ±20%	Q4_K_M	1.7 / 67.2 GB	统一内存	最长 128k	—	—
GeForce RTX 5080	运行流畅	估算 623.1 tok/s548.3–697.9校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 3090	运行流畅	估算 607.5 tok/s534.6–680.5校准估算 ±12%	Q4_K_M	2.2 / 24.0 GB	全部载入显卡	最长 128k	—	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 3080 12GB	运行流畅	估算 592.0 tok/s520.9–663.0校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$799
GeForce RTX 5070 Ti	运行流畅	估算 581.6 tok/s511.8–651.4校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行流畅	估算 581.6 tok/s511.8–651.4校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 5090 Laptop	运行流畅	估算 581.6 tok/s511.8–651.4校准估算 ±12%	Q4_K_M	2.2 / 24.0 GB	全部载入显卡	最长 128k	—	—
Radeon RX 7900 XT	运行流畅	估算 563.8 tok/s496.1–631.4校准估算 ±12%	Q4_K_M	2.2 / 20.0 GB	全部载入显卡	最长 128k	—	首发价 US$899
GeForce RTX 3080 10GB	运行流畅	估算 493.3 tok/s434.1–552.5校准估算 ±12%	Q4_K_M	2.2 / 10.0 GB	全部载入显卡	最长 128k	—	首发价 US$699
GeForce RTX 4080 Super	运行流畅	估算 477.7 tok/s420.4–535.1校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$999
GeForce RTX 4080	运行流畅	估算 465.4 tok/s409.5–521.2校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$1,199
Radeon RX 9070	运行流畅	估算 454.5 tok/s400.0–509.1校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行流畅	估算 454.5 tok/s400.0–509.1校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$689（截至 2026-08-09）
Radeon RX 7800 XT	运行流畅	估算 439.7 tok/s387.0–492.5校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$499
GeForce RTX 4070 Ti Super	运行流畅	估算 436.2 tok/s383.8–488.5校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$799
GeForce RTX 5070	运行流畅	估算 436.2 tok/s383.8–488.5校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行流畅	估算 436.2 tok/s383.8–488.5校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	—
Apple M3 Ultra · 96 GB	运行流畅	估算 432.9 tok/s346.3–519.5校准估算 ±20%	Q4_K_M	1.7 / 67.2 GB	统一内存	最长 128k	—	—
Apple M5 Max (40-core GPU) · 48 GB	运行流畅	估算 432.7 tok/s346.2–519.2校准估算 ±20%	Q4_K_M	1.7 / 33.6 GB	统一内存	最长 128k	—	—
Apple M2 Ultra · 64 GB	运行流畅	估算 422.8 tok/s338.3–507.4校准估算 ±20%	Q4_K_M	1.7 / 44.8 GB	统一内存	最长 128k	—	—
GeForce RTX 2080 Ti	运行流畅	估算 399.8 tok/s351.9–447.8校准估算 ±12%	Q4_K_M	2.2 / 11.0 GB	全部载入显卡	最长 128k	—	首发价 US$999
Apple M4 Max (40-core GPU) · 48 GB	运行流畅	估算 384.8 tok/s307.8–461.7校准估算 ±20%	Q4_K_M	1.7 / 33.6 GB	统一内存	最长 128k	—	—
GeForce RTX 4090 Laptop	运行流畅	估算 373.9 tok/s329.0–418.7校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 4070	运行流畅	估算 327.1 tok/s287.9–366.4校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$599
GeForce RTX 4070 Super	运行流畅	估算 327.1 tok/s287.9–366.4校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$599
Apple M5 Max (32-core GPU) · 36 GB	运行流畅	估算 324.2 tok/s259.3–389.0校准估算 ±20%	Q4_K_M	1.7 / 25.2 GB	统一内存	最长 128k	—	—
GeForce GTX 1080 Ti	运行流畅	估算 314.2 tok/s219.9–408.4理论估算 ±30%	Q4_K_M	2.2 / 11.0 GB	全部载入显卡	最长 128k	—	首发价 US$699
GeForce RTX 3070	运行流畅	估算 290.8 tok/s255.9–325.7校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	首发价 US$499
GeForce RTX 5060	运行流畅	估算 290.8 tok/s255.9–325.7校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 16GB	运行流畅	估算 290.8 tok/s255.9–325.7校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$569（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	运行流畅	估算 290.8 tok/s255.9–325.7校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	市场价 US$429（截至 2026-08-09）
Apple M4 Max (32-core GPU) · 36 GB	运行流畅	估算 288.9 tok/s231.1–346.7校准估算 ±20%	Q4_K_M	1.7 / 25.2 GB	统一内存	最长 128k	—	—
GeForce RTX 4080 Laptop	运行流畅	估算 280.4 tok/s246.8–314.1校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	—
Intel Arc B580	运行流畅	估算 249.5 tok/s199.6–299.4校准估算 ±20%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	市场价 US$290（截至 2026-08-09）
GeForce RTX 3060 12GB	运行流畅	估算 233.7 tok/s205.6–261.7校准估算 ±12%	Q4_K_M	2.2 / 12.0 GB	全部载入显卡	最长 128k	—	市场价 US$250（截至 2026-08-09）
Radeon RX 9060 XT 16GB	运行流畅	估算 226.9 tok/s199.7–254.2校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$449（截至 2026-08-09）
Apple M5 Pro · 24 GB	运行流畅	估算 216.4 tok/s173.1–259.6校准估算 ±20%	Q4_K_M	1.7 / 16.8 GB	统一内存	最长 128k	—	—
NVIDIA DGX Spark · 64 GB	运行流畅	估算 197.5 tok/s158.0–236.9校准估算 ±20%	Q4_K_M	1.7 / 48.2 GB	统一内存	最长 128k	—	首发价 US$3,999（128 GB）
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行流畅	估算 194.7 tok/s155.7–233.6校准估算 ±20%	Q4_K_M	1.7 / 22.4 GB	统一内存	最长 128k	—	首发价 US$1,999（128 GB）
Apple M4 Pro · 24 GB	运行流畅	估算 192.4 tok/s153.9–230.9校准估算 ±20%	Q4_K_M	1.7 / 16.8 GB	统一内存	最长 128k	—	—
GeForce RTX 4060 Ti 16GB	运行流畅	估算 186.9 tok/s164.5–209.4校准估算 ±12%	Q4_K_M	2.2 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$499
GeForce RTX 4060 Ti 8GB	运行流畅	估算 186.9 tok/s164.5–209.4校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	首发价 US$399
GeForce RTX 4060	运行流畅	估算 176.6 tok/s155.4–197.7校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	首发价 US$299
GeForce RTX 4060 Laptop	运行流畅	估算 166.2 tok/s146.2–186.1校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 4070 Laptop	运行流畅	估算 166.2 tok/s146.2–186.1校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 3050 8GB	运行流畅	估算 145.4 tok/s127.9–162.8校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—	首发价 US$249
Apple M5 · 16 GB	运行流畅	估算 108.2 tok/s86.6–129.9校准估算 ±20%	Q4_K_M	1.7 / 11.2 GB	统一内存	最长 128k	—	—
Apple M6 · 16 GB	运行流畅	估算 108.2 tok/s86.6–129.9校准估算 ±20%	Q4_K_M	1.7 / 11.2 GB	统一内存	最长 128k	—	—
Apple M4 · 16 GB	运行流畅	估算 84.6 tok/s67.7–101.5校准估算 ±20%	Q4_K_M	1.7 / 11.2 GB	统一内存	最长 64k	—	—
DDR5-6000 双通道 CPU · 16 GB	运行较慢	估算 44.5 tok/s35.6–53.4校准估算 ±20%	Q4_K_M	1.1 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”	—
DDR5-5600 双通道 CPU · 16 GB	运行较慢	估算 41.5 tok/s33.2–49.8校准估算 ±20%	Q4_K_M	1.1 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”	—
DDR4-3200 双通道 CPU · 16 GB	运行较慢	估算 23.7 tok/s19.0–28.5校准估算 ±20%	Q4_K_M	1.1 GB 内存	纯 CPU	最长 128k	CPU 推理：最高只能判为“运行较慢”	—

能运行它的最便宜 GPU

运行流畅GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 233.7 tok/s（205.6–261.7，校准估算 ±12%）。

Llama 3.2 1B 的实测结果

这个模型暂无公开基准测试结果。

常见问题

Llama 3.2 1B 需要多少显存？

Q4_K_M 文件为 0.81 GB；在 8k 上下文下，显卡约需 1.6 GB（权重 0.80 GB、KV 缓存 0.3 GB、计算缓冲区 0.6 GB）。已收录的最小文件（IQ4_XS）约需 1.6 GB。

能让 Llama 3.2 1B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 233.7 tok/s（205.6–261.7，校准估算 ±12%）。

Llama 3.2 1B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：运行流畅，估算 176.6 tok/s（155.4–197.7，校准估算 ±12%）; GeForce RTX 5060 Ti 16GB：运行流畅，估算 290.8 tok/s（255.9–325.7，校准估算 ±12%）; GeForce RTX 3090：运行流畅，估算 607.5 tok/s（534.6–680.5，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。