Ling-3.0 Tiny 硬件要求
模型信息
- 参数量
- 总计 7.89B · 激活 1.3B（MoE）
- 注意力机制
- 混合注意力（仅部分层使用全注意力）
- 最大上下文
- 131,072 个 token
- 发布日期
- 2026-08-10
同系列的其他规格
| 模型 | 参数量 | 基准量化 | 所需显存（8k） | GeForce RTX 4060 | GeForce RTX 5060 Ti 16GB | GeForce RTX 3090 |
|---|---|---|---|---|---|---|
| Ling-3.0 Tiny当前模型 | 总计 7.89B · 激活 1.3B（MoE） | Q4_K_M | 5.3 GB | 运行流畅 | 运行流畅 | 运行流畅 |
| Ling-3.0 Flash | 总计 127.49B · 激活 5.1B（MoE） | Q4_K_M | 75.4 GB | 无法运行 | 无法运行 | 无法运行 |
GGUF 文件
| 量化 | 文件大小 | 质量 | 发布者 |
|---|---|---|---|
| Q4_K_M基准 | 4.82 GB | 均衡 | 官方 GGUF · inclusionAI |
| Q8_0 | 8.41 GB | 近乎无损 | 官方 GGUF · inclusionAI |
不同量化和上下文所需的显存
| 量化 | 4k | 8k | 16k | 32k | 64k | 128k |
|---|---|---|---|---|---|---|
| Q4_K_M | 5.2 | 5.3 | 5.4 | 5.7 | 6.2 | 7.3 |
| Q8_0 | 8.7 | 8.8 | 8.9 | 9.2 | 9.7 | 10.8 |
哪些 GPU 能跑 Ling-3.0 Tiny？
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
左右滑动可查看所有列。
| 硬件 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 | 价格 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 运行流畅 | 估算 485.1 tok/s339.6–630.7理论估算 ±30% | Q4_K_M | 5.9 / 32.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$4,200（截至 2026-08-09） |
| GeForce RTX 3090 Ti | 运行流畅 | 估算 390.2 tok/s273.2–507.3理论估算 ±30% | Q4_K_M | 5.9 / 24.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$1,999 |
| GeForce RTX 4090 | 运行流畅 | 估算 390.2 tok/s273.2–507.3理论估算 ±30% | Q4_K_M | 5.9 / 24.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$2,755（截至 2026-08-09） |
| GeForce RTX 5080 | 运行流畅 | 估算 381.7 tok/s267.2–496.2理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$1,256（截至 2026-08-09） |
| GeForce RTX 3090 | 运行流畅 | 估算 377.2 tok/s264.1–490.4理论估算 ±30% | Q4_K_M | 5.9 / 24.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$1,050（截至 2026-08-09） |
| GeForce RTX 3080 12GB | 运行流畅 | 估算 372.7 tok/s260.9–484.5理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$799 |
| GeForce RTX 5070 Ti | 运行流畅 | 估算 369.6 tok/s258.7–480.4理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$949（截至 2026-08-09） |
| GeForce RTX 5080 Laptop | 运行流畅 | 估算 369.6 tok/s258.7–480.4理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | — |
| GeForce RTX 5090 Laptop | 运行流畅 | 估算 369.6 tok/s258.7–480.4理论估算 ±30% | Q4_K_M | 5.9 / 24.0 GB | 全部载入显卡 | 最长 128k | — | — |
| GeForce RTX 3080 10GB | 运行流畅 | 估算 340.5 tok/s238.4–442.7理论估算 ±30% | Q4_K_M | 5.9 / 10.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$699 |
| GeForce RTX 4080 Super | 运行流畅 | 估算 334.9 tok/s234.4–435.4理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$999 |
| GeForce RTX 4080 | 运行流畅 | 估算 330.3 tok/s231.2–429.4理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$1,199 |
| GeForce RTX 4070 Ti Super | 运行流畅 | 估算 318.9 tok/s223.2–414.6理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$799 |
| GeForce RTX 5070 | 运行流畅 | 估算 318.9 tok/s223.2–414.6理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$629（截至 2026-08-09） |
| GeForce RTX 5070 Ti Laptop | 运行流畅 | 估算 318.9 tok/s223.2–414.6理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | — |
| GeForce RTX 2080 Ti | 运行流畅 | 估算 303.8 tok/s212.6–394.9理论估算 ±30% | Q4_K_M | 5.9 / 11.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$999 |
| GeForce RTX 4090 Laptop | 运行流畅 | 估算 292.2 tok/s204.6–379.9理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | — |
| Apple M5 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 282.8 tok/s198.0–367.7理论估算 ±30% | Q4_K_M | 5.5 / 33.6 GB | 统一内存 | 最长 128k | — | — |
| GeForce RTX 4070 | 运行流畅 | 估算 269.7 tok/s188.8–350.5理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$599 |
| GeForce RTX 4070 Super | 运行流畅 | 估算 269.7 tok/s188.8–350.5理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$599 |
| Apple M4 Max (40-core GPU) · 48 GB | 运行流畅 | 估算 266.6 tok/s186.6–346.5理论估算 ±30% | Q4_K_M | 5.5 / 33.6 GB | 统一内存 | 最长 128k | — | — |
| Apple M5 Ultra · 96 GB | 运行流畅 | 估算 264.1 tok/s184.9–343.3理论估算 ±30% | Q4_K_M | 5.5 / 67.2 GB | 统一内存 | 最长 128k | — | — |
| GeForce GTX 1080 Ti | 运行流畅 | 估算 262.9 tok/s184.1–341.8理论估算 ±30% | Q4_K_M | 5.9 / 11.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$699 |
| Radeon RX 7900 XTX | 运行流畅 | 估算 252.5 tok/s176.8–328.3理论估算 ±30% | Q4_K_M | 5.9 / 24.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$999 |
| GeForce RTX 3070 | 运行流畅 | 估算 250.3 tok/s175.2–325.4理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$499 |
| GeForce RTX 5060 | 运行流畅 | 估算 250.3 tok/s175.2–325.4理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$339（截至 2026-08-09） |
| GeForce RTX 5060 Ti 16GB | 运行流畅 | 估算 250.3 tok/s175.2–325.4理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$569（截至 2026-08-09） |
| GeForce RTX 5060 Ti 8GB | 运行流畅 | 估算 250.3 tok/s175.2–325.4理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$429（截至 2026-08-09） |
| GeForce RTX 4080 Laptop | 运行流畅 | 估算 244.5 tok/s171.1–317.8理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | — |
| Apple M5 Max (32-core GPU) · 36 GB | 运行流畅 | 估算 243.0 tok/s170.1–315.9理论估算 ±30% | Q4_K_M | 5.5 / 25.2 GB | 统一内存 | 最长 128k | — | — |
| Radeon RX 7900 XT | 运行流畅 | 估算 239.1 tok/s167.4–310.9理论估算 ±30% | Q4_K_M | 5.9 / 20.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$899 |
| Apple M3 Ultra · 96 GB | 运行流畅 | 估算 229.2 tok/s160.4–298.0理论估算 ±30% | Q4_K_M | 5.5 / 67.2 GB | 统一内存 | 最长 128k | — | — |
| Apple M4 Max (32-core GPU) · 36 GB | 运行流畅 | 估算 227.4 tok/s159.2–295.6理论估算 ±30% | Q4_K_M | 5.5 / 25.2 GB | 统一内存 | 最长 128k | — | — |
| Apple M2 Ultra · 64 GB | 运行流畅 | 估算 227.1 tok/s158.9–295.2理论估算 ±30% | Q4_K_M | 5.5 / 44.8 GB | 统一内存 | 最长 128k | — | — |
| Radeon RX 9070 | 运行流畅 | 估算 222.2 tok/s155.5–288.8理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$639（截至 2026-08-09） |
| Radeon RX 9070 XT | 运行流畅 | 估算 222.2 tok/s155.5–288.8理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$689（截至 2026-08-09） |
| Radeon RX 7800 XT | 运行流畅 | 估算 219.5 tok/s153.6–285.3理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$499 |
| GeForce RTX 3060 12GB | 运行流畅 | 估算 216.2 tok/s151.3–281.1理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$250（截至 2026-08-09） |
| Apple M5 Pro · 24 GB | 运行流畅 | 估算 189.8 tok/s132.9–246.8理论估算 ±30% | Q4_K_M | 5.5 / 16.8 GB | 统一内存 | 最长 128k | — | — |
| GeForce RTX 4060 Ti 16GB | 运行流畅 | 估算 184.3 tok/s129.0–239.5理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$499 |
| GeForce RTX 4060 Ti 8GB | 运行流畅 | 估算 184.3 tok/s129.0–239.5理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$399 |
| NVIDIA DGX Spark · 64 GB | 运行流畅 | 估算 179.8 tok/s125.8–233.7理论估算 ±30% | Q4_K_M | 5.5 / 48.2 GB | 统一内存 | 最长 128k | — | 首发价 US$3,999（128 GB） |
| GeForce RTX 4060 | 运行流畅 | 估算 176.6 tok/s123.6–229.6理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$299 |
| Apple M4 Pro · 24 GB | 运行流畅 | 估算 175.4 tok/s122.8–228.1理论估算 ±30% | Q4_K_M | 5.5 / 16.8 GB | 统一内存 | 最长 128k | — | — |
| Intel Arc B580 | 运行流畅 | 估算 170.7 tok/s119.5–222.0理论估算 ±30% | Q4_K_M | 5.9 / 12.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$290（截至 2026-08-09） |
| GeForce RTX 4060 Laptop | 运行流畅 | 估算 168.7 tok/s118.1–219.3理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | — |
| GeForce RTX 4070 Laptop | 运行流畅 | 估算 168.7 tok/s118.1–219.3理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | — |
| Radeon RX 9060 XT 16GB | 运行流畅 | 估算 162.4 tok/s113.7–211.2理论估算 ±30% | Q4_K_M | 5.9 / 16.0 GB | 全部载入显卡 | 最长 128k | — | 市场价 US$449（截至 2026-08-09） |
| Ryzen AI Max+ 395 (Strix Halo) · 32 GB | 运行流畅 | 估算 154.3 tok/s108.0–200.5理论估算 ±30% | Q4_K_M | 5.5 / 22.4 GB | 统一内存 | 最长 128k | — | 首发价 US$1,999（128 GB） |
| GeForce RTX 3050 8GB | 运行流畅 | 估算 152.1 tok/s106.5–197.8理论估算 ±30% | Q4_K_M | 5.9 / 8.0 GB | 全部载入显卡 | 最长 128k | — | 首发价 US$249 |
| Apple M5 · 16 GB | 运行流畅 | 估算 114.6 tok/s80.2–148.9理论估算 ±30% | Q4_K_M | 5.5 / 11.2 GB | 统一内存 | 最长 128k | — | — |
| Apple M6 · 16 GB | 运行流畅 | 估算 114.6 tok/s80.2–148.9理论估算 ±30% | Q4_K_M | 5.5 / 11.2 GB | 统一内存 | 最长 128k | — | — |
| Apple M4 · 16 GB | 运行流畅 | 估算 93.7 tok/s65.6–121.9理论估算 ±30% | Q4_K_M | 5.5 / 11.2 GB | 统一内存 | 最长 128k | — | — |
| DDR5-6000 双通道 CPU · 16 GB | 运行较慢 | 估算 48.5 tok/s34.0–63.1理论估算 ±30% | Q4_K_M | 4.9 GB 内存 | 纯 CPU | 最长 128k |
| — |
| DDR5-5600 双通道 CPU · 16 GB | 运行较慢 | 估算 45.3 tok/s31.7–58.9理论估算 ±30% | Q4_K_M | 4.9 GB 内存 | 纯 CPU | 最长 128k |
| — |
| DDR4-3200 双通道 CPU · 16 GB | 运行较慢 | 估算 25.9 tok/s18.1–33.6理论估算 ±30% | Q4_K_M | 4.9 GB 内存 | 纯 CPU | 最长 128k |
| — |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
能运行它的最便宜 GPU
- 运行流畅GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），估算 216.2 tok/s（151.3–281.1，理论估算 ±30%）。
Ling-3.0 Tiny 的实测结果
这个模型暂无公开基准测试结果。
常见问题
Ling-3.0 Tiny 需要多少显存？
Q4_K_M 文件为 4.82 GB；在 8k 上下文下，显卡约需 5.3 GB（权重 4.68 GB、KV 缓存 0.1 GB、计算缓冲区 0.6 GB）。 文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
能让 Ling-3.0 Tiny 运行良好的最便宜 GPU 是哪款？
运行流畅的最便宜选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），估算 216.2 tok/s（151.3–281.1，理论估算 ±30%）。
Ling-3.0 Tiny 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？
Q4_K_M、8k 上下文下：GeForce RTX 4060：运行流畅，估算 176.6 tok/s（123.6–229.6，理论估算 ±30%）; GeForce RTX 5060 Ti 16GB：运行流畅，估算 250.3 tok/s（175.2–325.4，理论估算 ±30%）; GeForce RTX 3090：运行流畅，估算 377.2 tok/s（264.1–490.4，理论估算 ±30%）。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。