Kolibri 1 硬件要求
模型信息
- 参数量
- 总计 78.1B · 激活 3.46B（MoE）
- 注意力机制
- 滑动窗口注意力
- 最大上下文
- 262,144 个 token
- 发布日期
- 2026-10-02
GGUF 文件
| 量化 | 文件大小 | 质量 | 发布者 |
|---|---|---|---|
| Q2_K | 29.92 GB | 损失严重 | 社区 GGUF · bartowski |
| IQ4_XS | 43.63 GB | 均衡 | 社区 GGUF · bartowski |
| Q4_K_M基准 | 49.76 GB | 均衡 | 社区 GGUF · bartowski |
| Q8_0 | 83.14 GB | 近乎无损 | 社区 GGUF · bartowski |
不同量化和上下文所需的显存
| 量化 | 4k | 8k | 16k | 32k | 64k | 128k | 256k |
|---|---|---|---|---|---|---|---|
| Q2_K | 30.2 | 30.3 | 30.5 | 31.0 | 32.0 | 33.9 | 37.8 |
| IQ4_XS | 43.9 | 44.0 | 44.3 | 44.8 | 45.7 | 47.7 | 51.5 |
| Q4_K_M | 50.0 | 50.2 | 50.4 | 50.9 | 51.9 | 53.8 | 57.7 |
| Q8_0 | 83.4 | 83.5 | 83.8 | 84.3 | 85.2 | 87.2 | 91.1 |
哪些 GPU 能跑 Kolibri 1？
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
左右滑动可查看所有列。
| 硬件 | 判定 | 速度 | 量化 | 显存/内存 | 运行方式 | 上下文 | 备注 | 价格 |
|---|---|---|---|---|---|---|---|---|
| Apple M5 Ultra · 96 GB | 运行流畅 | 估算 108.1 tok/s86.5–129.8校准估算 ±20% | Q4_K_M | 50.5 / 67.2 GB | 统一内存 | 最长 256k | — | — |
| Apple M5 Max (40-core GPU) · 128 GB | 运行流畅 | 估算 96.4 tok/s77.1–115.7校准估算 ±20% | Q4_K_M | 50.5 / 89.6 GB | 统一内存 | 最长 256k | — | — |
| Apple M4 Max (40-core GPU) · 128 GB | 运行流畅 | 估算 88.5 tok/s70.8–106.2校准估算 ±20% | Q4_K_M | 50.5 / 89.6 GB | 统一内存 | 最长 256k | — | — |
| Apple M3 Ultra · 96 GB | 运行流畅 | 估算 85.3 tok/s68.2–102.4校准估算 ±20% | Q4_K_M | 50.5 / 67.2 GB | 统一内存 | 最长 256k | — | — |
| Apple M2 Ultra · 128 GB | 运行流畅 | 估算 84.0 tok/s67.2–100.8校准估算 ±20% | Q4_K_M | 50.5 / 89.6 GB | 统一内存 | 最长 256k | — | — |
| NVIDIA DGX Spark · 128 GB | 运行流畅 | 估算 52.2 tok/s41.7–62.6校准估算 ±20% | Q4_K_M | 50.5 / 116.9 GB | 统一内存 | 最长 128k | — | 首发价 US$3,999（128 GB） |
| Ryzen AI Max+ 395 (Strix Halo) · 128 GB | 运行流畅 | 估算 48.0 tok/s38.4–57.6校准估算 ±20% | Q4_K_M | 50.5 / 89.6 GB | 统一内存 | 最长 128k | — | 首发价 US$1,999（128 GB） |
| GeForce RTX 5090 | 运行良好 | 估算 83.3 tok/s58.3–108.3理论估算 ±30% | Q4_K_M | 30.1 / 32.0 GB + 21.0 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$4,200（截至 2026-08-09） |
| Apple M5 Pro · 64 GB | 运行较慢 | 估算 55.6 tok/s39.0–72.3理论估算 ±30% | Q4_K_M | 49.9 GB 内存 | 纯 CPU | 最长 256k |
| — |
| Apple M4 Pro · 64 GB | 运行较慢 | 估算 49.5 tok/s34.6–64.3理论估算 ±30% | Q4_K_M | 49.9 GB 内存 | 纯 CPU | 最长 256k |
| — |
| DDR5-6000 双通道 CPU · 64 GB | 运行较慢 | 估算 17.4 tok/s13.9–20.9校准估算 ±20% | Q4_K_M | 49.9 GB 内存 | 纯 CPU | 最长 256k |
| — |
| DDR5-5600 双通道 CPU · 64 GB | 运行较慢 | 估算 16.2 tok/s13.0–19.5校准估算 ±20% | Q4_K_M | 49.9 GB 内存 | 纯 CPU | 最长 256k |
| — |
| DDR4-3200 双通道 CPU · 64 GB | 运行较慢 | 估算 9.3 tok/s7.4–11.1校准估算 ±20% | Q4_K_M | 49.9 GB 内存 | 纯 CPU | 最长 128k | — | — |
| Apple M5 Max (32-core GPU) · 36 GB | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 92.9 tok/s65.0–120.7理论估算 ±30% | Q2_K | 30.1 GB 内存 | 纯 CPU | 最长 64k |
| — |
| GeForce RTX 5080 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 86.5 tok/s60.6–112.5理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 市场价 US$1,256（截至 2026-08-09） |
| Apple M4 Max (32-core GPU) · 36 GB | 无法运行改用 Q2_K（质量损失大）：运行较慢 | 估算 85.3 tok/s59.7–110.9理论估算 ±30% | Q2_K | 30.1 GB 内存 | 纯 CPU | 最长 64k |
| — |
| GeForce RTX 5070 Ti | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 84.6 tok/s59.2–110.0理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 市场价 US$949（截至 2026-08-09） |
| GeForce RTX 5080 Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 84.6 tok/s59.2–110.0理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| — |
| GeForce RTX 4080 Super | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 78.8 tok/s55.2–102.5理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$999 |
| GeForce RTX 4080 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 78.0 tok/s54.6–101.5理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$1,199 |
| GeForce RTX 3080 12GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 76.9 tok/s53.9–100.0理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$799 |
| GeForce RTX 4070 Ti Super | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 76.1 tok/s53.3–98.9理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$799 |
| GeForce RTX 4090 Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 71.3 tok/s49.9–92.7理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| — |
| GeForce RTX 3090 Ti | 无法运行改用 IQ4_XS：运行良好 | 估算 70.1 tok/s49.0–91.1理论估算 ±30% | IQ4_XS | 22.6 / 24.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$1,999 |
| GeForce RTX 4090 | 无法运行改用 IQ4_XS：运行良好 | 估算 70.1 tok/s49.0–91.1理论估算 ±30% | IQ4_XS | 22.6 / 24.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$2,755（截至 2026-08-09） |
| GeForce RTX 5070 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 69.7 tok/s48.8–90.6理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 市场价 US$629（截至 2026-08-09） |
| GeForce RTX 5070 Ti Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 69.7 tok/s48.8–90.6理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
| — |
| GeForce RTX 3080 10GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 69.2 tok/s48.4–89.9理论估算 ±30% | Q2_K | 9.0 / 10.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$699 |
| GeForce RTX 3090 | 无法运行改用 IQ4_XS：运行良好 | 估算 68.5 tok/s47.9–89.0理论估算 ±30% | IQ4_XS | 22.6 / 24.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$1,050（截至 2026-08-09） |
| GeForce RTX 5090 Laptop | 无法运行改用 IQ4_XS：运行良好 | 估算 67.5 tok/s47.3–87.8理论估算 ±30% | IQ4_XS | 22.6 / 24.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| — |
| GeForce RTX 2080 Ti | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 65.9 tok/s46.1–85.7理论估算 ±30% | Q2_K | 10.1 / 11.0 GB + 21.2 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$999 |
| Radeon RX 9070 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 65.5 tok/s45.8–85.1理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 市场价 US$639（截至 2026-08-09） |
| Radeon RX 9070 XT | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 65.5 tok/s45.8–85.1理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 市场价 US$689（截至 2026-08-09） |
| Radeon RX 7800 XT | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 64.8 tok/s45.3–84.2理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$499 |
| GeForce RTX 5060 Ti 16GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 63.3 tok/s44.3–82.3理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$569（截至 2026-08-09） |
| GeForce RTX 4070 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 62.2 tok/s43.5–80.9理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$599 |
| GeForce RTX 4070 Super | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 62.2 tok/s43.5–80.9理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 256k |
| 首发价 US$599 |
| Radeon RX 7900 XTX | 无法运行改用 IQ4_XS：运行良好 | 估算 60.7 tok/s42.5–78.9理论估算 ±30% | IQ4_XS | 22.6 / 24.0 GB + 22.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$999 |
| GeForce GTX 1080 Ti | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 59.9 tok/s41.9–77.9理论估算 ±30% | Q2_K | 10.1 / 11.0 GB + 21.2 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$699 |
| GeForce RTX 4080 Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 58.1 tok/s40.6–75.5理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 128k |
| — |
| GeForce RTX 3070 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 55.3 tok/s38.7–71.9理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 首发价 US$499 |
| GeForce RTX 5060 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 55.3 tok/s38.7–71.9理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$339（截至 2026-08-09） |
| GeForce RTX 5060 Ti 8GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 55.3 tok/s38.7–71.9理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$429（截至 2026-08-09） |
| Radeon RX 7900 XT | 无法运行改用 IQ4_XS：运行良好 | 估算 53.7 tok/s37.6–69.8理论估算 ±30% | IQ4_XS | 18.6 / 20.0 GB + 26.4 GB 内存 | MoE 专家放在内存 | 最长 32k |
| 首发价 US$899 |
| GeForce RTX 3060 12GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 53.1 tok/s37.2–69.0理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$250（截至 2026-08-09） |
| GeForce RTX 4060 Ti 16GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 49.5 tok/s34.7–64.4理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 64k |
| 首发价 US$499 |
| Radeon RX 9060 XT 16GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 49.1 tok/s34.4–63.8理论估算 ±30% | Q2_K | 15.0 / 16.0 GB + 16.3 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$449（截至 2026-08-09） |
| Intel Arc B580 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 48.6 tok/s34.0–63.2理论估算 ±30% | Q2_K | 11.2 / 12.0 GB + 20.1 GB 内存 | MoE 专家放在内存 | 最长 128k |
| 市场价 US$290（截至 2026-08-09） |
| GeForce RTX 4060 Ti 8GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 44.9 tok/s31.4–58.4理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 64k |
| 首发价 US$399 |
| GeForce RTX 4060 | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 43.5 tok/s30.5–56.6理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 64k |
| 首发价 US$299 |
| GeForce RTX 4060 Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 42.1 tok/s29.5–54.7理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 64k |
| — |
| GeForce RTX 4070 Laptop | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 42.1 tok/s29.5–54.7理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 64k |
| — |
| GeForce RTX 3050 8GB | 无法运行改用 Q2_K（质量损失大）：运行良好 | 估算 39.0 tok/s27.3–50.7理论估算 ±30% | Q2_K | 7.3 / 8.0 GB + 23.9 GB 内存 | MoE 专家放在内存 | 最长 32k |
| 首发价 US$249 |
| Apple M4 · 32 GB | 无法运行 | — | Q4_K_M | 需要 50.5 GB | — | — |
| — |
| Apple M5 · 32 GB | 无法运行 | — | Q4_K_M | 需要 50.5 GB | — | — |
| — |
| Apple M6 · 32 GB | 无法运行 | — | Q4_K_M | 需要 50.5 GB | — | — |
| — |
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
能运行它的最便宜 GPU
- 运行良好GeForce RTX 5090市场价 US$4,200（截至 2026-08-09），估算 83.3 tok/s（58.3–108.3，理论估算 ±30%）。
Kolibri 1 的实测结果
这个模型暂无公开基准测试结果。
常见问题
Kolibri 1 需要多少显存？
Q4_K_M 文件为 49.76 GB；在 8k 上下文下，显卡约需 50.2 GB（权重 49.41 GB、KV 缓存 0.2 GB、计算缓冲区 0.6 GB）。已收录的最小文件（Q2_K（质量损失大））约需 30.3 GB。 文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中。Mac 按整个文件计算，所以需要的内存稍多一些。
能让 Kolibri 1 运行良好的最便宜 GPU 是哪款？
没有带价格的 GPU 能让它运行流畅；能让它运行良好的最便宜选择是 GeForce RTX 5090，US$4,200（2026-08-09 市场价），估算 83.3 tok/s（58.3–108.3，理论估算 ±30%）。
Kolibri 1 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？
Q4_K_M、8k 上下文下：GeForce RTX 4060：无法运行; GeForce RTX 5060 Ti 16GB：无法运行; GeForce RTX 3090：无法运行。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。