Qwen3.5 9B 硬件要求

模型信息

参数量: 9.65B
注意力机制: 混合注意力（仅部分层使用全注意力）
最大上下文: 262,144 个 token
发布日期: 2026-02-27
模型卡: Hugging Face 上的 Qwen3.5 9B

同系列的其他规格

各模型在基准量化、8k 上下文下所需的显存，以及在常见显卡上的判定，按模型从小到大排列
模型	参数量	基准量化	所需显存（8k）	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Qwen3.5 4B	4.66B	Q4_K_M	3.6 GB	运行流畅	运行流畅	运行流畅
Qwen3.5 9B当前模型	9.65B	Q4_K_M	6.0 GB	运行流畅	运行流畅	运行流畅
Qwen3.5 27B	27.78B	Q4_K_M	17.2 GB	运行较慢	运行较慢	运行流畅
Qwen3.5 35B-A3B	总计 35.95B · 激活 3B（MoE）	Q4_K_M	22.3 GB	运行良好	运行良好	运行流畅
Qwen3.5 122B-A10B	总计 125.09B · 激活 10B（MoE）	Q4_K_M	76.6 GB	无法运行	无法运行	无法运行

GGUF 文件

收录的 Qwen3.5 9B 量化文件，从小到大排列
量化	文件大小	质量	发布者
IQ4_XS	5.47 GB	均衡	社区 GGUF · unsloth
Q4_K_M基准	5.87 GB	均衡	社区 GGUF · unsloth
Q8_0	9.79 GB	近乎无损	社区 GGUF · unsloth

部分仓库只发布 Unsloth Dynamic（UD）版本，大小以你实际下载的文件为准。

不同量化和上下文所需的显存

显存（GB）：载入 GPU 的权重 + f16 KV 缓存 + 计算缓冲区。如果在 Windows 上这块显卡还负责显示输出，再加约 0.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中，并且只在开启 MTP 时才加载 MTP 模块。Mac 按整个文件计算，所以需要的内存稍多一些。
量化	4k	8k	16k	32k	64k	128k	256k
IQ4_XS	5.4	5.6	5.9	6.6	8.0	10.7	16.2
Q4_K_M	5.8	6.0	6.3	7.0	8.4	11.1	16.6
Q8_0	9.1	9.3	9.6	10.3	11.7	14.4	19.9

哪些 GPU 能跑 Qwen3.5 9B？

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

排序

在计算器中按预算、类型和上下文筛选这份列表

左右滑动可查看所有列。

56 款 GPU、Mac 和 CPU 配置，基于 Q4_K_M 量化、8k 上下文，按判定和速度排序
硬件	判定	速度	量化	显存/内存	运行方式	上下文	备注	价格
GeForce RTX 5090	运行流畅	估算 204.4 tok/s179.8–228.9校准估算 ±12%	Q4_K_M	6.6 / 32.0 GB	全部载入显卡	最长 256k	—	市场价 US$4,200（截至 2026-08-09）
GeForce RTX 4090	运行流畅	127.5 tok/s8k 估算 114.9 tok/s（101.2–128.7，校准估算 ±12%）实测（2 次，512/40k 上下文）	Q4_K_M	6.6 / 24.0 GB	全部载入显卡	最长 256k	—	市场价 US$2,755（截至 2026-08-09）
Radeon RX 7900 XTX	运行流畅	估算 118.9 tok/s104.6–133.1校准估算 ±12%	Q4_K_M	6.6 / 24.0 GB	全部载入显卡	最长 256k	—	首发价 US$999
GeForce RTX 3090 Ti	运行流畅	估算 114.9 tok/s101.2–128.7校准估算 ±12%	Q4_K_M	6.6 / 24.0 GB	全部载入显卡	最长 256k	—	首发价 US$1,999
Apple M5 Ultra · 96 GB	运行流畅	估算 114.0 tok/s91.2–136.8校准估算 ±20%	Q4_K_M	6.7 / 67.2 GB	统一内存	最长 256k	—	—
GeForce RTX 5080	运行流畅	估算 109.5 tok/s96.3–122.6校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$1,256（截至 2026-08-09）
GeForce RTX 3090	运行流畅	估算 106.7 tok/s93.9–119.5校准估算 ±12%	Q4_K_M	6.6 / 24.0 GB	全部载入显卡	最长 256k	—	市场价 US$1,050（截至 2026-08-09）
GeForce RTX 3080 12GB	运行流畅	估算 104.0 tok/s91.5–116.5校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$799
GeForce RTX 5070 Ti	运行流畅	估算 102.2 tok/s89.9–114.4校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$949（截至 2026-08-09）
GeForce RTX 5080 Laptop	运行流畅	估算 102.2 tok/s89.9–114.4校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 5090 Laptop	运行流畅	估算 102.2 tok/s89.9–114.4校准估算 ±12%	Q4_K_M	6.6 / 24.0 GB	全部载入显卡	最长 256k	—	—
Radeon RX 7900 XT	运行流畅	87.8 tok/s8k 估算 99.0 tok/s（87.2–110.9，校准估算 ±12%）实测（1 次，4k 上下文）	Q4_K_M	6.6 / 20.0 GB	全部载入显卡	最长 256k	—	首发价 US$899
GeForce RTX 3080 10GB	运行流畅	估算 86.7 tok/s76.3–97.1校准估算 ±12%	Q4_K_M	6.6 / 10.0 GB	全部载入显卡	最长 64k	—	首发价 US$699
GeForce RTX 4080 Super	运行流畅	估算 83.9 tok/s73.9–94.0校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$999
Apple M5 Max (40-core GPU) · 48 GB	运行流畅	82.7 tok/s8k 估算 76.0 tok/s（60.8–91.2，校准估算 ±20%）实测（2 次，512 上下文）	Q4_K_M	6.7 / 33.6 GB	统一内存	最长 256k	—	—
GeForce RTX 4080	运行流畅	估算 81.8 tok/s72.0–91.6校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$1,199
Radeon RX 9070	运行流畅	估算 79.9 tok/s70.3–89.4校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$639（截至 2026-08-09）
Radeon RX 9070 XT	运行流畅	估算 79.9 tok/s70.3–89.4校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$689（截至 2026-08-09）
GeForce RTX 4070 Ti Super	运行流畅	估算 76.6 tok/s67.4–85.8校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$799
GeForce RTX 5070	运行流畅	估算 76.6 tok/s67.4–85.8校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 128k	—	市场价 US$629（截至 2026-08-09）
GeForce RTX 5070 Ti Laptop	运行流畅	估算 76.6 tok/s67.4–85.8校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 128k	—	—
Apple M3 Ultra · 96 GB	运行流畅	估算 76.1 tok/s60.8–91.3校准估算 ±20%	Q4_K_M	6.7 / 67.2 GB	统一内存	最长 256k	—	—
Apple M2 Ultra · 64 GB	运行流畅	估算 74.3 tok/s59.4–89.1校准估算 ±20%	Q4_K_M	6.7 / 44.8 GB	统一内存	最长 256k	—	—
GeForce RTX 2080 Ti	运行流畅	估算 70.2 tok/s61.8–78.7校准估算 ±12%	Q4_K_M	6.6 / 11.0 GB	全部载入显卡	最长 64k	—	首发价 US$999
Radeon RX 7800 XT	运行流畅	70.0 tok/s8k 估算 77.3 tok/s（68.0–86.5，校准估算 ±12%）实测（1 次，8k 上下文）	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	首发价 US$499
Apple M4 Max (40-core GPU) · 48 GB	运行流畅	估算 67.6 tok/s54.1–81.1校准估算 ±20%	Q4_K_M	6.7 / 33.6 GB	统一内存	最长 128k	—	—
GeForce RTX 4090 Laptop	运行流畅	估算 65.7 tok/s57.8–73.6校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	—
GeForce RTX 4070	运行流畅	估算 57.5 tok/s50.6–64.4校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$599
GeForce RTX 4070 Super	运行流畅	估算 57.5 tok/s50.6–64.4校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 128k	—	首发价 US$599
Apple M5 Max (32-core GPU) · 36 GB	运行流畅	估算 57.0 tok/s45.6–68.3校准估算 ±20%	Q4_K_M	6.7 / 25.2 GB	统一内存	最长 128k	—	—
GeForce GTX 1080 Ti	运行流畅	估算 55.2 tok/s38.6–71.8理论估算 ±30%	Q4_K_M	6.6 / 11.0 GB	全部载入显卡	最长 64k	—	首发价 US$699
GeForce RTX 3060 12GB	运行流畅	51.9 tok/s8k 估算 41.1 tok/s（36.1–46.0，校准估算 ±12%）实测（1 次，32k 上下文）	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 64k	—	市场价 US$250（截至 2026-08-09）
GeForce RTX 3070	运行流畅	估算 51.1 tok/s45.0–57.2校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	—	首发价 US$499
GeForce RTX 5060	运行流畅	估算 51.1 tok/s45.0–57.2校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	—	市场价 US$339（截至 2026-08-09）
GeForce RTX 5060 Ti 16GB	运行流畅	估算 51.1 tok/s45.0–57.2校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 128k	—	市场价 US$569（截至 2026-08-09）
GeForce RTX 5060 Ti 8GB	运行流畅	估算 51.1 tok/s45.0–57.2校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	—	市场价 US$429（截至 2026-08-09）
Apple M4 Max (32-core GPU) · 36 GB	运行流畅	估算 50.8 tok/s40.6–60.9校准估算 ±20%	Q4_K_M	6.7 / 25.2 GB	统一内存	最长 128k	—	—
GeForce RTX 4080 Laptop	运行流畅	估算 49.3 tok/s43.4–55.2校准估算 ±12%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 64k	—	—
Intel Arc B580	运行流畅	估算 43.8 tok/s35.1–52.6校准估算 ±20%	Q4_K_M	6.6 / 12.0 GB	全部载入显卡	最长 64k	—	市场价 US$290（截至 2026-08-09）
Radeon RX 9060 XT 16GB	运行流畅	估算 39.9 tok/s35.1–44.7校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 64k	—	市场价 US$449（截至 2026-08-09）
Apple M5 Pro · 24 GB	运行流畅	估算 38.0 tok/s30.4–45.6校准估算 ±20%	Q4_K_M	6.7 / 16.8 GB	统一内存	最长 32k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 32 GB	运行流畅	37.2 tok/s8k 估算 34.2 tok/s（27.4–41.0，校准估算 ±20%）实测（1 次，4k 上下文）	Q4_K_M	6.7 / 22.4 GB	统一内存	最长 32k	—	首发价 US$1,999（128 GB）
Apple M4 Pro · 24 GB	运行流畅	37.0 tok/s8k 估算 33.8 tok/s（27.0–40.6，校准估算 ±20%）实测（1 次，4k 上下文）	Q4_K_M	6.7 / 16.8 GB	统一内存	最长 16k	—	—
NVIDIA DGX Spark · 64 GB	运行流畅	35.2 tok/s8k 估算 34.7 tok/s（27.8–41.6，校准估算 ±20%）实测（1 次，4k 上下文）	Q4_K_M	6.7 / 48.2 GB	统一内存	最长 32k	—	首发价 US$3,999（128 GB）
GeForce RTX 4060 Ti 16GB	运行流畅	估算 32.8 tok/s28.9–36.8校准估算 ±12%	Q4_K_M	6.6 / 16.0 GB	全部载入显卡	最长 16k	—	首发价 US$499
GeForce RTX 4060 Ti 8GB	运行流畅	估算 32.8 tok/s28.9–36.8校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 16k	—	首发价 US$399
GeForce RTX 4060	运行流畅	估算 31.0 tok/s27.3–34.7校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 8k	—	首发价 US$299
GeForce RTX 4060 Laptop	运行良好	估算 29.2 tok/s25.7–32.7校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	改用 IQ4_XS：运行流畅	—
GeForce RTX 4070 Laptop	运行良好	估算 29.2 tok/s25.7–32.7校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	改用 IQ4_XS：运行流畅	—
GeForce RTX 3050 8GB	运行良好	估算 25.5 tok/s22.5–28.6校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 32k	—	首发价 US$249
Apple M5 · 16 GB	运行良好	估算 19.0 tok/s15.2–22.8校准估算 ±20%	Q4_K_M	6.7 / 11.2 GB	统一内存	最长 64k	—	—
Apple M6 · 16 GB	运行良好	估算 19.0 tok/s15.2–22.8校准估算 ±20%	Q4_K_M	6.7 / 11.2 GB	统一内存	最长 64k	—	—
Apple M4 · 16 GB	运行良好	估算 14.9 tok/s11.9–17.8校准估算 ±20%	Q4_K_M	6.7 / 11.2 GB	统一内存	最长 32k	—	—
DDR5-6000 双通道 CPU · 16 GB	运行较慢	估算 7.8 tok/s6.3–9.4校准估算 ±20%	Q4_K_M	6.1 GB 内存	纯 CPU	最长 128k	—	—
DDR5-5600 双通道 CPU · 16 GB	运行较慢	估算 7.3 tok/s5.8–8.8校准估算 ±20%	Q4_K_M	6.1 GB 内存	纯 CPU	最长 128k	—	—
DDR4-3200 双通道 CPU · 16 GB	运行较慢	估算 4.2 tok/s3.3–5.0校准估算 ±20%	Q4_K_M	6.1 GB 内存	纯 CPU	最长 64k	—	—

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

能运行它的最便宜 GPU

运行流畅GeForce RTX 3060 12GB市场价 US$250（截至 2026-08-09），实测 51.9 tok/s（32k 上下文，1 次；8k 估算 41.1 tok/s，36.1–46.0，校准估算 ±12%）。

Qwen3.5 9B 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

Qwen3.5 9B 的实测结果
硬件	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
Radeon RX 7800 XT	Q4_K_M	llama.cpp	8k	—	70.0	Vulkan	github.com	2026-08-08
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	4k	969.0	37.2	Vulkan	localmaxxing.com	2026-04-26
Apple M4 Pro	Q4_K_M	llama.cpp	4k	—	37.0	—	github.com	2026-07-29
Radeon RX 7900 XT	Q4_K_M	llama.cpp	4k	—	87.8	Vulkan	github.com	2026-07-28
NVIDIA DGX Spark	Q4_K_M	llama.cpp	4k	—	35.2	—	github.com	2026-08-13
Apple M5 Max (40-core GPU)	Q4_K_M	llama.cpp	512	2,369.0	86.5	—	github.com	2026-09-27
Apple M5 Max (40-core GPU)	Q4_K_M	llama.cpp	512	2,338.0	78.8	—	localmaxxing.com	2026-06-19
GeForce RTX 4090	Q4_K_M	ollama	40k	—	133.0	—	github.com	2026-10-12
GeForce RTX 4090	Q4_K_M	llama.cpp	512	—	122.0	—	github.com	2026-10-14
GeForce RTX 3060 12GB	Q4_K_M	llama.cpp	32k	1,458.0	51.9	KV q4_0	localmaxxing.com	2026-08-18
GeForce RTX 5070	Q8_0	llama.cpp	32k	3,001.0	67.3	—	localmaxxing.com	2026-09-10

常见问题

Qwen3.5 9B 需要多少显存？

Q4_K_M 文件为 5.87 GB；在 8k 上下文下，显卡约需 6.0 GB（权重 5.12 GB、KV 缓存 0.3 GB、计算缓冲区 0.6 GB）。已收录的最小文件（IQ4_XS）约需 5.6 GB。文件的一部分不会放到显卡上：llama.cpp 把输入嵌入表保留在系统内存中，并且只在开启 MTP 时才加载 MTP 模块。Mac 按整个文件计算，所以需要的内存稍多一些。

能让 Qwen3.5 9B 运行良好的最便宜 GPU 是哪款？

运行流畅的最便宜选择：GeForce RTX 3060 12GB，US$250（2026-08-09 市场价），实测 51.9 tok/s（32k 上下文，1 次；8k 估算 41.1 tok/s，36.1–46.0，校准估算 ±12%）。

Qwen3.5 9B 能在 8 GB、16 GB 或 24 GB 的 GPU 上运行吗？

Q4_K_M、8k 上下文下：GeForce RTX 4060：运行流畅，估算 31.0 tok/s（27.3–34.7，校准估算 ±12%）; GeForce RTX 5060 Ti 16GB：运行流畅，估算 51.1 tok/s（45.0–57.2，校准估算 ±12%）; GeForce RTX 3090：运行流畅，估算 106.7 tok/s（93.9–119.5，校准估算 ±12%）。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。