GeForce RTX 4060 能跑哪些本地大模型？

按 32 GB DDR5-5600 系统内存、Windows 系统且由这块显卡负责显示输出、8k 上下文和 f16 KV 缓存计算。

规格

显存: 8 GB
内存带宽: 272.0 GB/s
FP16 算力: 15.1 TFLOPS
发布年份: 2023
价格: 首发价 US$299
其他写法: 4060, RTX4060

判定一览

基于 Q4_K_M（或最接近的可用量化）、8k 上下文。

运行流畅19 个模型运行良好11 个模型运行较慢13 个模型无法运行15 个模型另有 6 个模型可以用更低的量化运行。

判定说明

运行流畅: 全部载入显卡，且达到 20 tok/s 及以上
运行良好: 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
运行较慢: 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
无法运行: 内存装不下，或低于 2 tok/s

GeForce RTX 4060 上的全部模型

稠密模型分摊在 GPU 和 CPU 上运行时，速度会大幅下降，整体速度由 CPU 那一侧决定。只把专家放在系统内存的 MoE 模型，速度下降要温和得多。

左右滑动可查看所有列。

58 个模型，按判定和速度排序
模型	判定	速度	量化	显存/内存	运行方式	上下文	备注
MiniCPM5 1B	运行流畅	估算 213.6 tok/s188.0–239.2校准估算 ±12%	Q4_K_M	1.9 / 8.0 GB	全部载入显卡	最长 128k	思考模式
Ling-3.0 Tiny	运行流畅	估算 176.6 tok/s123.6–229.6理论估算 ±30%	Q4_K_M	5.9 / 8.0 GB	全部载入显卡	最长 128k	思考模式
Llama 3.2 1B	运行流畅	估算 176.6 tok/s155.4–197.7校准估算 ±12%	Q4_K_M	2.2 / 8.0 GB	全部载入显卡	最长 128k	—
EXAONE 4.0 1.2B	运行流畅	估算 145.0 tok/s127.6–162.4校准估算 ±12%	Q4_K_M	2.5 / 8.0 GB	全部载入显卡	最长 64k	思考模式
LFM2.5 2.6B	运行流畅	估算 105.5 tok/s73.9–137.2理论估算 ±30%	Q4_K_M	3.0 / 8.0 GB	全部载入显卡	最长 128k	思考模式
Gemma 4 E2B	运行流畅	估算 105.3 tok/s73.7–137.0理论估算 ±30%	Q4_K_M	2.7 / 8.0 GB	全部载入显卡	最长 128k	思考模式
HyperCLOVA X SEED 1.5B	运行流畅	估算 104.9 tok/s92.3–117.5校准估算 ±12%	Q4_K_M	3.0 / 8.0 GB	全部载入显卡	最长 16k	—
MiniCPM5 2B	运行流畅	估算 99.6 tok/s87.6–111.5校准估算 ±12%	Q4_K_M	2.9 / 8.0 GB	全部载入显卡	最长 64k	思考模式
Spark-X2.5 4B	运行流畅	估算 65.6 tok/s57.7–73.5校准估算 ±12%	Q4_K_M	4.1 / 8.0 GB	全部载入显卡	最长 64k	思考模式
Llama 3.2 3B	运行流畅	估算 64.3 tok/s56.6–72.1校准估算 ±12%	Q4_K_M	4.1 / 8.0 GB	全部载入显卡	最长 32k	—
Qwen3.5 4B	运行流畅	估算 61.5 tok/s54.1–68.8校准估算 ±12%	Q4_K_M	4.2 / 8.0 GB	全部载入显卡	最长 64k	思考模式
Gemma 4 E4B	运行流畅	估算 55.5 tok/s38.8–72.1理论估算 ±30%	Q4_K_M	4.3 / 8.0 GB	全部载入显卡	最长 128k	思考模式
Llama 3.1 8B	运行流畅Llama 3.1 8B 在 GeForce RTX 4060 上的判定	38.1 tok/s8k 估算 31.8 tok/s（28.0–35.6，校准估算 ±12%）实测（1 次，4k 上下文）	Q4_K_M	6.9 / 8.0 GB	全部载入显卡	最长 8k	—
DeepSeek R1 Distill Llama 8B	运行流畅	估算 31.8 tok/s28.0–35.6校准估算 ±12%	Q4_K_M	6.9 / 8.0 GB	全部载入显卡	最长 8k	思考模式
Kanana 1.5 8B	运行流畅	估算 31.8 tok/s28.0–35.6校准估算 ±12%	Q4_K_M	6.9 / 8.0 GB	全部载入显卡	最长 8k	—
Nanbeige4.2 3B	运行流畅	估算 31.1 tok/s21.8–40.4理论估算 ±30%	Q4_K_M	5.0 / 8.0 GB	全部载入显卡	最长 8k	思考模式
Qwen3.5 9B	运行流畅	估算 31.0 tok/s27.3–34.7校准估算 ±12%	Q4_K_M	6.6 / 8.0 GB	全部载入显卡	最长 8k	思考模式
DeepSeek R1 0528 Qwen3 8B	运行流畅	估算 30.5 tok/s26.9–34.2校准估算 ±12%	Q4_K_M	7.1 / 8.0 GB	全部载入显卡	最长 8k	思考模式
Qwen3 8B	运行流畅	估算 30.5 tok/s26.9–34.2校准估算 ±12%	Q4_K_M	7.1 / 8.0 GB	全部载入显卡	最长 8k	思考模式
Mellum2.1 12B-A2.5B Thinking	运行良好	估算 74.5 tok/s52.2–96.9理论估算 ±30%	Q4_K_M	7.6 / 8.0 GB + 1.7 GB 内存	MoE 专家放在内存	最长 128k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
MiniCPM-V 4.7 35B-A3B	运行良好	估算 45.9 tok/s32.1–59.6理论估算 ±30%	Q4_K_M	7.1 / 8.0 GB + 15.4 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
Qwen3.6 35B-A3B	运行良好	估算 43.6 tok/s30.5–56.6理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 16.3 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
Qwen3.5 35B-A3B	运行良好	估算 39.3 tok/s27.5–51.1理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 16.7 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
gpt-oss-20b	运行良好gpt-oss-20b 在 GeForce RTX 4060 上的判定	估算 36.9 tok/s25.9–48.0理论估算 ±30%	MXFP4	7.3 / 8.0 GB + 6.1 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
Kanana 1.5 15.7B-A3B	运行良好	估算 35.5 tok/s24.9–46.2理论估算 ±30%	Q4_K_M	7.4 / 8.0 GB + 5.3 GB 内存	MoE 专家放在内存	最长 16k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Nemotron 3.5 Lightning 30B-A3B	运行良好	估算 32.6 tok/s22.8–42.3理论估算 ±30%	Q4_K_M	6.8 / 8.0 GB + 19.9 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
Qwen3 30B-A3B (2507)	运行良好Qwen3 30B-A3B (2507) 在 GeForce RTX 4060 上的判定	估算 32.4 tok/s22.6–42.1理论估算 ±30%	Q4_K_M	7.6 / 8.0 GB + 13.0 GB 内存	MoE 专家放在内存	最长 32k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中
Gemma 4 26B-A4B	运行良好	估算 30.6 tok/s21.4–39.7理论估算 ±30%	Q4_K_M	7.3 / 8.0 GB + 11.0 GB 内存	MoE 专家放在内存	最长 8k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中思考模式
K2-Horizon 7B	运行良好	估算 28.0 tok/s24.6–31.4校准估算 ±12%	Q4_K_M	7.4 / 8.0 GB	全部载入显卡	最长 8k	思考模式
Gemma 4 12B	运行良好	估算 21.9 tok/s17.6–26.3校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 0.4 GB 内存	部分卸载	最长 16k	UD-Q2_K_XL（质量损失大）：运行流畅思考模式
Gemma 3 12B	运行较慢Gemma 3 12B 在 GeForce RTX 4060 上的判定	估算 16.7 tok/s13.4–20.1校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 1.0 GB 内存	部分卸载	最长 64k	载入显卡不足 90%：由显卡和 CPU 分担运行时，最高只能判为“运行较慢” 改用 IQ4_XS：运行良好 Q2_K（质量损失大）：运行流畅
K2-Horizon MoVA 36B-A4B	运行较慢	估算 9.6 tok/s6.7–12.5理论估算 ±30%	Q4_K_M	24.0 GB 内存	纯 CPU	最长 16k	思考模式
HyperCLOVA X SEED Think 14B	运行较慢	估算 8.4 tok/s5.9–10.9理论估算 ±30%	Q4_K_M	8.0 / 8.0 GB + 3.4 GB 内存	部分卸载	最长 32k	思考模式
Qwen3 14B	运行较慢Qwen3 14B 在 GeForce RTX 4060 上的判定	估算 8.1 tok/s6.5–9.7校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.5 GB 内存	部分卸载	最长 32k	Q2_K（质量损失大）：运行良好思考模式
DeepSeek R1 Distill Qwen 14B	运行较慢	估算 7.6 tok/s6.1–9.1校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.8 GB 内存	部分卸载	最长 16k	Q2_K（质量损失大）：运行良好思考模式
Phi-4	运行较慢	估算 7.4 tok/s5.9–8.9校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 3.9 GB 内存	部分卸载	最长 16k	—
Mistral Small 3.2 24B	运行较慢	估算 4.0 tok/s3.2–4.8校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 8.8 GB 内存	部分卸载	最长 32k	—
Muse Glimmer 30B	运行较慢	估算 3.7 tok/s2.9–4.4校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 10.6 GB 内存	部分卸载	最长 64k	思考模式
Gemma 3 27B	运行较慢	估算 3.6 tok/s2.9–4.4校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 10.4 GB 内存	部分卸载	最长 64k	—
Qwen3.6 27B	运行较慢	估算 3.6 tok/s2.9–4.3校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 10.5 GB 内存	部分卸载	最长 16k	思考模式
Qwen3.5 27B	运行较慢	估算 3.5 tok/s2.8–4.2校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 10.8 GB 内存	部分卸载	最长 16k	思考模式
Qwen3.8 27B	运行较慢	估算 3.4 tok/s2.8–4.1校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 11.2 GB 内存	部分卸载	最长 16k	思考模式
Gemma 4 31B	运行较慢	估算 3.2 tok/s2.5–3.8校准估算 ±20%	Q4_K_M	8.0 / 8.0 GB + 12.2 GB 内存	部分卸载	最长 8k	思考模式
Kolibri 1	无法运行改用 Q2_K（质量损失大）：运行良好	估算 43.5 tok/s30.5–56.6理论估算 ±30%	Q2_K	7.3 / 8.0 GB + 23.9 GB 内存	MoE 专家放在内存	最长 64k	未全部载入显卡：要达到“运行流畅”，整个模型都必须放在显存中配 64 GB 内存时：运行良好思考模式
Granite 4.2 30B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 5.1 tok/s4.1–6.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 6.2 GB 内存	部分卸载	最长 16k	思考模式
DeepSeek R1 Distill Qwen 32B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.6 GB 内存	部分卸载	最长 16k	思考模式
Qwen3 32B	无法运行改用 Q2_K（质量损失大）：运行较慢	估算 4.4 tok/s3.5–5.2校准估算 ±20%	Q2_K	8.0 / 8.0 GB + 7.7 GB 内存	部分卸载	最长 16k	思考模式
EXAONE 4.0 32B	无法运行改用 IQ4_XS：运行较慢	估算 3.5 tok/s2.8–4.1校准估算 ±20%	IQ4_XS	8.0 / 8.0 GB + 11.1 GB 内存	部分卸载	最长 16k	思考模式
EXAONE 4.5 33B	无法运行改用 IQ4_XS：运行较慢	估算 3.3 tok/s2.6–3.9校准估算 ±20%	IQ4_XS	8.0 / 8.0 GB + 11.7 GB 内存	部分卸载	最长 16k	思考模式
DeepSeek V4 Flash 0731	无法运行	—	MXFP4	需要 155.1 GB	—	—	约需 155.1 GB；可用显存 7.4 GB，可用内存 28.0 GB 思考模式
GLM-5.3 Flash	无法运行	—	Q4_K_M	需要 181.4 GB	—	—	约需 181.4 GB；可用显存 7.4 GB，可用内存 28.0 GB 思考模式
gpt-oss-120b	无法运行gpt-oss-120b 在 GeForce RTX 4060 上的判定	—	MXFP4	需要 63.6 GB	—	—	约需 63.6 GB；可用显存 7.4 GB，可用内存 28.0 GB 配 96 GB 内存时：运行较慢思考模式
Laguna S 2.1	无法运行	—	Q4_K_M	需要 68.5 GB	—	—	约需 68.5 GB；可用显存 7.4 GB，可用内存 28.0 GB 配 96 GB 内存时：运行较慢思考模式
Ling-3.0 Flash	无法运行	—	Q4_K_M	需要 75.4 GB	—	—	约需 75.4 GB；可用显存 7.4 GB，可用内存 28.0 GB 配 96 GB 内存时：运行较慢思考模式
Llama 3.3 70B	无法运行	—	Q4_K_M	需要 45.2 GB	—	—	约需 45.2 GB；可用显存 7.4 GB，可用内存 28.0 GB
Qwen3.5 122B-A10B	无法运行	—	Q4_K_M	需要 76.6 GB	—	—	约需 76.6 GB；可用显存 7.4 GB，可用内存 28.0 GB 配 96 GB 内存时：运行较慢思考模式
Solar Open 100B	无法运行	—	Q4_K_M	需要 64.0 GB	—	—	约需 64.0 GB；可用显存 7.4 GB，可用内存 28.0 GB 配 64 GB 内存时：运行较慢思考模式
Solar Open 2 250B	无法运行	—	IQ4_XS	需要 136.5 GB	—	—	约需 136.5 GB；可用显存 7.4 GB，可用内存 28.0 GB 思考模式

带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。

GeForce RTX 4060 的实测结果

我们用于校准的公开基准测试。它们的测试条件（上下文、后端、运行参数）可能与上方的估算不同。

GeForce RTX 4060 的实测结果
模型	量化	后端	上下文	提示词处理（tok/s）	生成（tok/s）	运行参数	来源	测量日期
Llama 3.1 8B	Q4_K_M	llama.cpp	4k	1,528.0	38.1	ctx-weighted	localscore.ai	2026-08-09

常见问题

能完全在 GeForce RTX 4060 上运行的最大模型是什么？

Gemma 4 12B IQ4_XS（6.38 GB 文件）在 8k 上下文下可完整装入 8 GB，估算 29.2 tok/s（25.7–32.7，校准估算 ±12%）。

GeForce RTX 4060 上有多少本地大模型能运行良好？

按 Q4_K_M、8k 上下文计算，在 58 个已收录的模型中，19 个运行流畅、11 个运行良好、13 个运行较慢，15 个无法运行。

GeForce RTX 4060 能运行 Llama 3.3 70B 这样的 70B 模型吗？

不能。Llama 3.3 70B Q4_K_M 约需 45.2 GB，而这套配置只有 7.4 GB 的 GPU 可用内存和 28.0 GB 的空闲系统内存。

速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。

规格