你的电脑能运行哪些本地大模型？
选择你的硬件，查看每个模型的判定、推荐量化和估算速度范围；也可以先选模型，看看哪些 GPU 能运行它。
列表中没有的模型
粘贴 Hugging Face 模型 ID 或链接（例如 Qwen/Qwen3-4B），我们会用同样的方法计算它。你的浏览器会直接向 Hugging Face 请求模型信息。
自行输入模型的数值
填入模型卡或 config.json 中的数值，我们会用同样的方法计算这个模型。计算在你的浏览器中进行，不会向 Hugging Face 发送任何请求。
以十亿为单位。例如 Llama 3.1 8B 为 8.03。
config.json 中的 num_hidden_layers。
num_key_value_heads；如果没有，就用 num_attention_heads。如果 config.json 中有 num_global_key_value_heads，请改用它。
head_dim；如果没有，就用 hidden_size 除以 num_attention_heads。如果 config.json 中有 global_head_dim，请改用它。
仅用于混有滑动窗口或线性注意力层的模型：即 layer_types 中 full_attention 的个数。留空则计入所有层。
选择最接近 config.json 中 max_position_embeddings 的档位，或选择“不确定”。
结果
在上方选择 GPU 或芯片，即可查看判定。
常见硬件能运行哪些模型
下面列出六种常见配置下，计算器在每个参数量区间排在第一位的模型。在上方选择相同的硬件，并只开启这一个参数量筛选，就会看到同一张卡片。热门模型会在多种配置中排在首位，因此你可以比较同一个模型在各配置上的运行情况。每种配置还列出了能完全放进 GPU 的最大模型。
每块显卡都假设是电脑中唯一的 GPU，并且连接显示器，搭配 32 GB DDR5-5600 系统内存和 Windows。所有配置均使用 8k 上下文和 f16 KV 缓存，与我们的 GPU 页面相同。
GeForce RTX 4060
显存 8 GB · 内存 32 GB
58 个模型中有 30 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 全部载入显卡估算 31.0 tok/s27.3–34.7校准估算 ±12%
- 10B 至不足 25B
- gpt-oss-20b运行良好思考模式MXFP4 · MoE 专家放在内存估算 36.9 tok/s25.9–48.0理论估算 ±30%
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行良好思考模式Q4_K_M · MoE 专家放在内存估算 39.3 tok/s27.5–51.1理论估算 ±30%
- 50B 及以上
- 无法运行此区间全部 10 个模型其中 1 个降低量化后可以运行。系统内存为 64 GB 时，Kolibri 1：运行良好
GeForce RTX 3060 12GB
显存 12 GB · 内存 32 GB
58 个模型中有 35 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 全部载入显卡51.9 tok/s8k 估算 41.1 tok/s（36.1–46.0，校准估算 ±12%）实测（1 次，32k 上下文）
- 10B 至不足 25B
- gpt-oss-20b运行良好思考模式MXFP4 · MoE 专家放在内存估算 63.9 tok/s44.8–83.1理论估算 ±30%
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行良好思考模式Q4_K_M · MoE 专家放在内存估算 49.4 tok/s34.6–64.2理论估算 ±30%
- 50B 及以上
- 无法运行此区间全部 10 个模型其中 2 个降低量化后可以运行。系统内存为 64 GB 时，Kolibri 1：运行良好
GeForce RTX 5060 Ti 16GB
显存 16 GB · 内存 32 GB
58 个模型中有 37 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 全部载入显卡估算 51.1 tok/s45.0–57.2校准估算 ±12%
- 10B 至不足 25B
- gpt-oss-20b运行流畅思考模式MXFP4 · 全部载入显卡111.6 tok/s8k 估算 104.3 tok/s（83.5–125.2，校准估算 ±20%）实测（1 次，2k 上下文）
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行良好思考模式Q4_K_M · MoE 专家放在内存估算 62.4 tok/s43.7–81.1理论估算 ±30%
- 50B 及以上
- 无法运行此区间全部 10 个模型其中 3 个降低量化后可以运行。系统内存为 64 GB 时，Kolibri 1：运行良好
GeForce RTX 3090
显存 24 GB · 内存 32 GB
58 个模型中有 48 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 全部载入显卡估算 106.7 tok/s93.9–119.5校准估算 ±12%
- 10B 至不足 25B
- gpt-oss-20b运行流畅思考模式MXFP4 · 全部载入显卡162.0 tok/s8k 估算 201.1 tok/s（160.9–241.3，校准估算 ±20%）实测（1 次，2k 上下文）
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行流畅思考模式Q4_K_M · 全部载入显卡估算 148.8 tok/s119.1–178.6校准估算 ±20%
- 50B 及以上
- 无法运行此区间全部 10 个模型其中 4 个降低量化后可以运行。系统内存为 64 GB 时，Kolibri 1：运行良好
Apple M4 Pro
统一内存 64 GB · macOS
58 个模型中有 38 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 统一内存37.0 tok/s8k 估算 33.8 tok/s（27.0–40.6，校准估算 ±20%）实测（1 次，4k 上下文）
- 10B 至不足 25B
- gpt-oss-20b运行流畅思考模式MXFP4 · 统一内存估算 69.9 tok/s55.9–83.9校准估算 ±20%
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行流畅思考模式Q4_K_M · 统一内存估算 60.3 tok/s48.3–72.4校准估算 ±20%
- 50B 及以上
- Kolibri 1运行较慢思考模式Q4_K_M · 纯 CPU估算 49.5 tok/s34.6–64.3理论估算 ±30%
Ryzen AI Max+ 395 (Strix Halo)
统一内存 128 GB · Linux
58 个模型中有 46 个运行流畅或运行良好。
- 低于 10B
- Qwen3.5 9B运行流畅思考模式Q4_K_M · 统一内存37.2 tok/s8k 估算 34.2 tok/s（27.4–41.0，校准估算 ±20%）实测（1 次，4k 上下文）
- 10B 至不足 25B
- gpt-oss-20b运行流畅思考模式MXFP4 · 统一内存估算 68.6 tok/s54.8–82.3校准估算 ±20%
- 25B 至不足 50B
- Qwen3.5 35B-A3B运行流畅思考模式Q4_K_M · 统一内存64.8 tok/s8k 估算 56.0 tok/s（44.8–67.2，校准估算 ±20%）实测（1 次，512 上下文）
- 50B 及以上
- gpt-oss-120b运行流畅思考模式MXFP4 · 统一内存50.2 tok/s8k 估算 48.5 tok/s（38.8–58.1，校准估算 ±20%）实测（1 次，512 上下文）
带思考模式的模型会额外花 token 来思考，所以速度门槛按 1.5 倍从严设定（30 / 12 / 3 tok/s）。关闭思考模式后，判定可能会高一级。
如何解读结果
在上方选择你的 GPU、Mac 芯片或 CPU，或手动输入规格，收录的每个模型都会显示为一张卡片。运行流畅或运行良好的模型排在前面：参数量区间大的在前，同一区间内更受欢迎的在前。
- 判定
- 模型在这台硬件上的可用程度，以 Q4_K_M 文件为准判定。没有该文件的模型按最接近的文件判定（gpt-oss 为 MXFP4）。“运行流畅”表示回答生成得比你阅读还快，“无法运行”表示模型放不下或慢到无法使用。四个等级的门槛见下方。
- 推荐量化
- 要下载的 GGUF 文件。通常就是判定所依据的文件；如果那个文件无法运行，卡片会改为显示运行效果最好的文件。
- 估算速度
- 回答的生成速度，单位为每秒 token 数（tok/s）。它以范围形式给出，并附有可信度标签，下方的常见问题解释了这些标签。
- 显存/内存
- 第一个数字是模型的占用：权重、上下文和工作缓冲区，如果显卡连接显示器，还包括系统为显示保留的部分。第二个数字在显卡上是全部显存；在 Mac 或其他统一内存 PC 上，是我们预计 GPU 可使用的部分，即内存的 70%，DGX Spark 则是 Linux 和桌面占用之后剩下的部分。因此，即使模型能装进已安装的内存，也可能只能用 CPU 运行。如果模型有一部分留在系统内存中，也会显示这部分的大小。
- 运行方式
- 模型载入的位置。
- 全部载入显卡: 整个模型都在显卡的显存（VRAM）中。
- 统一内存: 整个模型都在 Mac 或其他统一内存 PC 的 GPU 上。
- 部分卸载: 模型分布在 GPU 和系统内存之间。
- MoE 专家放在内存: 放不进显存的 MoE 专家留在系统内存中。
- 纯 CPU: 全部由 CPU 运算。在 Mac 或其他统一内存 PC 上，如果模型大于 GPU 可使用的内存份额，我们就按这种方式计算。
- 最长可用上下文
- 在判定和载入位置都不变的前提下，可使用的最长上下文。
- 详情
- 这个模型在这款 GPU 上的详情页，包含所有量化、上下文长度表，以及 Ollama 和 llama.cpp 的命令。
判定说明
- 运行流畅
- 全部载入显卡，且达到 20 tok/s 及以上
- 运行良好
- 全部载入显卡且为 8–20 tok/s；MoE 专家放在系统内存且达到 20 tok/s 及以上；或至少 90% 载入显卡且达到 8 tok/s 及以上
- 运行较慢
- 2–8 tok/s；纯 CPU；载入显卡不足 90%；或 MoE 专家放在系统内存且低于 20 tok/s
- 无法运行
- 内存装不下，或低于 2 tok/s
计算器的初始条件与上面的示例相同。Mac 和其他统一内存设备从最大的内存选项开始。与你的电脑不同的地方，请自行修改。
想选购硬件？切换到“按模型找 GPU”，选择一个模型，即可查看哪些 GPU、Mac 和 CPU 能运行它，以及按市场价计算、能让它运行流畅或运行良好的最便宜的 GPU。
常见问题
速度估算有多准确？
每个速度都是一个范围，并附有可信度标签：实测（针对同一 GPU、模型和量化的公开基准测试结果）、校准估算（根据公开基准测试结果拟合的带宽模型；稠密模型全部载入 NVIDIA 或 AMD 显卡时为 ±12%，其他情况为 ±20%）或理论估算（±30%，超出我们的校准范围）。驱动、后端、上下文和散热都会让实际结果在这个范围内变化。
可以计算两块或更多显卡吗？
可以，目前是测试版功能。先选择一块显卡，再调高“GPU 数量”。如果是 NVIDIA 或 AMD 台式机显卡，还可以用“添加另一款 GPU”加入同一厂商的另一款显卡。显存会叠加，但内存带宽不会叠加，所以一块显卡就能装下的模型并不会变快。好处是 GPU 上能放下更大的模型。混用不同显卡时，较慢那块显卡承担的部分会拖慢整体速度。分摊到多块显卡上的速度都显示为理论估算（±30%）。
我的硬件信息会被发送到别处吗？
不会。识别和所有计算都在你的浏览器中完成，没有服务器。分享链接只会以 URL 参数的形式带上你选择的 GPU、内存和设置。
速度是根据内存带宽得出的估算值，并用公开基准测试结果校准，每个数值都附有误差范围和可信度标签。实际结果会因驱动、后端、上下文长度和散热情况而有所不同。