NVIDIA RTX PRO 6000 Blackwell에서 돌아가는 로컬 LLM
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
사양
- VRAM
- 96GB
- 메모리 대역폭
- 1,792.0 GB/s
- FP16 연산
- 126.0 TFLOPS
- 출시 연도
- 2025
- 다른 표기
- RTX PRO 6000, RTX PRO 6000 Blackwell Workstation Edition
판정 요약
Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.
- 쾌적56개원활0개겨우 가능0개불가3개양자화를 더 낮추면 2개가 더 돌아갑니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
한국 모델
EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.
NVIDIA RTX PRO 6000 Blackwell 전체 모델 판정
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 |
|---|---|---|---|---|---|---|---|
| MiniCPM5 1B | 쾌적 | 추정 1,407.3 tok/s1,238.5–1,576.2보정된 추정 ±12% | Q4_K_M | 1.9 / 96.0GB | 풀 GPU | 최대 128k |
|
| Llama 3.2 1B | 쾌적 | 추정 1,163.2 tok/s1,023.6–1,302.7보정된 추정 ±12% | Q4_K_M | 2.2 / 96.0GB | 풀 GPU | 최대 128k | — |
| EXAONE 4.0 1.2B | 쾌적 | 추정 955.1 tok/s840.5–1,069.8보정된 추정 ±12% | Q4_K_M | 2.5 / 96.0GB | 풀 GPU | 최대 64k |
|
| LFM2.5 2.6B | 쾌적 | 추정 695.3 tok/s486.7–903.8이론 추정 ±30% | Q4_K_M | 3.0 / 96.0GB | 풀 GPU | 최대 128k |
|
| HyperCLOVA X SEED 1.5B | 쾌적 | 추정 691.0 tok/s608.1–773.9보정된 추정 ±12% | Q4_K_M | 3.0 / 96.0GB | 풀 GPU | 최대 16k | — |
| MiniCPM5 2B | 쾌적 | 추정 656.0 tok/s577.2–734.7보정된 추정 ±12% | Q4_K_M | 2.9 / 96.0GB | 풀 GPU | 최대 128k |
|
| Ling-3.0 Tiny | 쾌적 | 추정 485.1 tok/s339.6–630.7이론 추정 ±30% | Q4_K_M | 5.9 / 96.0GB | 풀 GPU | 최대 128k |
|
| Spark-X2.5 4B | 쾌적 | 추정 432.3 tok/s380.4–484.1보정된 추정 ±12% | Q4_K_M | 4.1 / 96.0GB | 풀 GPU | 최대 256k |
|
| Llama 3.2 3B | 쾌적 | 추정 423.9 tok/s373.0–474.7보정된 추정 ±12% | Q4_K_M | 4.1 / 96.0GB | 풀 GPU | 최대 128k | — |
| Qwen3.5 4B | 쾌적 | 추정 404.8 tok/s356.3–453.4보정된 추정 ±12% | Q4_K_M | 4.2 / 96.0GB | 풀 GPU | 최대 256k |
|
| Gemma 4 E2B | 쾌적 | 추정 386.7 tok/s270.7–502.7이론 추정 ±30% | Q4_K_M | 2.7 / 96.0GB | 풀 GPU | 최대 128k |
|
| gpt-oss-20b | 쾌적 | 추정 338.9 tok/s271.1–406.7보정된 추정 ±20% | MXFP4 | 12.9 / 96.0GB | 풀 GPU | 최대 128k |
|
| Mellum2.1 12B-A2.5B Thinking | 쾌적 | 추정 334.9 tok/s267.9–401.8보정된 추정 ±20% | Q4_K_M | 9.2 / 96.0GB | 풀 GPU | 최대 128k |
|
| Nemotron 3.5 Lightning 30B-A3B | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% | Q4_K_M | 25.7 / 96.0GB | 풀 GPU | 최대 256k |
|
| Gemma 4 E4B | 쾌적 | 추정 257.7 tok/s180.4–335.0이론 추정 ±30% | Q4_K_M | 4.3 / 96.0GB | 풀 GPU | 최대 128k |
|
| MiniCPM-V 4.7 35B-A3B | 쾌적 | 추정 239.5 tok/s191.6–287.4보정된 추정 ±20% | Q4_K_M | 22.2 / 96.0GB | 풀 GPU | 최대 256k |
|
| gpt-oss-120b | 쾌적 | 추정 237.1 tok/s189.7–284.5보정된 추정 ±20% | MXFP4 | 64.2 / 96.0GB | 풀 GPU | 최대 128k |
|
| Kanana 1.5 15.7B-A3B | 쾌적 | 추정 233.4 tok/s186.7–280.1보정된 추정 ±20% | Q4_K_M | 12.5 / 96.0GB | 풀 GPU | 최대 32k | — |
| Qwen3.6 35B-A3B | 쾌적 | 추정 229.8 tok/s183.9–275.8보정된 추정 ±20% | Q4_K_M | 22.4 / 96.0GB | 풀 GPU | 최대 256k |
|
| Qwen3.5 35B-A3B | 쾌적 | 추정 213.4 tok/s170.7–256.0보정된 추정 ±20% | Q4_K_M | 22.9 / 96.0GB | 풀 GPU | 최대 256k |
|
| Gemma 4 26B-A4B | 쾌적 | 추정 210.4 tok/s168.3–252.4보정된 추정 ±20% | Q4_K_M | 18.3 / 96.0GB | 풀 GPU | 최대 256k |
|
| DeepSeek R1 Distill Llama 8B | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% | Q4_K_M | 6.9 / 96.0GB | 풀 GPU | 최대 128k |
|
| Kanana 1.5 8B | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% | Q4_K_M | 6.9 / 96.0GB | 풀 GPU | 최대 32k | — |
| Llama 3.1 8B | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% | Q4_K_M | 6.9 / 96.0GB | 풀 GPU | 최대 128k | — |
| Nanbeige4.2 3B | 쾌적 | 추정 204.8 tok/s143.3–266.2이론 추정 ±30% | Q4_K_M | 5.0 / 96.0GB | 풀 GPU | 최대 128k |
|
| Qwen3.5 9B | 쾌적 | 추정 204.4 tok/s179.8–228.9보정된 추정 ±12% | Q4_K_M | 6.6 / 96.0GB | 풀 GPU | 최대 256k |
|
| DeepSeek R1 0528 Qwen3 8B | 쾌적 | 추정 201.1 tok/s177.0–225.2보정된 추정 ±12% | Q4_K_M | 7.1 / 96.0GB | 풀 GPU | 최대 128k |
|
| Qwen3 8B | 쾌적 | 추정 201.1 tok/s177.0–225.2보정된 추정 ±12% | Q4_K_M | 7.1 / 96.0GB | 풀 GPU | 최대 32k |
|
| Kolibri 1 | 쾌적 | 추정 197.0 tok/s157.6–236.4보정된 추정 ±20% | Q4_K_M | 50.8 / 96.0GB | 풀 GPU | 최대 256k |
|
| Qwen3 30B-A3B (2507) | 쾌적 | 추정 195.0 tok/s156.0–234.1보정된 추정 ±20% | Q4_K_M | 20.4 / 96.0GB | 풀 GPU | 최대 256k | — |
| Ling-3.0 Flash | 쾌적 | 추정 193.8 tok/s135.7–252.0이론 추정 ±30% | Q4_K_M | 76.0 / 96.0GB | 풀 GPU | 최대 256k |
|
| K2-Horizon 7B | 쾌적 | 추정 184.5 tok/s162.4–206.7보정된 추정 ±12% | Q4_K_M | 7.4 / 96.0GB | 풀 GPU | 최대 128k |
|
| Gemma 4 12B | 쾌적 | 추정 172.9 tok/s152.2–193.7보정된 추정 ±12% | Q4_K_M | 8.4 / 96.0GB | 풀 GPU | 최대 256k |
|
| Gemma 3 12B | 쾌적 | 추정 160.1 tok/s140.9–179.3보정된 추정 ±12% | Q4_K_M | 9.0 / 96.0GB | 풀 GPU | 최대 128k | — |
| K2-Horizon MoVA 36B-A4B | 쾌적 | 추정 149.6 tok/s104.7–194.5이론 추정 ±30% | Q4_K_M | 24.8 / 96.0GB | 풀 GPU | 최대 128k |
|
| HyperCLOVA X SEED Think 14B | 쾌적 | 추정 123.0 tok/s86.1–160.0이론 추정 ±30% | Q4_K_M | 11.0 / 96.0GB | 풀 GPU | 최대 128k |
|
| Qwen3 14B | 쾌적 | 추정 121.3 tok/s106.7–135.8보정된 추정 ±12% | Q4_K_M | 11.1 / 96.0GB | 풀 GPU | 최대 32k |
|
| DeepSeek R1 Distill Qwen 14B | 쾌적 | 추정 118.3 tok/s104.1–132.5보정된 추정 ±12% | Q4_K_M | 11.3 / 96.0GB | 풀 GPU | 최대 128k |
|
| Phi-4 | 쾌적 | 추정 116.9 tok/s102.9–131.0보정된 추정 ±12% | Q4_K_M | 11.6 / 96.0GB | 풀 GPU | 최대 16k | — |
| Laguna S 2.1 | 쾌적 | 추정 112.6 tok/s90.1–135.1보정된 추정 ±20% | Q4_K_M | 69.1 / 96.0GB | 풀 GPU | 최대 256k |
|
| Qwen3.5 122B-A10B | 쾌적 | 추정 106.3 tok/s85.0–127.5보정된 추정 ±20% | Q4_K_M | 77.2 / 96.0GB | 풀 GPU | 최대 256k |
|
| Solar Open 100B | 쾌적 | 추정 102.3 tok/s81.9–122.8보정된 추정 ±20% | Q4_K_M | 64.6 / 96.0GB | 풀 GPU | 최대 128k |
|
| Mistral Small 3.2 24B | 쾌적 | 추정 80.0 tok/s70.4–89.6보정된 추정 ±12% | Q4_K_M | 16.5 / 96.0GB | 풀 GPU | 최대 128k | — |
| Gemma 3 27B | 쾌적 | 추정 72.8 tok/s64.1–81.6보정된 추정 ±12% | Q4_K_M | 18.4 / 96.0GB | 풀 GPU | 최대 128k | — |
| Qwen3.6 27B | 쾌적 | 추정 72.3 tok/s63.6–80.9보정된 추정 ±12% | Q4_K_M | 17.8 / 96.0GB | 풀 GPU | 최대 256k |
|
| Muse Glimmer 30B | 쾌적 | 추정 72.0 tok/s63.4–80.7보정된 추정 ±12% | Q4_K_M | 17.8 / 96.0GB | 풀 GPU | 최대 128k |
|
| Qwen3.5 27B | 쾌적 | 추정 71.1 tok/s62.6–79.6보정된 추정 ±12% | Q4_K_M | 17.8 / 96.0GB | 풀 GPU | 최대 256k |
|
| Qwen3.8 27B | 쾌적 | 추정 69.8 tok/s61.4–78.2보정된 추정 ±12% | Q4_K_M | 18.2 / 96.0GB | 풀 GPU | 최대 256k |
|
| Gemma 4 31B | 쾌적 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% | Q4_K_M | 20.1 / 96.0GB | 풀 GPU | 최대 256k |
|
| Granite 4.2 30B | 쾌적 | 추정 63.1 tok/s55.6–70.7보정된 추정 ±12% | Q4_K_M | 20.8 / 96.0GB | 풀 GPU | 최대 64k |
|
| EXAONE 4.0 32B | 쾌적 | 추정 63.1 tok/s55.5–70.7보정된 추정 ±12% | Q4_K_M | 20.8 / 96.0GB | 풀 GPU | 최대 128k |
|
| EXAONE 4.5 33B | 쾌적 | 추정 60.9 tok/s53.6–68.2보정된 추정 ±12% | Q4_K_M | 21.0 / 96.0GB | 풀 GPU | 최대 256k |
|
| Qwen3 32B | 쾌적 | 추정 57.3 tok/s50.4–64.1보정된 추정 ±12% | Q4_K_M | 22.6 / 96.0GB | 풀 GPU | 최대 32k |
|
| DeepSeek R1 Distill Qwen 32B | 쾌적 | 추정 57.0 tok/s50.2–63.9보정된 추정 ±12% | Q4_K_M | 22.7 / 96.0GB | 풀 GPU | 최대 64k |
|
| Nanbeige4.3 33B | 쾌적 | 추정 55.7 tok/s49.0–62.3보정된 추정 ±12% | Q4_K_M | 23.0 / 96.0GB | 풀 GPU | 최대 64k |
|
| Llama 3.3 70B | 쾌적 | 추정 27.7 tok/s24.4–31.1보정된 추정 ±12% | Q4_K_M | 45.8 / 96.0GB | 풀 GPU | 최대 32k | — |
| Solar Open 2 250B | 불가Q2_K (품질 손실 큼): 원활 | 추정 83.0 tok/s58.1–107.9이론 추정 ±30% | Q2_K | 92.7 / 96.0GB + RAM 4.4GB | MoE 전문가 RAM 배치 | 최대 256k |
|
| DeepSeek V4 Flash 0731 | 불가Q2_K (품질 손실 큼): 원활 | 추정 44.2 tok/s30.9–57.4이론 추정 ±30% | Q2_K | 92.5 / 96.0GB + RAM 26.1GB | MoE 전문가 RAM 배치 | 최대 64k |
|
| GLM-5.3 Flash | 불가 | — | Q4_K_M | 181.4GB 필요 | — | — |
|
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
NVIDIA RTX PRO 6000 Blackwell 벤치마크 결과
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 14,855.0 | 274.2 | — | github.com | 2025-09-05 |
자주 묻는 질문
NVIDIA RTX PRO 6000 Blackwell에 통째로 올라가는 가장 큰 모델은 무엇인가요?
Ling-3.0 Flash Q4_K_M(77.01GB 파일)입니다. 8k 컨텍스트에서 96GB에 전부 올라가고, 속도는 추정 193.8 tok/s (135.7–252.0, 이론 추정 ±30%)입니다.
NVIDIA RTX PRO 6000 Blackwell에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 59개를 보면 쾌적 56개, 원활 0개, 겨우 가능 0개, 불가 3개입니다.
NVIDIA RTX PRO 6000 Blackwell에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?
Q4_K_M, 풀 GPU 기준 판정: 쾌적, 속도: 추정 27.7 tok/s (24.4–31.1, 보정된 추정 ±12%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.