GeForce RTX 3050 8GB에서 돌아가는 로컬 LLM
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
사양
- VRAM
- 8GB
- 메모리 대역폭
- 224.0 GB/s
- FP16 연산
- 9.1 TFLOPS
- 출시 연도
- 2022
- 가격
- 출시가 US$249(약 33만 원)
- 다른 표기
- 3050
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.
- 쾌적14개원활15개겨우 가능14개불가16개양자화를 더 낮추면 7개가 더 돌아갑니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
한국 모델
EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.
GeForce RTX 3050 8GB 전체 모델 판정
dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 |
|---|---|---|---|---|---|---|---|
| MiniCPM5 1B | 쾌적 | 추정 175.9 tok/s154.8–197.0보정된 추정 ±12% | Q4_K_M | 1.9 / 8.0GB | 풀 GPU | 최대 128k |
|
| Ling-3.0 Tiny | 쾌적 | 추정 152.1 tok/s106.5–197.8이론 추정 ±30% | Q4_K_M | 5.9 / 8.0GB | 풀 GPU | 최대 128k |
|
| Llama 3.2 1B | 쾌적 | 추정 145.4 tok/s127.9–162.8보정된 추정 ±12% | Q4_K_M | 2.2 / 8.0GB | 풀 GPU | 최대 128k | — |
| EXAONE 4.0 1.2B | 쾌적 | 추정 119.4 tok/s105.1–133.7보정된 추정 ±12% | Q4_K_M | 2.5 / 8.0GB | 풀 GPU | 최대 64k |
|
| Gemma 4 E2B | 쾌적 | 추정 89.0 tok/s62.3–115.7이론 추정 ±30% | Q4_K_M | 2.7 / 8.0GB | 풀 GPU | 최대 128k |
|
| LFM2.5 2.6B | 쾌적 | 추정 86.9 tok/s60.8–113.0이론 추정 ±30% | Q4_K_M | 3.0 / 8.0GB | 풀 GPU | 최대 128k |
|
| HyperCLOVA X SEED 1.5B | 쾌적 | 추정 86.4 tok/s76.0–96.7보정된 추정 ±12% | Q4_K_M | 3.0 / 8.0GB | 풀 GPU | 최대 16k | — |
| MiniCPM5 2B | 쾌적 | 추정 82.0 tok/s72.2–91.8보정된 추정 ±12% | Q4_K_M | 2.9 / 8.0GB | 풀 GPU | 최대 64k |
|
| Spark-X2.5 4B | 쾌적 | 추정 54.0 tok/s47.5–60.5보정된 추정 ±12% | Q4_K_M | 4.1 / 8.0GB | 풀 GPU | 최대 64k |
|
| Llama 3.2 3B | 쾌적 | 추정 53.0 tok/s46.6–59.3보정된 추정 ±12% | Q4_K_M | 4.1 / 8.0GB | 풀 GPU | 최대 32k | — |
| Qwen3.5 4B | 쾌적 | 추정 50.6 tok/s44.5–56.7보정된 추정 ±12% | Q4_K_M | 4.2 / 8.0GB | 풀 GPU | 최대 64k |
|
| Gemma 4 E4B | 쾌적 | 추정 46.3 tok/s32.4–60.2이론 추정 ±30% | Q4_K_M | 4.3 / 8.0GB | 풀 GPU | 최대 64k |
|
| Kanana 1.5 8B | 쾌적 | 추정 26.2 tok/s23.0–29.3보정된 추정 ±12% | Q4_K_M | 6.9 / 8.0GB | 풀 GPU | 최대 8k | — |
| Llama 3.1 8B | 쾌적 | 추정 26.2 tok/s23.0–29.3보정된 추정 ±12% | Q4_K_M | 6.9 / 8.0GB | 풀 GPU | 최대 8k | — |
| Mellum2.1 12B-A2.5B Thinking | 원활 | 추정 66.8 tok/s46.7–86.8이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
|
| MiniCPM-V 4.7 35B-A3B | 원활 | 추정 42.2 tok/s29.6–54.9이론 추정 ±30% | Q4_K_M | 7.1 / 8.0GB + RAM 15.4GB | MoE 전문가 RAM 배치 | 최대 64k |
|
| Qwen3.6 35B-A3B | 원활 | 추정 39.9 tok/s27.9–51.8이론 추정 ±30% | Q4_K_M | 7.3 / 8.0GB + RAM 16.3GB | MoE 전문가 RAM 배치 | 최대 32k |
|
| Qwen3.5 35B-A3B | 원활 | 추정 35.7 tok/s25.0–46.4이론 추정 ±30% | Q4_K_M | 7.3 / 8.0GB + RAM 16.7GB | MoE 전문가 RAM 배치 | 최대 32k |
|
| gpt-oss-20b | 원활 | 추정 34.0 tok/s23.8–44.2이론 추정 ±30% | MXFP4 | 7.3 / 8.0GB + RAM 6.1GB | MoE 전문가 RAM 배치 | 최대 16k |
|
| Kanana 1.5 15.7B-A3B | 원활 | 추정 32.6 tok/s22.8–42.3이론 추정 ±30% | Q4_K_M | 7.4 / 8.0GB + RAM 5.3GB | MoE 전문가 RAM 배치 | 최대 16k |
|
| Nemotron 3.5 Lightning 30B-A3B | 원활 | 추정 30.5 tok/s21.3–39.6이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 16k |
|
| Qwen3 30B-A3B (2507) | 원활 | 추정 30.2 tok/s21.2–39.3이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 13.0GB | MoE 전문가 RAM 배치 | 최대 16k |
|
| DeepSeek R1 Distill Llama 8B | 원활 | 추정 26.2 tok/s23.0–29.3보정된 추정 ±12% | Q4_K_M | 6.9 / 8.0GB | 풀 GPU | 최대 8k |
|
| Nanbeige4.2 3B | 원활 | 추정 25.6 tok/s17.9–33.3이론 추정 ±30% | Q4_K_M | 5.0 / 8.0GB | 풀 GPU | 최대 16k |
|
| Qwen3.5 9B | 원활 | 추정 25.5 tok/s22.5–28.6보정된 추정 ±12% | Q4_K_M | 6.6 / 8.0GB | 풀 GPU | 최대 32k |
|
| DeepSeek R1 0528 Qwen3 8B | 원활 | 추정 25.1 tok/s22.1–28.2보정된 추정 ±12% | Q4_K_M | 7.1 / 8.0GB | 풀 GPU | 최대 8k |
|
| Qwen3 8B | 원활 | 추정 25.1 tok/s22.1–28.2보정된 추정 ±12% | Q4_K_M | 7.1 / 8.0GB | 풀 GPU | 최대 8k |
|
| K2-Horizon 7B | 원활 | 추정 23.1 tok/s20.3–25.8보정된 추정 ±12% | Q4_K_M | 7.4 / 8.0GB | 풀 GPU | 최대 8k |
|
| Gemma 4 12B | 원활 | 추정 18.8 tok/s15.0–22.5보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 0.4GB | 부분 오프로드 | 최대 16k |
|
| Gemma 4 26B-A4B | 겨우 가능 | 추정 27.7 tok/s19.4–36.1이론 추정 ±30% | Q4_K_M | 7.3 / 8.0GB + RAM 11.0GB | MoE 전문가 RAM 배치 | 최대 128k |
|
| Gemma 3 12B | 겨우 가능 | 추정 14.9 tok/s11.9–17.8보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 1.0GB | 부분 오프로드 | 최대 64k |
|
| K2-Horizon MoVA 36B-A4B | 겨우 가능 | 추정 9.6 tok/s6.7–12.5이론 추정 ±30% | Q4_K_M | RAM 24.0GB | CPU 전용 | 최대 16k |
|
| HyperCLOVA X SEED Think 14B | 겨우 가능 | 추정 7.9 tok/s5.5–10.3이론 추정 ±30% | Q4_K_M | 8.0 / 8.0GB + RAM 3.4GB | 부분 오프로드 | 최대 32k |
|
| Qwen3 14B | 겨우 가능 | 추정 7.7 tok/s6.1–9.2보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 3.5GB | 부분 오프로드 | 최대 32k |
|
| DeepSeek R1 Distill Qwen 14B | 겨우 가능 | 추정 7.2 tok/s5.8–8.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 3.8GB | 부분 오프로드 | 최대 16k |
|
| Phi-4 | 겨우 가능 | 추정 7.0 tok/s5.6–8.4보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 3.9GB | 부분 오프로드 | 최대 16k | — |
| Mistral Small 3.2 24B | 겨우 가능 | 추정 3.9 tok/s3.1–4.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 8.8GB | 부분 오프로드 | 최대 32k | — |
| Muse Glimmer 30B | 겨우 가능 | 추정 3.6 tok/s2.8–4.3보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 10.6GB | 부분 오프로드 | 최대 64k |
|
| Gemma 3 27B | 겨우 가능 | 추정 3.5 tok/s2.8–4.3보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 10.4GB | 부분 오프로드 | 최대 64k | — |
| Qwen3.6 27B | 겨우 가능 | 추정 3.5 tok/s2.8–4.2보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 10.5GB | 부분 오프로드 | 최대 16k |
|
| Qwen3.5 27B | 겨우 가능 | 추정 3.4 tok/s2.8–4.1보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 10.8GB | 부분 오프로드 | 최대 16k |
|
| Qwen3.8 27B | 겨우 가능 | 추정 3.4 tok/s2.7–4.0보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 11.2GB | 부분 오프로드 | 최대 16k |
|
| Gemma 4 31B | 겨우 가능 | 추정 3.1 tok/s2.5–3.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k |
|
| Kolibri 1 | 불가Q2_K (품질 손실 큼): 원활 | 추정 39.0 tok/s27.3–50.7이론 추정 ±30% | Q2_K | 7.3 / 8.0GB + RAM 23.9GB | MoE 전문가 RAM 배치 | 최대 32k |
|
| Granite 4.2 30B | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 5.0 tok/s4.0–6.0보정된 추정 ±20% | Q2_K | 8.0 / 8.0GB + RAM 6.2GB | 부분 오프로드 | 최대 16k |
|
| DeepSeek R1 Distill Qwen 32B | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.3 tok/s3.4–5.1보정된 추정 ±20% | Q2_K | 8.0 / 8.0GB + RAM 7.6GB | 부분 오프로드 | 최대 16k |
|
| Qwen3 32B | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.2 tok/s3.4–5.1보정된 추정 ±20% | Q2_K | 8.0 / 8.0GB + RAM 7.7GB | 부분 오프로드 | 최대 16k |
|
| Nanbeige4.3 33B | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% | Q2_K | 8.0 / 8.0GB + RAM 8.4GB | 부분 오프로드 | 최대 16k |
|
| EXAONE 4.0 32B | 불가IQ4_XS: 겨우 가능 | 추정 3.4 tok/s2.7–4.0보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.1GB | 부분 오프로드 | 최대 16k |
|
| EXAONE 4.5 33B | 불가IQ4_XS: 겨우 가능 | 추정 3.2 tok/s2.6–3.9보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.7GB | 부분 오프로드 | 최대 16k |
|
| DeepSeek V4 Flash 0731 | 불가 | — | MXFP4 | 155.1GB 필요 | — | — |
|
| GLM-5.3 Flash | 불가 | — | Q4_K_M | 181.4GB 필요 | — | — |
|
| gpt-oss-120b | 불가 | — | MXFP4 | 63.6GB 필요 | — | — |
|
| Laguna S 2.1 | 불가 | — | Q4_K_M | 68.5GB 필요 | — | — |
|
| Ling-3.0 Flash | 불가 | — | Q4_K_M | 75.4GB 필요 | — | — |
|
| Llama 3.3 70B | 불가 | — | Q4_K_M | 45.2GB 필요 | — | — |
|
| Qwen3.5 122B-A10B | 불가 | — | Q4_K_M | 76.6GB 필요 | — | — |
|
| Solar Open 100B | 불가 | — | Q4_K_M | 64.0GB 필요 | — | — |
|
| Solar Open 2 250B | 불가 | — | IQ4_XS | 136.5GB 필요 | — | — |
|
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
GeForce RTX 3050 8GB 벤치마크 결과
이 기기로 잰 공개 벤치마크 결과는 아직 없습니다.
자주 묻는 질문
GeForce RTX 3050 8GB에 통째로 올라가는 가장 큰 모델은 무엇인가요?
Gemma 4 12B IQ4_XS(6.38GB 파일)입니다. 8k 컨텍스트에서 8GB에 전부 올라가고, 속도는 추정 24.1 tok/s (21.2–27.0, 보정된 추정 ±12%)입니다.
GeForce RTX 3050 8GB에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 59개를 보면 쾌적 14개, 원활 15개, 겨우 가능 14개, 불가 16개입니다.
GeForce RTX 3050 8GB에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?
아니요. Llama 3.3 70B Q4_K_M에는 약 45.2GB가 필요한데, 이 구성의 GPU 메모리는 7.4GB, 여유 시스템 RAM은 28.0GB입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.