GeForce RTX 3070에서 돌아가는 로컬 LLM

시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.

사양

VRAM: 8GB
메모리 대역폭: 448.0 GB/s
FP16 연산: 20.3 TFLOPS
출시 연도: 2020
가격: 출시가 US$499

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

쾌적7개원활1개겨우 가능14개불가7개양자화를 더 낮추면 2개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

GeForce RTX 3070 전체 모델 판정

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 29개(판정·속도 순)
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
EXAONE 4.0 1.2B	쾌적	추정 238.8 tok/s210.1–267.4보정된 추정 ±12%	Q4_K_M	2.5 / 8.0GB	풀 GPU	최대 64k	—
HyperCLOVA X SEED 1.5B	쾌적	추정 172.8 tok/s152.0–193.5보정된 추정 ±12%	Q4_K_M	3.0 / 8.0GB	풀 GPU	최대 16k	—
DeepSeek R1 Distill Llama 8B	쾌적	추정 52.3 tok/s46.0–58.6보정된 추정 ±12%	Q4_K_M	7.2 / 8.0GB	풀 GPU	최대 8k	리즈닝 모델
Kanana 1.5 8B	쾌적	추정 52.3 tok/s46.0–58.6보정된 추정 ±12%	Q4_K_M	7.2 / 8.0GB	풀 GPU	최대 8k	—
Llama 3.1 8B	쾌적	추정 52.3 tok/s46.0–58.6보정된 추정 ±12%	Q4_K_M	7.2 / 8.0GB	풀 GPU	최대 8k	—
Qwen3.5 9B	쾌적	추정 51.1 tok/s45.0–57.2보정된 추정 ±12%	Q4_K_M	7.3 / 8.0GB	풀 GPU	최대 16k	—
Qwen3 8B	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—
Qwen3.5 35B-A3B	원활	추정 20.4 tok/s14.3–26.5이론 추정 ±30%	Q4_K_M	2.6 / 8.0GB + RAM 21.4GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
Gemma 4 12B	겨우 가능	추정 24.1 tok/s19.3–28.9보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 0.8GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 UD-Q2_K_XL (품질 손실 큼): 쾌적
Gemma 3 12B	겨우 가능	추정 21.8 tok/s17.5–26.2보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적
Kanana 1.5 15.7B-A3B	겨우 가능	추정 19.3 tok/s13.5–25.1이론 추정 ±30%	Q4_K_M	3.0 / 8.0GB + RAM 9.6GB	MoE 전문가 RAM 배치	최대 32k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다. IQ4_XS: 원활
Gemma 4 26B-A4B	겨우 가능	추정 19.3 tok/s13.5–25.1이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.
Qwen3 30B-A3B (2507)	겨우 가능	추정 19.2 tok/s13.4–24.9이론 추정 ±30%	Q4_K_M	2.9 / 8.0GB + RAM 17.7GB	MoE 전문가 RAM 배치	최대 32k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다. IQ4_XS: 원활
gpt-oss-20b	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다. 리즈닝 모델
HyperCLOVA X SEED Think 14B	겨우 가능	추정 9.4 tok/s6.6–12.2이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 3.4GB	부분 오프로드	최대 32k	리즈닝 모델
Qwen3 14B	겨우 가능	추정 9.1 tok/s7.3–10.9보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 3.5GB	부분 오프로드	최대 32k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. Q2_K (품질 손실 큼): 원활
Phi-4	겨우 가능	추정 8.1 tok/s6.5–9.8보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 3.9GB	부분 오프로드	최대 16k	리즈닝 모델
Mistral Small 3.2 24B	겨우 가능	추정 4.3 tok/s3.4–5.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 8.8GB	부분 오프로드	최대 32k	—
Gemma 3 27B	겨우 가능	추정 3.8 tok/s3.1–4.6보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.4GB	부분 오프로드	최대 64k	—
Qwen3.5 27B	겨우 가능	추정 3.7 tok/s3.0–4.4보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.8GB	부분 오프로드	최대 64k	—
EXAONE 4.0 32B	겨우 가능	추정 3.1 tok/s2.5–3.7보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 13.1GB	부분 오프로드	최대 8k	리즈닝 모델
Qwen3 32B	겨우 가능	추정 2.6 tok/s2.1–3.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 15.1GB	부분 오프로드	최대 16k	—
DeepSeek R1 Distill Qwen 32B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	리즈닝 모델
EXAONE 4.5 33B	불가IQ4_XS: 겨우 가능	추정 3.4 tok/s2.8–4.1보정된 추정 ±20%	IQ4_XS	8.0 / 8.0GB + RAM 11.7GB	부분 오프로드	최대 16k	리즈닝 모델
gpt-oss-120b	불가	—	MXFP4	64.3GB 필요	—	—	약 64.3GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능 리즈닝 모델
Llama 3.3 70B	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
Qwen3.5 122B-A10B	불가	—	Q4_K_M	79.0GB 필요	—	—	약 79.0GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능
Solar Open 100B	불가	—	Q4_K_M	64.4GB 필요	—	—	약 64.4GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 64GB라면: 겨우 가능
Solar Open 2 250B	불가	—	IQ4_XS	137.2GB 필요	—	—	약 137.2GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.

리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).

GeForce RTX 3070 벤치마크 결과

이 기기로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

GeForce RTX 3070에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Qwen3.5 9B Q4_K_M(5.87GB 파일)입니다. 8k 컨텍스트에서 8GB에 전부 올라가고, 속도는 추정 51.1 tok/s (45.0–57.2, 보정된 추정 ±12%)입니다.

GeForce RTX 3070에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 29개를 보면 쾌적 7개, 원활 1개, 겨우 가능 14개, 불가 7개입니다.

GeForce RTX 3070에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

아니요. Llama 3.3 70B Q4_K_M에는 약 45.8GB가 필요한데, 이 구성의 GPU 메모리는 7.4GB, 여유 시스템 RAM은 28.0GB입니다.

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.