GeForce RTX 4060에서 돌아가는 로컬 LLM

시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.

GeForce RTX 4060 사용자가 알아 둘 점

RTX 4060의 VRAM은 8GB입니다. 같은 카드로 Windows 화면까지 출력하면 CanRun 계산으로 모델에 쓸 수 있는 몫은 7.4GB 정도입니다. 이 정도면 Llama 3.1 8B, Qwen3 8B, Qwen3.5 9B를 Q4_K_M으로 8k 컨텍스트까지 올리기에 충분합니다. 세 모델 모두 쾌적하게 돌아가고, 한국 모델 Kanana 1.5 8B도 마찬가지입니다. 먼저 막히는 쪽은 긴 컨텍스트입니다. Qwen3 8B를 32k로 쓰면 f16 KV 캐시 기준으로 10.3GB가 필요합니다.

12B~14B dense 모델은 경계에 걸립니다. Gemma 4 12B는 Q4_K_M 파일이면 7.8GB가 필요해서 일부가 시스템 RAM으로 넘어갑니다. IQ4_XS 파일을 받으면 GPU에 전부 올라갑니다. Qwen3 14B는 더 많이 넘쳐서 느리게 돌아갑니다. 더 큰 모델을 원하면 MoE 모델이 낫습니다. 전문가를 시스템 RAM에 두면 gpt-oss-20b와 Qwen3 30B-A3B도 원활하게 돌아간다고 CanRun은 추정합니다. 다만 이론 추정(±30%)이고, 실제 속도는 시스템 RAM 속도에 따라 크게 달라집니다.

GeForce RTX 4060 Laptop은 따로 계산합니다. VRAM이 같은 8GB라 올라가는 모델은 같고, 메모리 대역폭은 256 GB/s로 이 카드의 272 GB/s보다 조금 낮습니다. 그래서 속도 추정도 조금 낮지만, gpt-oss-20b는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다(이론 추정 ±30%). 8GB가 계속 걸린다면 더 빠른 8GB 카드보다 VRAM이 큰 카드로 가야 돌릴 수 있는 모델이 달라집니다.

사양

VRAM: 8GB
메모리 대역폭: 272.0 GB/s
FP16 연산: 15.1 TFLOPS
출시 연도: 2023
가격: 출시가 US$299(약 40만 원)
다른 표기: 4060, RTX4060

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

쾌적19개원활11개겨우 가능13개불가16개양자화를 더 낮추면 7개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

GeForce RTX 4060 전체 모델 판정

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순)
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 213.6 tok/s188.0–239.2보정된 추정 ±12%	Q4_K_M	1.9 / 8.0GB	풀 GPU	최대 128k	생각 모드
Ling-3.0 Tiny	쾌적	추정 176.6 tok/s123.6–229.6이론 추정 ±30%	Q4_K_M	5.9 / 8.0GB	풀 GPU	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 176.6 tok/s155.4–197.7보정된 추정 ±12%	Q4_K_M	2.2 / 8.0GB	풀 GPU	최대 128k	—
EXAONE 4.0 1.2B	쾌적	추정 145.0 tok/s127.6–162.4보정된 추정 ±12%	Q4_K_M	2.5 / 8.0GB	풀 GPU	최대 64k	생각 모드
LFM2.5 2.6B	쾌적	추정 105.5 tok/s73.9–137.2이론 추정 ±30%	Q4_K_M	3.0 / 8.0GB	풀 GPU	최대 128k	생각 모드
Gemma 4 E2B	쾌적	추정 105.3 tok/s73.7–137.0이론 추정 ±30%	Q4_K_M	2.7 / 8.0GB	풀 GPU	최대 128k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 104.9 tok/s92.3–117.5보정된 추정 ±12%	Q4_K_M	3.0 / 8.0GB	풀 GPU	최대 16k	—
MiniCPM5 2B	쾌적	추정 99.6 tok/s87.6–111.5보정된 추정 ±12%	Q4_K_M	2.9 / 8.0GB	풀 GPU	최대 64k	생각 모드
Spark-X2.5 4B	쾌적	추정 65.6 tok/s57.7–73.5보정된 추정 ±12%	Q4_K_M	4.1 / 8.0GB	풀 GPU	최대 64k	생각 모드
Llama 3.2 3B	쾌적	추정 64.3 tok/s56.6–72.1보정된 추정 ±12%	Q4_K_M	4.1 / 8.0GB	풀 GPU	최대 32k	—
Qwen3.5 4B	쾌적	추정 61.5 tok/s54.1–68.8보정된 추정 ±12%	Q4_K_M	4.2 / 8.0GB	풀 GPU	최대 64k	생각 모드
Gemma 4 E4B	쾌적	추정 55.5 tok/s38.8–72.1이론 추정 ±30%	Q4_K_M	4.3 / 8.0GB	풀 GPU	최대 128k	생각 모드
Llama 3.1 8B	쾌적GeForce RTX 4060에서 Llama 3.1 8B 판정 보기	38.1 tok/s8k 추정 31.8 tok/s (28.0–35.6, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트)	Q4_K_M	6.9 / 8.0GB	풀 GPU	최대 8k	—
DeepSeek R1 Distill Llama 8B	쾌적	추정 31.8 tok/s28.0–35.6보정된 추정 ±12%	Q4_K_M	6.9 / 8.0GB	풀 GPU	최대 8k	생각 모드
Kanana 1.5 8B	쾌적	추정 31.8 tok/s28.0–35.6보정된 추정 ±12%	Q4_K_M	6.9 / 8.0GB	풀 GPU	최대 8k	—
Nanbeige4.2 3B	쾌적	추정 31.1 tok/s21.8–40.4이론 추정 ±30%	Q4_K_M	5.0 / 8.0GB	풀 GPU	최대 8k	생각 모드
Qwen3.5 9B	쾌적GeForce RTX 4060에서 Qwen3.5 9B 판정 보기	추정 31.0 tok/s27.3–34.7보정된 추정 ±12%	Q4_K_M	6.6 / 8.0GB	풀 GPU	최대 8k	생각 모드
DeepSeek R1 0528 Qwen3 8B	쾌적	추정 30.5 tok/s26.9–34.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	생각 모드
Qwen3 8B	쾌적GeForce RTX 4060에서 Qwen3 8B 판정 보기	추정 30.5 tok/s26.9–34.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	생각 모드
Mellum2.1 12B-A2.5B Thinking	원활	추정 74.5 tok/s52.2–96.9이론 추정 ±30%	Q4_K_M	7.6 / 8.0GB + RAM 1.7GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
MiniCPM-V 4.7 35B-A3B	원활	추정 45.9 tok/s32.1–59.6이론 추정 ±30%	Q4_K_M	7.1 / 8.0GB + RAM 15.4GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
Qwen3.6 35B-A3B	원활GeForce RTX 4060에서 Qwen3.6 35B-A3B 판정 보기	추정 43.6 tok/s30.5–56.6이론 추정 ±30%	Q4_K_M	7.3 / 8.0GB + RAM 16.3GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
Qwen3.5 35B-A3B	원활GeForce RTX 4060에서 Qwen3.5 35B-A3B 판정 보기	추정 39.3 tok/s27.5–51.1이론 추정 ±30%	Q4_K_M	7.3 / 8.0GB + RAM 16.7GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
gpt-oss-20b	원활GeForce RTX 4060에서 gpt-oss-20b 판정 보기	추정 36.9 tok/s25.9–48.0이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
Kanana 1.5 15.7B-A3B	원활	추정 35.5 tok/s24.9–46.2이론 추정 ±30%	Q4_K_M	7.4 / 8.0GB + RAM 5.3GB	MoE 전문가 RAM 배치	최대 16k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
Nemotron 3.5 Lightning 30B-A3B	원활	추정 32.6 tok/s22.8–42.3이론 추정 ±30%	Q4_K_M	6.8 / 8.0GB + RAM 19.9GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
Qwen3 30B-A3B (2507)	원활GeForce RTX 4060에서 Qwen3 30B-A3B (2507) 판정 보기	추정 32.4 tok/s22.6–42.1이론 추정 ±30%	Q4_K_M	7.6 / 8.0GB + RAM 13.0GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
Gemma 4 26B-A4B	원활GeForce RTX 4060에서 Gemma 4 26B-A4B 판정 보기	추정 30.6 tok/s21.4–39.7이론 추정 ±30%	Q4_K_M	7.3 / 8.0GB + RAM 11.0GB	MoE 전문가 RAM 배치	최대 8k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. 생각 모드
K2-Horizon 7B	원활	추정 28.0 tok/s24.6–31.4보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	생각 모드
Gemma 4 12B	원활GeForce RTX 4060에서 Gemma 4 12B 판정 보기	추정 21.9 tok/s17.6–26.3보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 0.4GB	부분 오프로드	최대 16k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Gemma 3 12B	겨우 가능GeForce RTX 4060에서 Gemma 3 12B 판정 보기	추정 16.7 tok/s13.4–20.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적
K2-Horizon MoVA 36B-A4B	겨우 가능	추정 9.6 tok/s6.7–12.5이론 추정 ±30%	Q4_K_M	RAM 24.0GB	CPU 전용	최대 16k	생각 모드
HyperCLOVA X SEED Think 14B	겨우 가능	추정 8.4 tok/s5.9–10.9이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 3.4GB	부분 오프로드	최대 32k	생각 모드
Qwen3 14B	겨우 가능GeForce RTX 4060에서 Qwen3 14B 판정 보기	추정 8.1 tok/s6.5–9.7보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 3.5GB	부분 오프로드	최대 32k	Q2_K (품질 손실 큼): 원활 생각 모드
DeepSeek R1 Distill Qwen 14B	겨우 가능	추정 7.6 tok/s6.1–9.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 3.8GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 원활 생각 모드
Phi-4	겨우 가능	추정 7.4 tok/s5.9–8.9보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 3.9GB	부분 오프로드	최대 16k	—
Mistral Small 3.2 24B	겨우 가능	추정 4.0 tok/s3.2–4.8보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 8.8GB	부분 오프로드	최대 32k	—
Muse Glimmer 30B	겨우 가능	추정 3.7 tok/s2.9–4.4보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.6GB	부분 오프로드	최대 64k	생각 모드
Gemma 3 27B	겨우 가능	추정 3.6 tok/s2.9–4.4보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.4GB	부분 오프로드	최대 64k	—
Qwen3.6 27B	겨우 가능	추정 3.6 tok/s2.9–4.3보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 16k	생각 모드
Qwen3.5 27B	겨우 가능GeForce RTX 4060에서 Qwen3.5 27B 판정 보기	추정 3.5 tok/s2.8–4.2보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 10.8GB	부분 오프로드	최대 16k	생각 모드
Qwen3.8 27B	겨우 가능GeForce RTX 4060에서 Qwen3.8 27B 판정 보기	추정 3.4 tok/s2.8–4.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 11.2GB	부분 오프로드	최대 16k	생각 모드
Gemma 4 31B	겨우 가능GeForce RTX 4060에서 Gemma 4 31B 판정 보기	추정 3.2 tok/s2.5–3.8보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 12.2GB	부분 오프로드	최대 8k	생각 모드
Kolibri 1	불가Q2_K (품질 손실 큼): 원활	추정 43.5 tok/s30.5–56.6이론 추정 ±30%	Q2_K	7.3 / 8.0GB + RAM 23.9GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. RAM 64GB라면: 원활 생각 모드
Granite 4.2 30B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 5.1 tok/s4.1–6.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 6.2GB	부분 오프로드	최대 16k	생각 모드
DeepSeek R1 Distill Qwen 32B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.4 tok/s3.5–5.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	생각 모드
Qwen3 32B	불가Q2_K (품질 손실 큼): 겨우 가능GeForce RTX 4060에서 Qwen3 32B 판정 보기	추정 4.4 tok/s3.5–5.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.7GB	부분 오프로드	최대 16k	생각 모드
Nanbeige4.3 33B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.1 tok/s3.3–4.9보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 8.4GB	부분 오프로드	최대 16k	생각 모드
EXAONE 4.0 32B	불가IQ4_XS: 겨우 가능	추정 3.5 tok/s2.8–4.1보정된 추정 ±20%	IQ4_XS	8.0 / 8.0GB + RAM 11.1GB	부분 오프로드	최대 16k	생각 모드
EXAONE 4.5 33B	불가IQ4_XS: 겨우 가능	추정 3.3 tok/s2.6–3.9보정된 추정 ±20%	IQ4_XS	8.0 / 8.0GB + RAM 11.7GB	부분 오프로드	최대 16k	생각 모드
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.1GB 필요	—	—	약 155.1GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	181.4GB 필요	—	—	약 181.4GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. 생각 모드
gpt-oss-120b	불가GeForce RTX 4060에서 gpt-oss-120b 판정 보기	—	MXFP4	63.6GB 필요	—	—	약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능 생각 모드
Laguna S 2.1	불가	—	Q4_K_M	68.5GB 필요	—	—	약 68.5GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능 생각 모드
Ling-3.0 Flash	불가	—	Q4_K_M	75.4GB 필요	—	—	약 75.4GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능 생각 모드
Llama 3.3 70B	불가GeForce RTX 4060에서 Llama 3.3 70B 판정 보기	—	Q4_K_M	45.2GB 필요	—	—	약 45.2GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
Qwen3.5 122B-A10B	불가GeForce RTX 4060에서 Qwen3.5 122B-A10B 판정 보기	—	Q4_K_M	76.6GB 필요	—	—	약 76.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 96GB라면: 겨우 가능 생각 모드
Solar Open 100B	불가	—	Q4_K_M	64.0GB 필요	—	—	약 64.0GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. RAM 64GB라면: 겨우 가능 생각 모드
Solar Open 2 250B	불가	—	IQ4_XS	136.5GB 필요	—	—	약 136.5GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다. 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

GeForce RTX 4060 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

GeForce RTX 4060 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
Llama 3.1 8B	Q4_K_M	llama.cpp	4k	1,528.0	38.1	ctx-weighted	localscore.ai	2026-08-09

자주 묻는 질문

GeForce RTX 4060에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Gemma 4 12B IQ4_XS(6.38GB 파일)입니다. 8k 컨텍스트에서 8GB에 전부 올라가고, 속도는 추정 29.2 tok/s (25.7–32.7, 보정된 추정 ±12%)입니다.

GeForce RTX 4060에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 59개를 보면 쾌적 19개, 원활 11개, 겨우 가능 13개, 불가 16개입니다.

GeForce RTX 4060에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

아니요. Llama 3.3 70B Q4_K_M에는 약 45.2GB가 필요한데, 이 구성의 GPU 메모리는 7.4GB, 여유 시스템 RAM은 28.0GB입니다.

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.