RTX 3060 12GB vs RTX 4060 로컬 LLM 비교
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
판정은 대부분 VRAM 차이에서 갈립니다. CanRun 계산으로 쓸 수 있는 메모리는 RTX 3060 12GB가 11.4GB, RTX 4060이 7.4GB 정도입니다. 8k에서 11.0GB가 필요한 Phi-4는 RTX 3060 12GB에서 쾌적하게 돌아갑니다. RTX 4060에서는 일부가 시스템 RAM으로 넘어가 느리게 돌아갑니다. Gemma 3 12B도 똑같이 갈리고, IQ4_XS 파일은 RTX 4060에 다 안 들어가도 원활하게 돌아갑니다. Qwen3 14B는 RTX 3060 12GB에 다 올라가지만, 생각 모드라 기준이 더 높아 원활하게 돌아가는 데 그칩니다. RTX 4060에서는 넘쳐서 느리게 돌아갑니다. Phi-4와 Qwen3 14B는 RTX 3060 12GB에서 여유가 1GB가 안 되니 ollama ps로 확인해 보세요.
8k에서는 두 카드에 다 들어가는 Llama 3.1 8B도 32k로 늘리면 f16 KV 캐시 기준 9.7GB가 필요합니다. RTX 4060에서는 일부가 시스템 RAM으로 넘어가고, RTX 3060 12GB에는 다 올라갑니다.
생성 속도는 세대보다 메모리 대역폭을 따라가서 대역폭이 높은 RTX 3060 12GB가 빠릅니다. Llama 3.1 8B는 두 카드 모두 쾌적하게 돌아가고, 공개 벤치마크 결과에서도 RTX 3060 12GB가 앞섭니다. FP16 연산 성능은 RTX 4060이 높습니다. 그래서 긴 프롬프트를 읽는 속도는 RTX 4060이 조금 빠르다고 CanRun은 추정합니다. 다만 대략적인 추정(±40%)이라 범위가 겹치고, 앞서더라도 긴 문서를 읽어 들일 때뿐입니다.
속도 비교
글 생성 속도는 RTX 3060 12GB 쪽이 RTX 4060보다 약 1.3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 20개의 추정치로 중앙값을 냈습니다.
- 기준 모델
- Qwen3.5 9B Q4_K_M(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- RTX 3060 12GB
- 실측 51.9 tok/s (32k 컨텍스트, 1건; 8k 추정 41.1 tok/s, 36.1–46.0, 보정된 추정 ±12%)
- RTX 4060
- 추정 31.0 tok/s (27.3–34.7, 보정된 추정 ±12%)
- Qwen3.5 9B 프롬프트 처리
- RTX 3060 12GB: 약 1,387 tok/s (832–1,942, 대략적 추정 ±40%) · RTX 4060: 약 1,649 tok/s (989–2,309, 대략적 추정 ±40%)
사양 비교
| 항목 | RTX 3060 12GB | RTX 4060 | 차이 |
|---|---|---|---|
| 메모리 | 12GB | 8GB | RTX 3060 12GB 쪽 +4GB |
| 메모리 대역폭 | 360.0 GB/s | 272.0 GB/s | RTX 3060 12GB 쪽 1.32배 |
| FP16 연산 | 12.7 TFLOPS | 15.1 TFLOPS | RTX 4060 쪽 1.19배 |
| 출시 연도 | 2021 | 2023 | — |
| 가격 | 2026-08-09 기준 실거래가 US$250(약 33만 원) | 출시가 US$299(약 40만 원) | — |
| 공개 벤치마크 결과 | 7건 | 1건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- RTX 3060 12GB쾌적24개원활11개겨우 가능13개불가10개
- RTX 4060쾌적19개원활11개겨우 가능13개불가15개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 13개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 3060 12GB 판정 | RTX 3060 12GB 속도 | RTX 4060 판정 | RTX 4060 속도 |
|---|---|---|---|---|
| Phi-4Q4_K_M | 쾌적 | 추정 23.5 tok/s20.7–26.3보정된 추정 ±12% | 겨우 가능 | 추정 7.4 tok/s5.9–8.9보정된 추정 ±20% |
| Gemma 3 12BQ4_K_M | 추정 32.2 tok/s28.3–36.0보정된 추정 ±12% | 추정 16.7 tok/s13.4–20.1보정된 추정 ±20% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 124.9 tok/s99.9–149.9보정된 추정 ±20% | 원활 | 추정 74.5 tok/s52.2–96.9이론 추정 ±30% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 34.7 tok/s30.6–38.9보정된 추정 ±12% | 원활 | 추정 21.9 tok/s17.6–26.3보정된 추정 ±20% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 37.1 tok/s32.6–41.5보정된 추정 ±12% | 원활 | 추정 28.0 tok/s24.6–31.4보정된 추정 ±12% |
| Qwen3 14BQ4_K_M | 추정 24.4 tok/s21.4–27.3보정된 추정 ±12% | 추정 8.1 tok/s6.5–9.7보정된 추정 ±20% | ||
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 23.8 tok/s20.9–26.6보정된 추정 ±12% | 겨우 가능 | 추정 7.6 tok/s6.1–9.1보정된 추정 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 24.7 tok/s17.3–32.1이론 추정 ±30% | 겨우 가능 | 추정 8.4 tok/s5.9–10.9이론 추정 ±30% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 3.8 tok/s3.0–4.5보정된 추정 ±20% | 불가IQ4_XS: 겨우 가능 | 추정 3.3 tok/s2.6–3.9보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.4 tok/s3.5–5.2보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 추정 3.2 tok/s2.6–3.8보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.4 tok/s3.5–5.2보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% | 불가IQ4_XS: 겨우 가능 | 추정 3.5 tok/s2.8–4.1보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 3.8 tok/s3.0–4.5보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 5.1 tok/s4.1–6.2보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 3060 12GB 판정 | RTX 3060 12GB 속도 | RTX 4060 판정 | RTX 4060 속도 |
|---|---|---|---|---|
| Phi-4Q4_K_M | 쾌적 | 추정 23.5 tok/s20.7–26.3보정된 추정 ±12% | 겨우 가능 | 추정 7.4 tok/s5.9–8.9보정된 추정 ±20% |
| Gemma 3 12BQ4_K_M | 추정 32.2 tok/s28.3–36.0보정된 추정 ±12% | 추정 16.7 tok/s13.4–20.1보정된 추정 ±20% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 124.9 tok/s99.9–149.9보정된 추정 ±20% | 원활 | 추정 74.5 tok/s52.2–96.9이론 추정 ±30% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 34.7 tok/s30.6–38.9보정된 추정 ±12% | 원활 | 추정 21.9 tok/s17.6–26.3보정된 추정 ±20% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 51.9 tok/s8k 추정 41.1 tok/s (36.1–46.0, 보정된 추정 ±12%)실측 1건 (32k 컨텍스트) | 쾌적 | 추정 31.0 tok/s27.3–34.7보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 37.1 tok/s32.6–41.5보정된 추정 ±12% | 원활 | 추정 28.0 tok/s24.6–31.4보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 40.4 tok/s35.6–45.2보정된 추정 ±12% | 쾌적 | 추정 30.5 tok/s26.9–34.2보정된 추정 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 40.4 tok/s35.6–45.2보정된 추정 ±12% | 쾌적 | 추정 30.5 tok/s26.9–34.2보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 42.0 tok/s37.0–47.1보정된 추정 ±12% | 쾌적 | 추정 31.8 tok/s28.0–35.6보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 42.0 tok/s37.0–47.1보정된 추정 ±12% | 쾌적 | 추정 31.8 tok/s28.0–35.6보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 51.6 tok/s8k 추정 42.0 tok/s (37.0–47.1, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) | 38.1 tok/s8k 추정 31.8 tok/s (28.0–35.6, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) | ||
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 71.7 tok/s50.2–93.2이론 추정 ±30% | 쾌적 | 추정 55.5 tok/s38.8–72.1이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 216.2 tok/s151.3–281.1이론 추정 ±30% | 쾌적 | 추정 176.6 tok/s123.6–229.6이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 133.3 tok/s93.3–173.3이론 추정 ±30% | 쾌적 | 추정 105.3 tok/s73.7–137.0이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 81.3 tok/s71.6–91.1보정된 추정 ±12% | 쾌적 | 추정 61.5 tok/s54.1–68.8보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 41.1 tok/s28.8–53.5이론 추정 ±30% | 쾌적 | 추정 31.1 tok/s21.8–40.4이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 86.8 tok/s76.4–97.3보정된 추정 ±12% | 쾌적 | 추정 65.6 tok/s57.7–73.5보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 85.1 tok/s74.9–95.4보정된 추정 ±12% | 쾌적 | 추정 64.3 tok/s56.6–72.1보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 139.7 tok/s97.8–181.6이론 추정 ±30% | 쾌적 | 추정 105.5 tok/s73.9–137.2이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 131.8 tok/s116.0–147.6보정된 추정 ±12% | 쾌적 | 추정 99.6 tok/s87.6–111.5보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 138.8 tok/s122.2–155.5보정된 추정 ±12% | 쾌적 | 추정 104.9 tok/s92.3–117.5보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 191.9 tok/s168.9–214.9보정된 추정 ±12% | 쾌적 | 추정 145.0 tok/s127.6–162.4보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 233.7 tok/s205.6–261.7보정된 추정 ±12% | 쾌적 | 추정 176.6 tok/s155.4–197.7보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 282.7 tok/s248.8–316.7보정된 추정 ±12% | 쾌적 | 추정 213.6 tok/s188.0–239.2보정된 추정 ±12% |
| Qwen3.5 35B-A3BQ4_K_M | 원활 | 추정 49.4 tok/s34.6–64.2이론 추정 ±30% | 원활 | 추정 39.3 tok/s27.5–51.1이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 원활 | 추정 54.7 tok/s38.3–71.1이론 추정 ±30% | 원활 | 추정 43.6 tok/s30.5–56.6이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 원활 | 추정 58.4 tok/s40.9–75.9이론 추정 ±30% | 원활 | 추정 45.9 tok/s32.1–59.6이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 40.2 tok/s28.2–52.3이론 추정 ±30% | 원활 | 추정 32.6 tok/s22.8–42.3이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 추정 42.0 tok/s29.4–54.6이론 추정 ±30% | 추정 32.4 tok/s22.6–42.1이론 추정 ±30% | ||
| Gemma 4 26B-A4BQ4_K_M | 원활 | 추정 40.7 tok/s28.5–53.0이론 추정 ±30% | 원활 | 추정 30.6 tok/s21.4–39.7이론 추정 ±30% |
| gpt-oss-20bMXFP4 | 추정 63.9 tok/s44.8–83.1이론 추정 ±30% | 추정 36.9 tok/s25.9–48.0이론 추정 ±30% | ||
| Kanana 1.5 15.7B-A3BQ4_K_M | 원활 | 추정 64.3 tok/s45.0–83.5이론 추정 ±30% | 원활 | 추정 35.5 tok/s24.9–46.2이론 추정 ±30% |
| Qwen3 14BQ4_K_M | 추정 24.4 tok/s21.4–27.3보정된 추정 ±12% | 추정 8.1 tok/s6.5–9.7보정된 추정 ±20% | ||
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 23.8 tok/s20.9–26.6보정된 추정 ±12% | 겨우 가능 | 추정 7.6 tok/s6.1–9.1보정된 추정 ±20% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 24.7 tok/s17.3–32.1이론 추정 ±30% | 겨우 가능 | 추정 8.4 tok/s5.9–10.9이론 추정 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 겨우 가능 | 추정 24.1 tok/s16.9–31.3이론 추정 ±30% | 겨우 가능 | 추정 9.6 tok/s6.7–12.5이론 추정 ±30% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 3.8 tok/s3.0–4.5보정된 추정 ±20% | 불가IQ4_XS: 겨우 가능 | 추정 3.3 tok/s2.6–3.9보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.4 tok/s3.5–5.2보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 추정 3.2 tok/s2.6–3.8보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 4.4 tok/s3.5–5.2보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% | 불가IQ4_XS: 겨우 가능 | 추정 3.5 tok/s2.8–4.1보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 추정 4.3 tok/s3.5–5.2보정된 추정 ±20% | 겨우 가능 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 겨우 가능 | 추정 5.2 tok/s4.2–6.3보정된 추정 ±20% | 겨우 가능 | 추정 3.7 tok/s2.9–4.4보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 3.8 tok/s3.0–4.5보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 5.1 tok/s4.1–6.2보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 추정 5.0 tok/s4.0–6.0보정된 추정 ±20% | 겨우 가능 | 추정 3.5 tok/s2.8–4.2보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 겨우 가능 | 추정 5.2 tok/s4.2–6.2보정된 추정 ±20% | 겨우 가능 | 추정 3.6 tok/s2.9–4.3보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 4.8 tok/s3.9–5.8보정된 추정 ±20% | 겨우 가능 | 추정 3.4 tok/s2.8–4.1보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 겨우 가능 | 추정 5.2 tok/s4.2–6.3보정된 추정 ±20% | 겨우 가능 | 추정 3.6 tok/s2.9–4.4보정된 추정 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 겨우 가능 | 추정 6.3 tok/s5.0–7.5보정된 추정 ±20% | 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가 | — | 불가 | — |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | — | — | ||
| Solar Open 100BQ4_K_M | 불가 | — | 불가 | — |
| Kolibri 1Q4_K_M | 불가Q2_K (품질 손실 큼): 원활 | 추정 53.1 tok/s37.2–69.0이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 원활 | 추정 43.5 tok/s30.5–56.6이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.1 tok/s1.7–2.5보정된 추정 ±20% | 불가 | — |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
RTX 3060 12GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 2,138.0 | 75.6 | — | github.com | 2025-08-21 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 42.0 | — | hardware-corner.net | 2026-08-09 |
| Llama 3.1 8B | Q4_K_M | llama.cpp | 4k | 1,488.0 | 51.6 | ctx-weighted | localscore.ai | 2026-08-09 |
| qwen2.5-14b | Q4_K_M | llama.cpp | 4k | 753.0 | 26.4 | ctx-weighted | localscore.ai | 2026-08-09 |
| Qwen3.6 35B-A3B | Q4_K_M | llama.cpp | 4k | — | 52.0 | --n-cpu-moe, DDR5 | openclawdc.com | 2026-07-15 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 32k | 1,458.0 | 51.9 | KV q4_0 | localmaxxing.com | 2026-08-18 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 1,697.0 | 55.2 | CUDA | hardware-corner.net | 2025-12-09 |
RTX 4060 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| Llama 3.1 8B | Q4_K_M | llama.cpp | 4k | 1,528.0 | 38.1 | ctx-weighted | localscore.ai | 2026-08-09 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 RTX 3060 12GB·RTX 4060 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 3060 12GB 쪽이 RTX 4060보다 약 1.3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 20개의 추정치로 중앙값을 냈습니다. Qwen3.5 9B Q4_K_M 기준 예상 속도는 RTX 3060 12GB 실측 51.9 tok/s (32k 컨텍스트, 1건; 8k 추정 41.1 tok/s, 36.1–46.0, 보정된 추정 ±12%), RTX 4060 추정 31.0 tok/s (27.3–34.7, 보정된 추정 ±12%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
RTX 3060 12GB에서는 Kanana 1.5 15.7B-A3B IQ4_XS(8.71GB 파일)까지 12GB에 전부 올라가고, 속도는 추정 79.6 tok/s (63.7–95.5, 보정된 추정 ±20%)입니다. RTX 4060에서는 Gemma 4 12B IQ4_XS(6.38GB 파일)까지 8GB에 전부 올라가고, 속도는 추정 29.2 tok/s (25.7–32.7, 보정된 추정 ±12%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 RTX 3060 12GB: 쾌적 24개·원활 11개·겨우 가능 13개·불가 10개, RTX 4060: 쾌적 19개·원활 11개·겨우 가능 13개·불가 15개입니다. 판정이 갈리는 모델은 13개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.