RTX 5070 Ti vs RTX 5060 Ti 16GB 로컬 LLM 비교
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
CanRun 계산으로 두 카드가 모델에 쓸 수 있는 메모리는 15.4GB로 같습니다. 그래서 GPU에 다 들어가는 모델도 같습니다. Mistral Small 3.2 24B는 15.9GB가 필요해 두 카드 모두 일부가 시스템 RAM으로 넘어갑니다. 그래도 둘 다 원활하게 돌아갑니다. DeepSeek R1 Distill Qwen 14B는 판정이 갈리지만 메모리 때문은 아닙니다. 이 모델은 늘 생각 모드로 답해서 속도 기준이 1.5배 높습니다. RTX 5060 Ti 16GB에서는 추정 속도가 기준선 바로 아래라 원활하게 돌아갑니다. RTX 5070 Ti에서는 쾌적하게 돌아갑니다. 같은 기준이 적용되는 Qwen3 14B는 RTX 5060 Ti 16GB에서 기준선 바로 위라 쾌적하게 돌아갑니다. 두 모델의 추정 속도는 거의 같고, 기준선이 그 사이에 있어 판정만 한 단계 다릅니다.
모델이 GPU에 다 들어가면 속도 차이는 메모리 대역폭에서 나옵니다. 일부가 시스템 RAM으로 넘어가면 그 부분이 속도를 정합니다. 두 카드 모두 같은 DDR5를 가정하므로 이때는 차이가 크게 줄어듭니다. Q4_K_M 기준 Gemma 3 27B와 Qwen3 32B는 두 카드 모두 GPU에 다 들어가지 않아 느리게 돌아갑니다.
GeForce RTX 5070 Ti Laptop은 GeForce RTX 5070 Ti와 이름이 비슷하지만 다른 GPU입니다. VRAM은 12GB, 대역폭은 672 GB/s입니다. gpt-oss-20b는 데스크톱 카드에 전부 올라가 쾌적하게 돌아갑니다. 노트북 GPU에서는 전문가 일부를 시스템 RAM에 둡니다. Gemma 4 26B-A4B도 IQ4_XS 파일이면 똑같이 갈립니다.
속도 비교
글 생성 속도는 RTX 5070 Ti 쪽이 RTX 5060 Ti 16GB보다 약 2배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다.
- 기준 모델
- gpt-oss-20b MXFP4(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- RTX 5070 Ti
- 실측 189.5 tok/s (2k 컨텍스트, 1건; 8k 추정 193.7 tok/s, 155.0–232.5, 보정된 추정 ±20%)
- RTX 5060 Ti 16GB
- 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 104.3 tok/s, 83.5–125.2, 보정된 추정 ±20%)
- gpt-oss-20b 프롬프트 처리
- RTX 5070 Ti: 약 6,697 tok/s (4,018–9,376, 대략적 추정 ±40%) · RTX 5060 Ti 16GB: 약 3,599 tok/s (2,159–5,039, 대략적 추정 ±40%)
사양 비교
| 항목 | RTX 5070 Ti | RTX 5060 Ti 16GB | 차이 |
|---|---|---|---|
| 메모리 | 16GB | 16GB | 같음 |
| 메모리 대역폭 | 896.0 GB/s | 448.0 GB/s | RTX 5070 Ti 쪽 2배 |
| FP16 연산 | 44.1 TFLOPS | 23.7 TFLOPS | RTX 5070 Ti 쪽 1.86배 |
| 출시 연도 | 2025 | 2025 | — |
| 가격 | 2026-08-09 기준 실거래가 US$949(약 126만 원) | 2026-08-09 기준 실거래가 US$569(약 75만 원) | — |
| 공개 벤치마크 결과 | 3건 | 4건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- RTX 5070 Ti쾌적29개원활8개겨우 가능11개불가10개
- RTX 5060 Ti 16GB쾌적28개원활9개겨우 가능11개불가10개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 1개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 5070 Ti 판정 | RTX 5070 Ti 속도 | RTX 5060 Ti 16GB 판정 | RTX 5060 Ti 16GB 속도 |
|---|---|---|---|---|
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 쾌적 | 추정 59.2 tok/s52.1–66.3보정된 추정 ±12% | 원활 | 추정 29.6 tok/s26.0–33.1보정된 추정 ±12% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 5070 Ti 판정 | RTX 5070 Ti 속도 | RTX 5060 Ti 16GB 판정 | RTX 5060 Ti 16GB 속도 |
|---|---|---|---|---|
| gpt-oss-20bMXFP4 | 쾌적 | 189.5 tok/s8k 추정 193.7 tok/s (155.0–232.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 111.6 tok/s8k 추정 104.3 tok/s (83.5–125.2, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | |
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 151.6 tok/s121.3–181.9보정된 추정 ±20% | 쾌적 | 추정 89.1 tok/s71.3–106.9보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 쾌적 | 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% | 추정 30.3 tok/s26.7–34.0보정된 추정 ±12% | |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 쾌적 | 추정 59.2 tok/s52.1–66.3보정된 추정 ±12% | 원활 | 추정 29.6 tok/s26.0–33.1보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 쾌적 | 추정 61.5 tok/s43.1–80.0이론 추정 ±30% | 쾌적 | 추정 30.8 tok/s21.5–40.0이론 추정 ±30% |
| Phi-4Q4_K_M | 쾌적 | 추정 58.5 tok/s51.4–65.5보정된 추정 ±12% | 쾌적 | 추정 29.2 tok/s25.7–32.7보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 쾌적 | 추정 80.0 tok/s70.4–89.6보정된 추정 ±12% | 추정 40.0 tok/s35.2–44.8보정된 추정 ±12% | |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 235.4 tok/s188.3–282.5보정된 추정 ±20% | 쾌적 | 추정 147.7 tok/s118.2–177.2보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 86.5 tok/s76.1–96.8보정된 추정 ±12% | 쾌적 | 추정 43.2 tok/s38.0–48.4보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 추정 102.2 tok/s89.9–114.4보정된 추정 ±12% | 쾌적 | 추정 51.1 tok/s45.0–57.2보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 92.3 tok/s81.2–103.3보정된 추정 ±12% | 쾌적 | 추정 46.1 tok/s40.6–51.7보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 100.5 tok/s88.5–112.6보정된 추정 ±12% | 쾌적 | 추정 50.3 tok/s44.2–56.3보정된 추정 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 100.5 tok/s88.5–112.6보정된 추정 ±12% | 쾌적 | 추정 50.3 tok/s44.2–56.3보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% | |
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 156.0 tok/s109.2–202.8이론 추정 ±30% | 쾌적 | 추정 87.2 tok/s61.0–113.3이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 369.6 tok/s258.7–480.4이론 추정 ±30% | 쾌적 | 추정 250.3 tok/s175.2–325.4이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 261.7 tok/s183.2–340.2이론 추정 ±30% | 쾌적 | 추정 158.9 tok/s111.2–206.6이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 202.4 tok/s178.1–226.7보정된 추정 ±12% | 쾌적 | 추정 101.2 tok/s89.1–113.4보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 102.4 tok/s71.7–133.1이론 추정 ±30% | 쾌적 | 추정 51.2 tok/s35.8–66.5이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 216.1 tok/s190.2–242.1보정된 추정 ±12% | 쾌적 | 추정 108.1 tok/s95.1–121.0보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 211.9 tok/s186.5–237.4보정된 추정 ±12% | 쾌적 | 추정 106.0 tok/s93.2–118.7보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 347.6 tok/s243.3–451.9이론 추정 ±30% | 쾌적 | 추정 173.8 tok/s121.7–226.0이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 328.0 tok/s288.6–367.3보정된 추정 ±12% | 쾌적 | 추정 164.0 tok/s144.3–183.7보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 345.5 tok/s304.0–387.0보정된 추정 ±12% | 쾌적 | 추정 172.8 tok/s152.0–193.5보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 477.6 tok/s420.3–534.9보정된 추정 ±12% | 쾌적 | 추정 238.8 tok/s210.1–267.4보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 581.6 tok/s511.8–651.4보정된 추정 ±12% | 쾌적 | 추정 290.8 tok/s255.9–325.7보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 703.7 tok/s619.2–788.1보정된 추정 ±12% | 쾌적 | 추정 351.8 tok/s309.6–394.1보정된 추정 ±12% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 38.6 tok/s27.0–50.2이론 추정 ±30% | 원활 | 추정 30.7 tok/s21.5–39.9이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 원활 | 추정 83.5 tok/s58.5–108.6이론 추정 ±30% | 원활 | 추정 62.4 tok/s43.7–81.1이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 원활 | 추정 91.1 tok/s63.8–118.5이론 추정 ±30% | 원활 | 추정 69.5 tok/s48.7–90.4이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 원활 | 추정 97.0 tok/s67.9–126.1이론 추정 ±30% | 원활 | 추정 74.7 tok/s52.3–97.1이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 62.2 tok/s43.5–80.8이론 추정 ±30% | 원활 | 추정 50.8 tok/s35.6–66.0이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 원활 | 추정 74.3 tok/s52.0–96.6이론 추정 ±30% | 추정 57.7 tok/s40.4–75.1이론 추정 ±30% | |
| Gemma 4 26B-A4BQ4_K_M | 원활 | 추정 87.9 tok/s61.5–114.3이론 추정 ±30% | 원활 | 추정 59.2 tok/s41.4–76.9이론 추정 ±30% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 22.6 tok/s18.1–27.2보정된 추정 ±20% | 원활 | 추정 14.8 tok/s11.8–17.7보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 6.4 tok/s5.1–7.7보정된 추정 ±20% | 겨우 가능 | 추정 5.6 tok/s4.5–6.7보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 5.0 tok/s4.0–6.0보정된 추정 ±20% | 겨우 가능 | 추정 4.5 tok/s3.6–5.4보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 추정 5.1 tok/s4.0–6.1보정된 추정 ±20% | 겨우 가능 | 추정 4.5 tok/s3.6–5.5보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 7.2 tok/s5.7–8.6보정된 추정 ±20% | 겨우 가능 | 추정 6.1 tok/s4.9–7.4보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 추정 8.3 tok/s6.7–10.0보정된 추정 ±20% | 겨우 가능 | 추정 7.0 tok/s5.6–8.4보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% | 겨우 가능 | 추정 9.5 tok/s7.6–11.4보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 6.7 tok/s5.4–8.1보정된 추정 ±20% | 겨우 가능 | 추정 5.8 tok/s4.7–7.0보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 추정 11.3 tok/s9.0–13.6보정된 추정 ±20% | 겨우 가능 | 추정 8.9 tok/s7.1–10.7보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% | 겨우 가능 | 추정 9.5 tok/s7.6–11.4보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 10.4 tok/s8.3–12.5보정된 추정 ±20% | 겨우 가능 | 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 겨우 가능 | 추정 12.6 tok/s10.1–15.2보정된 추정 ±20% | 겨우 가능 | 추정 9.7 tok/s7.8–11.7보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가 | — | 불가 | — |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | 불가 | — | — | |
| Solar Open 100BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 21.8 tok/s15.2–28.3이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 18.7 tok/s13.1–24.4이론 추정 ±30% |
| Kolibri 1Q4_K_M | 불가Q2_K (품질 손실 큼): 원활 | 추정 84.6 tok/s59.2–110.0이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 원활 | 추정 63.3 tok/s44.3–82.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.7 tok/s2.2–3.2보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.5 tok/s2.0–3.1보정된 추정 ±20% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
RTX 5070 Ti 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 6,952.0 | 176.9 | — | github.com | 2025-12-07 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 6,326.0 | 189.5 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 5,557.0 | 120.5 | CUDA | hardware-corner.net | 2025-12-09 |
RTX 5060 Ti 16GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 3,737.0 | 90.9 | — | github.com | 2025-08-02 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 3,821.0 | 111.6 | — | github.com | 2025-08-20 |
| Qwen3.8 27B | UD-IQ4_XS | llama.cpp | 8k | — | 27.6 | KV q8_0 | github.com | 2026-10-11 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 2,965.0 | 69.2 | CUDA | hardware-corner.net | 2025-12-09 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 RTX 5070 Ti·RTX 5060 Ti 16GB 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 5070 Ti 쪽이 RTX 5060 Ti 16GB보다 약 2배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다. gpt-oss-20b MXFP4 기준 예상 속도는 RTX 5070 Ti 실측 189.5 tok/s (2k 컨텍스트, 1건; 8k 추정 193.7 tok/s, 155.0–232.5, 보정된 추정 ±20%), RTX 5060 Ti 16GB 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 104.3 tok/s, 83.5–125.2, 보정된 추정 ±20%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
RTX 5070 Ti에서는 Muse Glimmer 30B IQ4_XS(15.44GB 파일)까지 16GB에 전부 올라가고, 속도는 추정 40.3 tok/s (35.5–45.2, 보정된 추정 ±12%)입니다. RTX 5060 Ti 16GB에서는 Muse Glimmer 30B IQ4_XS(15.44GB 파일)까지 16GB에 전부 올라가고, 속도는 추정 20.2 tok/s (17.7–22.6, 보정된 추정 ±12%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 RTX 5070 Ti: 쾌적 29개·원활 8개·겨우 가능 11개·불가 10개, RTX 5060 Ti 16GB: 쾌적 28개·원활 9개·겨우 가능 11개·불가 10개입니다. 판정이 갈리는 모델은 1개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.