RX 9070 XT vs RTX 5070 로컬 LLM 비교
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
두 카드는 메모리 대역폭이 거의 같아서 판정은 메모리 용량에서 갈립니다. CanRun 계산으로 모델에 쓸 수 있는 몫은 RX 9070 XT가 15.4GB, RTX 5070이 11.4GB입니다. gpt-oss-20b는 8k 컨텍스트에서 12.3GB가 필요합니다. 이 모델과 한국 모델 Kanana 1.5 15.7B-A3B는 RX 9070 XT에 전부 올라가 쾌적하게 돌아갑니다. RTX 5070에서는 둘 다 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다(이론 추정 ±30%). Mistral Small 3.2 24B는 RX 9070 XT에서도 넘치지만 대부분이 GPU에 남아 원활하게 돌아갑니다. RTX 5070에서는 훨씬 많이 넘쳐 느리게 돌아갑니다.
Phi-4는 8k 컨텍스트에서 RTX 5070에도 전부 올라가 쾌적하게 돌아갑니다. 다만 아슬아슬하니 ollama ps로 확인하세요. 이 모델의 최대 컨텍스트인 16k에서는 f16 KV 캐시 기준 12.8GB가 필요합니다. 그러면 RTX 5070에서는 일부가 시스템 RAM으로 넘어가고, RX 9070 XT에는 전부 올라갑니다. KV 캐시를 q8_0으로 줄이면 RTX 5070에도 다 들어갑니다.
사양 표의 FP16 수치는 RX 9070 XT가 훨씬 높지만, 아래 속도 비교의 프롬프트 처리 추정은 두 카드가 비슷합니다. 두 제조사가 FP16 최대 성능을 세는 방식이 다르기 때문입니다. CanRun은 공개된 llama.cpp 결과에 맞춘 제조사별 계수로 프롬프트 처리 속도를 추정합니다. 오차가 큰 대략적인 값이니 참고로만 보세요.
속도 비교
글 생성 속도는 RX 9070 XT·RTX 5070 두 기기가 거의 같습니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 27개의 추정치로 중앙값을 냈습니다.
- 기준 모델
- Qwen3 14B Q4_K_M(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- RX 9070 XT
- 추정 47.4 tok/s (41.7–53.1, 보정된 추정 ±12%)
- RTX 5070
- 추정 45.5 tok/s (40.0–50.9, 보정된 추정 ±12%)
- Qwen3 14B 프롬프트 처리
- RX 9070 XT: 약 2,237 tok/s (1,342–3,131, 대략적 추정 ±40%) · RTX 5070: 약 2,228 tok/s (1,337–3,119, 대략적 추정 ±40%)
사양 비교
| 항목 | RX 9070 XT | RTX 5070 | 차이 |
|---|---|---|---|
| 메모리 | 16GB | 12GB | RX 9070 XT 쪽 +4GB |
| 메모리 대역폭 | 645.0 GB/s | 672.0 GB/s | RTX 5070 쪽 1.04배 |
| FP16 연산 | 97.3 TFLOPS | 30.9 TFLOPS | RX 9070 XT 쪽 3.15배 |
| 출시 연도 | 2025 | 2025 | — |
| 가격 | 2026-08-09 기준 실거래가 US$689(약 91만 원) | 2026-08-09 기준 실거래가 US$629(약 83만 원) | — |
| 공개 벤치마크 결과 | 1건 | 3건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- RX 9070 XT쾌적29개원활8개겨우 가능11개불가10개
- RTX 5070쾌적27개원활8개겨우 가능13개불가10개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 4개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RX 9070 XT 판정 | RX 9070 XT 속도 | RTX 5070 판정 | RTX 5070 속도 |
|---|---|---|---|---|
| gpt-oss-20bMXFP4 | 쾌적 | 추정 139.9 tok/s111.9–167.9보정된 추정 ±20% | 추정 91.6 tok/s64.1–119.1이론 추정 ±30% | |
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 101.1 tok/s80.9–121.4보정된 추정 ±20% | 원활 | 추정 95.9 tok/s67.1–124.7이론 추정 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 32.7 tok/s22.9–42.5이론 추정 ±30% | 겨우 가능 | 추정 29.0 tok/s20.3–37.7이론 추정 ±30% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 19.7 tok/s15.8–23.6보정된 추정 ±20% | 겨우 가능 | 추정 7.1 tok/s5.7–8.5보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RX 9070 XT 판정 | RX 9070 XT 속도 | RTX 5070 판정 | RTX 5070 속도 |
|---|---|---|---|---|
| gpt-oss-20bMXFP4 | 쾌적 | 추정 139.9 tok/s111.9–167.9보정된 추정 ±20% | 추정 91.6 tok/s64.1–119.1이론 추정 ±30% | |
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 101.1 tok/s80.9–121.4보정된 추정 ±20% | 원활 | 추정 95.9 tok/s67.1–124.7이론 추정 ±30% |
| Qwen3 14BQ4_K_M | 쾌적 | 추정 47.4 tok/s41.7–53.1보정된 추정 ±12% | 추정 45.5 tok/s40.0–50.9보정된 추정 ±12% | |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 쾌적 | 추정 46.2 tok/s40.7–51.8보정된 추정 ±12% | 쾌적 | 추정 44.4 tok/s39.0–49.7보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 쾌적 | 추정 48.1 tok/s33.7–62.5이론 추정 ±30% | 쾌적 | 추정 46.1 tok/s32.3–60.0이론 추정 ±30% |
| Phi-4Q4_K_M | 쾌적 | 추정 45.7 tok/s40.2–51.2보정된 추정 ±12% | 쾌적 | 추정 43.8 tok/s38.6–49.1보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 쾌적 | 추정 62.6 tok/s55.0–70.1보정된 추정 ±12% | 추정 60.0 tok/s52.8–67.2보정된 추정 ±12% | |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 149.3 tok/s119.4–179.1보정된 추정 ±20% | 쾌적 | 추정 196.5 tok/s157.2–235.8보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 67.6 tok/s59.5–75.7보정된 추정 ±12% | 쾌적 | 추정 64.8 tok/s57.1–72.6보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 추정 79.9 tok/s70.3–89.4보정된 추정 ±12% | 쾌적 | 추정 76.6 tok/s67.4–85.8보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 72.1 tok/s63.5–80.8보정된 추정 ±12% | 쾌적 | 추정 69.2 tok/s60.9–77.5보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 78.6 tok/s69.2–88.0보정된 추정 ±12% | 쾌적 | 추정 75.4 tok/s66.4–84.5보정된 추정 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 78.6 tok/s69.2–88.0보정된 추정 ±12% | 쾌적 | 추정 75.4 tok/s66.4–84.5보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 81.8 tok/s72.0–91.6보정된 추정 ±12% | 쾌적 | 추정 78.5 tok/s69.1–87.9보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 81.8 tok/s72.0–91.6보정된 추정 ±12% | 쾌적 | 추정 78.5 tok/s69.1–87.9보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 쾌적 | 추정 81.8 tok/s72.0–91.6보정된 추정 ±12% | 추정 78.5 tok/s69.1–87.9보정된 추정 ±12% | |
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 121.6 tok/s85.1–158.0이론 추정 ±30% | 쾌적 | 추정 123.5 tok/s86.4–160.5이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 222.2 tok/s155.5–288.8이론 추정 ±30% | 쾌적 | 추정 318.9 tok/s223.2–414.6이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 203.6 tok/s142.5–264.6이론 추정 ±30% | 쾌적 | 추정 215.2 tok/s150.7–279.8이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 158.2 tok/s139.2–177.2보정된 추정 ±12% | 쾌적 | 추정 151.8 tok/s133.6–170.0보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 80.0 tok/s56.0–104.0이론 추정 ±30% | 쾌적 | 추정 76.8 tok/s53.7–99.8이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 168.9 tok/s148.6–189.2보정된 추정 ±12% | 쾌적 | 추정 162.1 tok/s142.6–181.5보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 165.6 tok/s145.8–185.5보정된 추정 ±12% | 쾌적 | 추정 158.9 tok/s139.9–178.0보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 271.7 tok/s190.2–353.2이론 추정 ±30% | 쾌적 | 추정 260.7 tok/s182.5–338.9이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 256.3 tok/s225.6–287.1보정된 추정 ±12% | 쾌적 | 추정 246.0 tok/s216.5–275.5보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 270.0 tok/s237.6–302.4보정된 추정 ±12% | 쾌적 | 추정 259.1 tok/s228.0–290.2보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 373.3 tok/s328.5–418.0보정된 추정 ±12% | 쾌적 | 추정 358.2 tok/s315.2–401.2보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 454.5 tok/s400.0–509.1보정된 추정 ±12% | 쾌적 | 추정 436.2 tok/s383.8–488.5보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 550.0 tok/s484.0–616.0보정된 추정 ±12% | 쾌적 | 추정 527.8 tok/s464.4–591.1보정된 추정 ±12% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 32.7 tok/s22.9–42.5이론 추정 ±30% | 겨우 가능 | 추정 29.0 tok/s20.3–37.7이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 원활 | 추정 64.1 tok/s44.9–83.3이론 추정 ±30% | 원활 | 추정 63.3 tok/s44.3–82.3이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 원활 | 추정 69.3 tok/s48.5–90.1이론 추정 ±30% | 원활 | 추정 68.6 tok/s48.0–89.2이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 원활 | 추정 73.2 tok/s51.2–95.1이론 추정 ±30% | 원활 | 추정 72.5 tok/s50.7–94.2이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 55.0 tok/s38.5–71.5이론 추정 ±30% | 원활 | 추정 47.5 tok/s33.3–61.8이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 원활 | 추정 57.0 tok/s39.9–74.2이론 추정 ±30% | 추정 50.5 tok/s35.3–65.6이론 추정 ±30% | |
| Gemma 4 26B-A4BQ4_K_M | 원활 | 추정 67.6 tok/s47.3–87.9이론 추정 ±30% | 원활 | 추정 53.6 tok/s37.5–69.7이론 추정 ±30% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 19.7 tok/s15.8–23.6보정된 추정 ±20% | 겨우 가능 | 추정 7.1 tok/s5.7–8.5보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 6.2 tok/s4.9–7.4보정된 추정 ±20% | 겨우 가능 | 추정 4.1 tok/s3.2–4.9보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 4.9 tok/s3.9–5.8보정된 추정 ±20% | 겨우 가능 | 추정 3.4 tok/s2.7–4.0보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 추정 4.9 tok/s3.9–5.9보정된 추정 ±20% | 겨우 가능 | 추정 3.4 tok/s2.7–4.1보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 6.9 tok/s5.5–8.2보정된 추정 ±20% | 겨우 가능 | 추정 4.3 tok/s3.5–5.2보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 추정 7.9 tok/s6.3–9.5보정된 추정 ±20% | 겨우 가능 | 추정 4.7 tok/s3.8–5.7보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 겨우 가능 | 추정 11.3 tok/s9.0–13.6보정된 추정 ±20% | 겨우 가능 | 추정 5.8 tok/s4.7–7.0보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 6.4 tok/s5.2–7.7보정된 추정 ±20% | 겨우 가능 | 추정 4.0 tok/s3.2–4.9보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 추정 10.5 tok/s8.4–12.6보정된 추정 ±20% | 겨우 가능 | 추정 5.6 tok/s4.5–6.7보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 겨우 가능 | 추정 11.3 tok/s9.1–13.6보정된 추정 ±20% | 겨우 가능 | 추정 5.8 tok/s4.6–6.9보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 9.7 tok/s7.8–11.7보정된 추정 ±20% | 겨우 가능 | 추정 5.3 tok/s4.3–6.4보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 겨우 가능 | 추정 11.7 tok/s9.3–14.0보정된 추정 ±20% | 겨우 가능 | 추정 5.8 tok/s4.7–7.0보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가 | — | 불가 | — |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | 불가 | — | — | |
| Solar Open 100BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 19.6 tok/s13.7–25.5이론 추정 ±30% | 불가 | — |
| Kolibri 1Q4_K_M | 불가Q2_K (품질 손실 큼): 원활 | 추정 65.5 tok/s45.8–85.1이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 원활 | 추정 69.7 tok/s48.8–90.6이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.6 tok/s2.1–3.2보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.1 tok/s1.7–2.6보정된 추정 ±20% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
RX 9070 XT 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 5,048.0 | 131.5 | Vulkan | github.com | 2026-01-24 |
RTX 5070 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 5,185.0 | 127.5 | — | github.com | 2025-08-20 |
| Qwen3.5 9B | Q8_0 | llama.cpp | 32k | 3,001.0 | 67.3 | — | localmaxxing.com | 2026-09-10 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 3,488.0 | 85.8 | CUDA | hardware-corner.net | 2025-12-09 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 RX 9070 XT·RTX 5070 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RX 9070 XT·RTX 5070 두 기기가 거의 같습니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 27개의 추정치로 중앙값을 냈습니다. Qwen3 14B Q4_K_M 기준 예상 속도는 RX 9070 XT 추정 47.4 tok/s (41.7–53.1, 보정된 추정 ±12%), RTX 5070 추정 45.5 tok/s (40.0–50.9, 보정된 추정 ±12%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
RX 9070 XT에서는 Muse Glimmer 30B IQ4_XS(15.44GB 파일)까지 16GB에 전부 올라가고, 속도는 추정 31.5 tok/s (27.7–35.3, 보정된 추정 ±12%)입니다. RTX 5070에서는 Kanana 1.5 15.7B-A3B IQ4_XS(8.71GB 파일)까지 12GB에 전부 올라가고, 속도는 추정 130.8 tok/s (104.6–157.0, 보정된 추정 ±20%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 RX 9070 XT: 쾌적 29개·원활 8개·겨우 가능 11개·불가 10개, RTX 5070: 쾌적 27개·원활 8개·겨우 가능 13개·불가 10개입니다. 판정이 갈리는 모델은 4개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.