Ryzen AI Max+ 395 128GB vs RTX 5070 Ti 로컬 LLM 비교
- Ryzen AI Max+ 395 128GB: 메모리는 가장 큰 구성인 128GB로 잡고, 8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다.
- RTX 5070 Ti: 시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
CanRun 계산으로 RTX 5070 Ti에서 모델에 쓸 수 있는 VRAM은 15.4GB입니다. Strix Halo에서는 통합 메모리 128GB의 약 70%인 89.6GB를 GPU 몫으로 잡습니다. gpt-oss-120b는 64.3GB가 필요합니다. Strix Halo에서는 전부 올라가 쾌적하게 돌아가고, 공개 벤치마크 결과도 있습니다. RTX 5070 Ti는 시스템 RAM 32GB로는 이 모델을 올리지 못합니다. 64GB면 전문가를 RAM에 두고 느리게 돌아간다고 추정합니다(이론 추정 ±30%). 100B급 MoE라면 VRAM과 RAM의 합이나 통합 메모리 크기부터 보세요.
생성 속도를 정하는 대역폭은 RTX 5070 Ti가 훨씬 넓습니다. 16GB에 다 들어가는 Qwen3 14B는 RTX 5070 Ti에서 쾌적하게 돌아갑니다. Strix Halo에서는 원활하게 돌아갑니다. 반대로 Qwen3.5 35B-A3B는 Strix Halo에서 쾌적하게 돌아갑니다. RTX 5070 Ti에서는 전문가 일부를 RAM에 두고 원활하게 돌아간다고 추정합니다(이론 추정 ±30%). 느려서가 아니라, GPU에 전부 올라가야 ‘쾌적’으로 보는 CanRun 기준 때문입니다.
GeForce RTX 5070 Ti Laptop은 VRAM이 12GB인 다른 GPU입니다. gpt-oss-20b는 GeForce RTX 5070 Ti에서 쾌적하게 돌아갑니다. 노트북에서는 전문가 일부를 RAM에 두고 원활하게 돌아간다고 추정합니다(이론 추정 ±30%). Ryzen AI Max+ 395 (Strix Halo)에는 32GB·64GB 구성도 있습니다. 64GB에서는 gpt-oss-120b가 올라가지 않습니다.
속도 비교
글 생성 속도는 RTX 5070 Ti 쪽이 Ryzen AI Max+ 395 128GB보다 약 3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다.
- 기준 모델
- gpt-oss-20b MXFP4(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- Ryzen AI Max+ 395 128GB
- 추정 68.6 tok/s (54.8–82.3, 보정된 추정 ±20%)
- RTX 5070 Ti
- 실측 189.5 tok/s (2k 컨텍스트, 1건; 8k 추정 193.7 tok/s, 155.0–232.5, 보정된 추정 ±20%)
- gpt-oss-20b 프롬프트 처리
- Ryzen AI Max+ 395 128GB: 약 2,021 tok/s (1,212–2,829, 대략적 추정 ±40%) · RTX 5070 Ti: 약 6,697 tok/s (4,018–9,376, 대략적 추정 ±40%)
사양 비교
| 항목 | Ryzen AI Max+ 395 128GB | RTX 5070 Ti | 차이 |
|---|---|---|---|
| 메모리 | 통합 메모리 128GB | 16GB | — |
| 메모리 대역폭 | 256.0 GB/s | 896.0 GB/s | RTX 5070 Ti 쪽 3.5배 |
| FP16 연산 | 29.7 TFLOPS | 44.1 TFLOPS | RTX 5070 Ti 쪽 1.48배 |
| 출시 연도 | 2025 | 2025 | — |
| 가격 | 128GB 구성 출시가 US$1,999(약 265만 원) | 2026-08-09 기준 실거래가 US$949(약 126만 원) | — |
| 공개 벤치마크 결과 | 17건 | 3건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- Ryzen AI Max+ 395 128GB쾌적34개원활12개겨우 가능9개불가3개
- RTX 5070 Ti쾌적29개원활8개겨우 가능11개불가10개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 22개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | Ryzen AI Max+ 395 128GB 판정 | Ryzen AI Max+ 395 128GB 속도 | RTX 5070 Ti 판정 | RTX 5070 Ti 속도 |
|---|---|---|---|---|
| Ling-3.0 FlashQ4_K_M | 쾌적 | 추정 48.4 tok/s33.9–62.9이론 추정 ±30% | 불가 | — |
| gpt-oss-120bMXFP4 | 쾌적 | 50.2 tok/s8k 추정 48.5 tok/s (38.8–58.1, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 불가 | — |
| Kolibri 1Q4_K_M | 쾌적 | 추정 48.0 tok/s38.4–57.6보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 원활 | 추정 84.6 tok/s59.2–110.0이론 추정 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 쾌적 | 추정 35.1 tok/s24.5–45.6이론 추정 ±30% | 원활 | 추정 38.6 tok/s27.0–50.2이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 64.8 tok/s8k 추정 56.0 tok/s (44.8–67.2, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 원활 | 추정 83.5 tok/s58.5–108.6이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 63.8 tok/s8k 추정 63.1 tok/s (50.5–75.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 원활 | 추정 91.1 tok/s63.8–118.5이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 67.5 tok/s54.0–81.1보정된 추정 ±20% | 원활 | 추정 97.0 tok/s67.9–126.1이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 쾌적 | 추정 65.9 tok/s46.1–85.7이론 추정 ±30% | 원활 | 추정 62.2 tok/s43.5–80.8이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 쾌적 | 추정 54.2 tok/s43.3–65.0보정된 추정 ±20% | 원활 | 추정 74.3 tok/s52.0–96.6이론 추정 ±30% |
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 54.3 tok/s8k 추정 48.1 tok/s (38.5–57.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 원활 | 추정 87.9 tok/s61.5–114.3이론 추정 ±30% |
| Qwen3 14BQ4_K_M | 원활 | 추정 20.3 tok/s16.2–24.4보정된 추정 ±20% | 쾌적 | 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 19.8 tok/s15.8–23.8보정된 추정 ±20% | 쾌적 | 추정 59.2 tok/s52.1–66.3보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.6 tok/s14.4–26.8이론 추정 ±30% | 쾌적 | 추정 61.5 tok/s43.1–80.0이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.6 tok/s15.7–23.5보정된 추정 ±20% | 쾌적 | 추정 58.5 tok/s51.4–65.5보정된 추정 ±12% |
| Gemma 4 12BQ4_K_M | 원활 | 24.4 tok/s8k 추정 28.9 tok/s (23.2–34.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 86.5 tok/s76.1–96.8보정된 추정 ±12% |
| Qwen3.5 122B-A10BQ4_K_M | 원활 | 20.9 tok/s8k 추정 22.7 tok/s (18.2–27.2, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 불가 | — |
| Laguna S 2.1Q4_K_M | 원활 | 추정 26.4 tok/s21.1–31.7보정된 추정 ±20% | 불가 | — |
| Solar Open 100BQ4_K_M | 원활 | 추정 21.6 tok/s17.3–26.0보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 21.8 tok/s15.2–28.3이론 추정 ±30% |
| Muse Glimmer 30BQ4_K_M | 원활 | 추정 12.1 tok/s9.6–14.5보정된 추정 ±20% | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 원활 | 추정 12.1 tok/s9.7–14.5보정된 추정 ±20% | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.2 tok/s9.8–14.6보정된 추정 ±20% | 겨우 가능 | 추정 12.6 tok/s10.1–15.2보정된 추정 ±20% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 추정 4.6 tok/s3.7–5.6보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.7 tok/s2.2–3.2보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | Ryzen AI Max+ 395 128GB 판정 | Ryzen AI Max+ 395 128GB 속도 | RTX 5070 Ti 판정 | RTX 5070 Ti 속도 |
|---|---|---|---|---|
| Ling-3.0 FlashQ4_K_M | 쾌적 | 추정 48.4 tok/s33.9–62.9이론 추정 ±30% | 불가 | — |
| gpt-oss-120bMXFP4 | 쾌적 | 50.2 tok/s8k 추정 48.5 tok/s (38.8–58.1, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 불가 | — |
| Kolibri 1Q4_K_M | 쾌적 | 추정 48.0 tok/s38.4–57.6보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 원활 | 추정 84.6 tok/s59.2–110.0이론 추정 ±30% |
| K2-Horizon MoVA 36B-A4BQ4_K_M | 쾌적 | 추정 35.1 tok/s24.5–45.6이론 추정 ±30% | 원활 | 추정 38.6 tok/s27.0–50.2이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 64.8 tok/s8k 추정 56.0 tok/s (44.8–67.2, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 원활 | 추정 83.5 tok/s58.5–108.6이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 63.8 tok/s8k 추정 63.1 tok/s (50.5–75.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 원활 | 추정 91.1 tok/s63.8–118.5이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 67.5 tok/s54.0–81.1보정된 추정 ±20% | 원활 | 추정 97.0 tok/s67.9–126.1이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 쾌적 | 추정 65.9 tok/s46.1–85.7이론 추정 ±30% | 원활 | 추정 62.2 tok/s43.5–80.8이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 쾌적 | 추정 54.2 tok/s43.3–65.0보정된 추정 ±20% | 원활 | 추정 74.3 tok/s52.0–96.6이론 추정 ±30% |
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 54.3 tok/s8k 추정 48.1 tok/s (38.5–57.7, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 원활 | 추정 87.9 tok/s61.5–114.3이론 추정 ±30% |
| gpt-oss-20bMXFP4 | 쾌적 | 추정 68.6 tok/s54.8–82.3보정된 추정 ±20% | 쾌적 | 189.5 tok/s8k 추정 193.7 tok/s (155.0–232.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) |
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 57.2 tok/s45.8–68.6보정된 추정 ±20% | 쾌적 | 추정 151.6 tok/s121.3–181.9보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 원활 | 추정 20.3 tok/s16.2–24.4보정된 추정 ±20% | 쾌적 | 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 19.8 tok/s15.8–23.8보정된 추정 ±20% | 쾌적 | 추정 59.2 tok/s52.1–66.3보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.6 tok/s14.4–26.8이론 추정 ±30% | 쾌적 | 추정 61.5 tok/s43.1–80.0이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.6 tok/s15.7–23.5보정된 추정 ±20% | 쾌적 | 추정 58.5 tok/s51.4–65.5보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 쾌적 | 추정 26.8 tok/s21.4–32.1보정된 추정 ±20% | 쾌적 | 추정 80.0 tok/s70.4–89.6보정된 추정 ±12% |
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 93.1 tok/s74.5–111.7보정된 추정 ±20% | 쾌적 | 추정 235.4 tok/s188.3–282.5보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 원활 | 24.4 tok/s8k 추정 28.9 tok/s (23.2–34.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 86.5 tok/s76.1–96.8보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 37.2 tok/s8k 추정 34.2 tok/s (27.4–41.0, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 102.2 tok/s89.9–114.4보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 30.9 tok/s24.7–37.1보정된 추정 ±20% | 쾌적 | 추정 92.3 tok/s81.2–103.3보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 43.6 tok/s8k 추정 33.7 tok/s (26.9–40.4, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 쾌적 | 추정 100.5 tok/s88.5–112.6보정된 추정 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 33.7 tok/s26.9–40.4보정된 추정 ±20% | 쾌적 | 추정 100.5 tok/s88.5–112.6보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 35.0 tok/s28.0–42.0보정된 추정 ±20% | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 35.0 tok/s28.0–42.0보정된 추정 ±20% | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 쾌적 | 추정 35.0 tok/s28.0–42.0보정된 추정 ±20% | 쾌적 | 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% |
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 59.3 tok/s41.5–77.1이론 추정 ±30% | 쾌적 | 추정 156.0 tok/s109.2–202.8이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 154.3 tok/s108.0–200.5이론 추정 ±30% | 쾌적 | 추정 369.6 tok/s258.7–480.4이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 109.5 tok/s76.6–142.3이론 추정 ±30% | 쾌적 | 추정 261.7 tok/s183.2–340.2이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 67.8 tok/s54.2–81.3보정된 추정 ±20% | 쾌적 | 추정 202.4 tok/s178.1–226.7보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 34.3 tok/s24.0–44.5이론 추정 ±30% | 쾌적 | 추정 102.4 tok/s71.7–133.1이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 72.3 tok/s57.9–86.8보정된 추정 ±20% | 쾌적 | 추정 216.1 tok/s190.2–242.1보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 70.9 tok/s56.7–85.1보정된 추정 ±20% | 쾌적 | 추정 211.9 tok/s186.5–237.4보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 116.3 tok/s81.4–151.3이론 추정 ±30% | 쾌적 | 추정 347.6 tok/s243.3–451.9이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 109.8 tok/s87.8–131.7보정된 추정 ±20% | 쾌적 | 추정 328.0 tok/s288.6–367.3보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 115.6 tok/s92.5–138.8보정된 추정 ±20% | 쾌적 | 추정 345.5 tok/s304.0–387.0보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 159.8 tok/s127.9–191.8보정된 추정 ±20% | 쾌적 | 추정 477.6 tok/s420.3–534.9보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 194.7 tok/s155.7–233.6보정된 추정 ±20% | 쾌적 | 추정 581.6 tok/s511.8–651.4보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 235.5 tok/s188.4–282.6보정된 추정 ±20% | 쾌적 | 추정 703.7 tok/s619.2–788.1보정된 추정 ±12% |
| Qwen3.5 122B-A10BQ4_K_M | 원활 | 20.9 tok/s8k 추정 22.7 tok/s (18.2–27.2, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 불가 | — |
| Laguna S 2.1Q4_K_M | 원활 | 추정 26.4 tok/s21.1–31.7보정된 추정 ±20% | 불가 | — |
| Solar Open 100BQ4_K_M | 원활 | 추정 21.6 tok/s17.3–26.0보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 21.8 tok/s15.2–28.3이론 추정 ±30% |
| Muse Glimmer 30BQ4_K_M | 원활 | 추정 12.1 tok/s9.6–14.5보정된 추정 ±20% | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 원활 | 추정 12.1 tok/s9.7–14.5보정된 추정 ±20% | 겨우 가능 | 추정 12.2 tok/s9.8–14.7보정된 추정 ±20% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.2 tok/s9.8–14.6보정된 추정 ±20% | 겨우 가능 | 추정 12.6 tok/s10.1–15.2보정된 추정 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 13.4 tok/s10.7–16.1보정된 추정 ±20% | 원활 | 추정 22.6 tok/s18.1–27.2보정된 추정 ±20% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 추정 4.6 tok/s3.7–5.6보정된 추정 ±20% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.7 tok/s2.2–3.2보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 10.2 tok/s8.2–12.2보정된 추정 ±20% | 겨우 가능 | 추정 6.4 tok/s5.1–7.7보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 9.5 tok/s7.6–11.5보정된 추정 ±20% | 겨우 가능 | 추정 5.0 tok/s4.0–6.0보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 10.2 tok/s8k 추정 9.6 tok/s (7.7–11.5, 보정된 추정 ±20%)실측 2건 (512 컨텍스트) | 겨우 가능 | 추정 5.1 tok/s4.0–6.1보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 10.6 tok/s8.4–12.7보정된 추정 ±20% | 겨우 가능 | 추정 7.2 tok/s5.7–8.6보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 추정 11.1 tok/s8.8–13.3보정된 추정 ±20% | 겨우 가능 | 추정 8.3 tok/s6.7–10.0보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 10.6 tok/s8.5–12.7보정된 추정 ±20% | 겨우 가능 | 추정 6.7 tok/s5.4–8.1보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 추정 11.9 tok/s9.5–14.3보정된 추정 ±20% | 겨우 가능 | 추정 11.3 tok/s9.0–13.6보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 11.7 tok/s9.3–14.0보정된 추정 ±20% | 겨우 가능 | 추정 10.4 tok/s8.3–12.5보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 19.1 tok/s13.4–24.9이론 추정 ±30% | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 18.0 tok/s12.6–23.4이론 추정 ±30% | 불가 | — |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
Ryzen AI Max+ 395 128GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-120b | MXFP4 | llama.cpp | 512 | 707.0 | 50.2 | ROCm 7.0.2, no mmap | quozul.dev | 2025-10-27 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 1,327.0 | 55.5 | Vulkan | github.com | 2026-06-30 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 1,209.0 | 53.0 | Vulkan | github.com | 2026-08-18 |
| Gemma 4 26B-A4B | UD-Q4_K_XL | llama.cpp | 512 | 1,325.0 | 54.7 | Vulkan | github.com | 2026-05-18 |
| Gemma 4 31B | UD-Q4_K_XL | llama.cpp | 512 | 302.0 | 11.5 | Vulkan | github.com | 2026-05-18 |
| Gemma 4 12B | IQ4_XS | llama.cpp | 512 | 680.0 | 25.7 | Vulkan | github.com | 2026-06-04 |
| Gemma 4 12B | Q4_K_M | llama.cpp | 512 | 685.0 | 24.4 | Vulkan | github.com | 2026-06-04 |
| Qwen3.6 35B-A3B | Q8_0 | llama.cpp | 512 | — | 50.6 | Vulkan, FA off | github.com | 2026-06-10 |
| Qwen3.6 35B-A3B | UD-Q8_K_XL | llama.cpp | 512 | 1,046.0 | 46.2 | Vulkan | github.com | 2026-04-26 |
| Qwen3.6 35B-A3B | Q4_K_M | llama.cpp | 512 | 1,064.0 | 63.8 | Vulkan | github.com | 2026-04-26 |
| Qwen3.5 35B-A3B | Q4_K_M | llama.cpp | 512 | 1,077.0 | 64.8 | Vulkan | github.com | 2026-04-26 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | 969.0 | 37.2 | Vulkan | localmaxxing.com | 2026-04-26 |
| Qwen3.5 122B-A10B | Q4_K_M | llama.cpp | 512 | 315.0 | 20.9 | KV q8_0 | github.com | 2026-07-19 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | 1,238.0 | 43.6 | Vulkan | github.com | 2026-09-08 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 256.0 | 9.9 | ROCm | blog.tosukui.xyz | 2025-07-13 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 140.0 | 10.4 | Vulkan | blog.tosukui.xyz | 2025-05-16 |
| Qwen3 32B | Q8_0 | llama.cpp | 512 | 77.0 | 6.4 | ROCm | llm-tracker.info | 2025-05-11 |
RTX 5070 Ti 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 6,952.0 | 176.9 | — | github.com | 2025-12-07 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 6,326.0 | 189.5 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 5,557.0 | 120.5 | CUDA | hardware-corner.net | 2025-12-09 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 Ryzen AI Max+ 395 128GB·RTX 5070 Ti 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 5070 Ti 쪽이 Ryzen AI Max+ 395 128GB보다 약 3배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다. gpt-oss-20b MXFP4 기준 예상 속도는 Ryzen AI Max+ 395 128GB 추정 68.6 tok/s (54.8–82.3, 보정된 추정 ±20%), RTX 5070 Ti 실측 189.5 tok/s (2k 컨텍스트, 1건; 8k 추정 193.7 tok/s, 155.0–232.5, 보정된 추정 ±20%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
Ryzen AI Max+ 395 128GB에서는 Ling-3.0 Flash Q4_K_M(77.01GB 파일)까지 통합 메모리 128GB에 전부 올라가고, 속도는 추정 48.4 tok/s (33.9–62.9, 이론 추정 ±30%)입니다. RTX 5070 Ti에서는 Muse Glimmer 30B IQ4_XS(15.44GB 파일)까지 16GB에 전부 올라가고, 속도는 추정 40.3 tok/s (35.5–45.2, 보정된 추정 ±12%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 Ryzen AI Max+ 395 128GB: 쾌적 34개·원활 12개·겨우 가능 9개·불가 3개, RTX 5070 Ti: 쾌적 29개·원활 8개·겨우 가능 11개·불가 10개입니다. 판정이 갈리는 모델은 22개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.