RTX 4090 vs RTX 5090 로컬 LLM 비교
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
Nemotron 3.5 Lightning 30B-A3B는 Q4_K_M 기준 25.1GB가 필요합니다. CanRun 계산으로는 RTX 5090에만 전부 올라가 쾌적하게 돌아갑니다. RTX 4090에서는 전문가 일부를 시스템 RAM에 둬서 원활하게 돌아갑니다(둘 다 이론 추정). 판정이 한 단계 낮은 건 속도가 아니라 이 배치 때문입니다. Qwen3.5 27B를 128k로 쓰면 f16 KV 캐시로 26.4GB가 필요합니다. RTX 5090에서는 쾌적하게 돌아가고, RTX 4090에서는 일부가 넘쳐 느리게 돌아갑니다. KV 캐시를 q8_0으로 바꾸면 RTX 4090에도 아슬아슬하게 올라가니 ollama ps로 확인하세요.
토큰마다 활성 가중치를 VRAM에서 읽기 때문에 속도 차이는 대역폭에서 나옵니다. CanRun 추정으로는 Gemma 4 31B 같은 dense 모델에서 차이가 가장 큽니다. Qwen3.6 35B-A3B 같은 MoE 모델은 토큰마다 드는 전문가 선택 비용이 대역폭으로 줄지 않아 차이가 작습니다. 프롬프트를 읽는 속도는 FP16 연산 성능을 따르는데, 여기서는 RTX 5090이 앞서는 폭이 훨씬 작습니다. 프롬프트가 길수록 차이가 좁아집니다.
Llama 3.3 70B Q4_K_M은 두 카드 모두 시스템 RAM과 나눠 올립니다. 24GB 쪽은 너무 느려 돌릴 수 없고, 32GB 쪽도 느리게 돌아갑니다. 손실이 큰 IQ2_M 파일은 32GB 쪽에만 다 올라가 쾌적하게 돌아갑니다. GeForce RTX 5090 Laptop은 VRAM이 24GB뿐입니다. Nemotron도 전문가 일부를 시스템 RAM에 둡니다(이론 추정).
속도 비교
글 생성 속도는 RTX 5090 쪽이 RTX 4090보다 약 1.8배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 46개의 추정치로 중앙값을 냈습니다.
Qwen3.5 35B-A3B에서는 두 추정 범위가 겹칩니다. 실제 차이는 이보다 작을 수 있습니다.
- 기준 모델
- Qwen3.5 35B-A3B Q4_K_M(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- RTX 4090
- 추정 155.9 tok/s (124.7–187.1, 보정된 추정 ±20%)
- RTX 5090
- 추정 213.4 tok/s (170.7–256.0, 보정된 추정 ±20%)
- Qwen3.5 35B-A3B 프롬프트 처리
- RTX 4090: 약 9,387 tok/s (5,632–13,141, 대략적 추정 ±40%) · RTX 5090: 약 11,910 tok/s (7,146–16,673, 대략적 추정 ±40%)
사양 비교
| 항목 | RTX 4090 | RTX 5090 | 차이 |
|---|---|---|---|
| 메모리 | 24GB | 32GB | RTX 5090 쪽 +8GB |
| 메모리 대역폭 | 1,008.0 GB/s | 1,792.0 GB/s | RTX 5090 쪽 1.78배 |
| FP16 연산 | 82.6 TFLOPS | 104.8 TFLOPS | RTX 5090 쪽 1.27배 |
| 출시 연도 | 2022 | 2025 | — |
| 가격 | 2026-08-09 기준 실거래가 US$2,755(약 365만 원) | 2026-08-09 기준 실거래가 US$4,200(약 557만 원) | — |
| 공개 벤치마크 결과 | 13건 | 15건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- RTX 4090쾌적46개원활2개겨우 가능0개불가10개
- RTX 5090쾌적48개원활1개겨우 가능1개불가8개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 4개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 4090 판정 | RTX 4090 속도 | RTX 5090 판정 | RTX 5090 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 82.6 tok/s57.8–107.4이론 추정 ±30% | 쾌적 | 추정 149.6 tok/s104.7–194.5이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 126.5 tok/s88.5–164.4이론 추정 ±30% | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% |
| Kolibri 1Q4_K_M | 불가IQ4_XS: 원활 | 추정 70.1 tok/s49.0–91.1이론 추정 ±30% | 원활 | 추정 83.3 tok/s58.3–108.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가IQ4_XS: 겨우 가능 | 추정 2.2 tok/s1.8–2.6보정된 추정 ±20% | 겨우 가능 | 추정 2.7 tok/s2.2–3.3보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 4090 판정 | RTX 4090 속도 | RTX 5090 판정 | RTX 5090 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 82.6 tok/s57.8–107.4이론 추정 ±30% | 쾌적 | 추정 149.6 tok/s104.7–194.5이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 추정 155.9 tok/s124.7–187.1보정된 추정 ±20% | 쾌적 | 추정 213.4 tok/s170.7–256.0보정된 추정 ±20% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 추정 171.9 tok/s137.5–206.2보정된 추정 ±20% | 쾌적 | 추정 229.8 tok/s183.9–275.8보정된 추정 ±20% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 181.6 tok/s145.3–217.9보정된 추정 ±20% | 쾌적 | 추정 239.5 tok/s191.6–287.4보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 쾌적 | 추정 34.3 tok/s30.2–38.4보정된 추정 ±12% | 쾌적 | 추정 60.9 tok/s53.6–68.2보정된 추정 ±12% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 쾌적 | 추정 32.1 tok/s28.2–35.9보정된 추정 ±12% | 쾌적 | 추정 57.0 tok/s50.2–63.9보정된 추정 ±12% |
| Qwen3 32BQ4_K_M | 쾌적 | 42.5 tok/s8k 추정 32.2 tok/s (28.3–36.1, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) | 쾌적 | 53.3 tok/s8k 추정 57.3 tok/s (50.4–64.1, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) |
| EXAONE 4.0 32BQ4_K_M | 쾌적 | 추정 35.5 tok/s31.2–39.8보정된 추정 ±12% | 쾌적 | 추정 63.1 tok/s55.5–70.7보정된 추정 ±12% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 126.5 tok/s88.5–164.4이론 추정 ±30% | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% |
| Gemma 4 31BQ4_K_M | 쾌적 | 추정 37.2 tok/s32.7–41.6보정된 추정 ±12% | 쾌적 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% |
| Qwen3 30B-A3B (2507)Q4_K_M | 추정 146.7 tok/s117.4–176.1보정된 추정 ±20% | 추정 195.0 tok/s156.0–234.1보정된 추정 ±20% | ||
| Muse Glimmer 30BQ4_K_M | 쾌적 | 추정 40.5 tok/s35.6–45.4보정된 추정 ±12% | 쾌적 | 추정 72.0 tok/s63.4–80.7보정된 추정 ±12% |
| Granite 4.2 30BQ4_K_M | 쾌적 | 추정 35.5 tok/s31.3–39.8보정된 추정 ±12% | 쾌적 | 추정 63.1 tok/s55.6–70.7보정된 추정 ±12% |
| Qwen3.5 27BQ4_K_M | 쾌적 | 44.8 tok/s8k 추정 40.0 tok/s (35.2–44.8, 보정된 추정 ±12%)실측 2건 (512/40k 컨텍스트) | 쾌적 | 추정 71.1 tok/s62.6–79.6보정된 추정 ±12% |
| Qwen3.6 27BQ4_K_M | 쾌적 | 추정 40.7 tok/s35.8–45.5보정된 추정 ±12% | 쾌적 | 추정 72.3 tok/s63.6–80.9보정된 추정 ±12% |
| Qwen3.8 27BQ4_K_M | 쾌적 | 49.8 tok/s8k 추정 39.3 tok/s (34.5–44.0, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) | 쾌적 | 81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) |
| Gemma 3 27BQ4_K_M | 쾌적 | 추정 41.0 tok/s36.1–45.9보정된 추정 ±12% | 쾌적 | 추정 72.8 tok/s64.1–81.6보정된 추정 ±12% |
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 추정 142.6 tok/s114.1–171.1보정된 추정 ±20% | 쾌적 | 216.1 tok/s8k 추정 210.4 tok/s (168.3–252.4, 보정된 추정 ±20%)실측 2건 (512/8k 컨텍스트) |
| Mistral Small 3.2 24BQ4_K_M | 쾌적 | 추정 45.0 tok/s39.6–50.4보정된 추정 ±12% | 쾌적 | 추정 80.0 tok/s70.4–89.6보정된 추정 ±12% |
| gpt-oss-20bMXFP4 | 225.2 tok/s8k 추정 214.1 tok/s (171.3–256.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | ||
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 164.4 tok/s131.5–197.3보정된 추정 ±20% | 쾌적 | 추정 233.4 tok/s186.7–280.1보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 추정 68.2 tok/s60.0–76.4보정된 추정 ±12% | 추정 121.3 tok/s106.7–135.8보정된 추정 ±12% | ||
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 쾌적 | 추정 66.6 tok/s58.6–74.5보정된 추정 ±12% | 쾌적 | 추정 118.3 tok/s104.1–132.5보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 쾌적 | 추정 69.2 tok/s48.4–90.0이론 추정 ±30% | 쾌적 | 추정 123.0 tok/s86.1–160.0이론 추정 ±30% |
| Phi-4Q4_K_M | 쾌적 | 추정 65.8 tok/s57.9–73.7보정된 추정 ±12% | 쾌적 | 추정 116.9 tok/s102.9–131.0보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 추정 90.0 tok/s79.2–100.8보정된 추정 ±12% | 추정 160.1 tok/s140.9–179.3보정된 추정 ±12% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 252.0 tok/s201.6–302.5보정된 추정 ±20% | 쾌적 | 추정 334.9 tok/s267.9–401.8보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 97.3 tok/s85.6–108.9보정된 추정 ±12% | 쾌적 | 추정 172.9 tok/s152.2–193.7보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 127.5 tok/s8k 추정 114.9 tok/s (101.2–128.7, 보정된 추정 ±12%)실측 2건 (512/40k 컨텍스트) | 쾌적 | 추정 204.4 tok/s179.8–228.9보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 103.8 tok/s91.3–116.3보정된 추정 ±12% | 쾌적 | 추정 184.5 tok/s162.4–206.7보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 113.1 tok/s99.5–126.7보정된 추정 ±12% | 쾌적 | 234.3 tok/s8k 추정 201.1 tok/s (177.0–225.2, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 113.1 tok/s99.5–126.7보정된 추정 ±12% | 쾌적 | 추정 201.1 tok/s177.0–225.2보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 117.7 tok/s103.6–131.8보정된 추정 ±12% | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 117.7 tok/s103.6–131.8보정된 추정 ±12% | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 91.0 tok/s8k 추정 117.7 tok/s (103.6–131.8, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% | ||
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 171.0 tok/s119.7–222.3이론 추정 ±30% | 쾌적 | 234.0 tok/s8k 추정 257.7 tok/s (180.4–335.0, 이론 추정 ±30%)실측 1건 (512 컨텍스트) |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 390.2 tok/s273.2–507.3이론 추정 ±30% | 쾌적 | 추정 485.1 tok/s339.6–630.7이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 281.9 tok/s197.3–366.5이론 추정 ±30% | 쾌적 | 341.8 tok/s8k 추정 386.7 tok/s (270.7–502.7, 이론 추정 ±30%)실측 1건 (512 컨텍스트) |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 227.7 tok/s200.4–255.1보정된 추정 ±12% | 쾌적 | 추정 404.8 tok/s356.3–453.4보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 115.2 tok/s80.6–149.7이론 추정 ±30% | 쾌적 | 추정 204.8 tok/s143.3–266.2이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 243.1 tok/s214.0–272.3보정된 추정 ±12% | 쾌적 | 추정 432.3 tok/s380.4–484.1보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 238.4 tok/s209.8–267.0보정된 추정 ±12% | 쾌적 | 추정 423.9 tok/s373.0–474.7보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 391.1 tok/s273.8–508.4이론 추정 ±30% | 쾌적 | 추정 695.3 tok/s486.7–903.8이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 369.0 tok/s324.7–413.3보정된 추정 ±12% | 쾌적 | 추정 656.0 tok/s577.2–734.7보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 388.7 tok/s342.1–435.3보정된 추정 ±12% | 쾌적 | 추정 691.0 tok/s608.1–773.9보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 537.3 tok/s472.8–601.7보정된 추정 ±12% | 쾌적 | 추정 955.1 tok/s840.5–1,069.8보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 654.3 tok/s575.8–732.8보정된 추정 ±12% | 쾌적 | 추정 1,163.2 tok/s1,023.6–1,302.7보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 791.6 tok/s696.6–886.6보정된 추정 ±12% | 쾌적 | 추정 1,407.3 tok/s1,238.5–1,576.2보정된 추정 ±12% |
| Kolibri 1Q4_K_M | 불가IQ4_XS: 원활 | 추정 70.1 tok/s49.0–91.1이론 추정 ±30% | 원활 | 추정 83.3 tok/s58.3–108.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가IQ4_XS: 겨우 가능 | 추정 2.2 tok/s1.8–2.6보정된 추정 ±20% | 겨우 가능 | 추정 2.7 tok/s2.2–3.3보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가UD-Q2_K_XL (품질 손실 큼): 원활 | 추정 42.2 tok/s29.5–54.8이론 추정 ±30% | 불가UD-Q2_K_XL (품질 손실 큼): 원활 | 추정 66.4 tok/s46.5–86.3이론 추정 ±30% |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | — | — | ||
| Solar Open 100BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 28.9 tok/s20.2–37.5이론 추정 ±30% | 불가IQ4_XS: 겨우 가능 | 추정 21.9 tok/s15.3–28.4이론 추정 ±30% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
RTX 4090 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 11,993.0 | 186.2 | — | github.com | 2025-08-06 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 8,078.0 | 225.2 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 104.3 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 139.7 | — | hardware-corner.net | 2026-08-09 |
| Llama 3.1 8B | Q4_K_M | llama.cpp | 4k | 6,697.0 | 91.0 | ctx-weighted | localscore.ai | 2026-08-09 |
| Qwen3.8 27B | Q4_K_M | llama.cpp | 1k | 3,073.0 | 49.8 | CUDA | github.com | 2026-09-12 |
| Qwen3.5 9B | Q4_K_M | ollama | 40k | — | 133.0 | — | github.com | 2026-10-12 |
| Qwen3.5 27B | Q4_K_M | ollama | 40k | — | 47.6 | — | github.com | 2026-10-12 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 512 | — | 122.0 | — | github.com | 2026-10-14 |
| Qwen3.5 27B | Q4_K_M | llama.cpp | 512 | — | 42.0 | — | github.com | 2026-10-14 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 9,251.0 | 141.3 | CUDA | hardware-corner.net | 2026-03-01 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 2,448.0 | 39.6 | CUDA | hardware-corner.net | 2026-03-01 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 2,302.0 | 42.5 | Vulkan | github.com | 2025-12-09 |
RTX 5090 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 14,073.0 | 290.0 | — | github.com | 2025-10-23 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 9,841.0 | 282.3 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 145.3 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 141.6 | — | hardware-corner.net | 2026-08-09 |
| gpt-oss-120b | MXFP4 | llama.cpp | 4k | — | 9.6 | --n-cpu-moe 21, DDR4 server | hardware-corner.net | 2026-08-09 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 13,588.0 | 223.8 | CUDA, KV q8_0 | github.com | 2026-05-24 |
| Gemma 4 26B-A4B | Q4_K_M | ollama | 8k | — | 208.4 | CUDA, FA off | github.com | 2026-04-05 |
| Qwen3.8 27B | Q4_K_M | llama.cpp | 1k | 3,972.0 | 81.8 | CUDA | github.com | 2026-09-12 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 11,933.0 | 200.4 | CUDA | hardware-corner.net | 2026-03-02 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 2,931.0 | 61.4 | CUDA | hardware-corner.net | 2025-12-09 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | — | 234.3 | CUDA, KV q8_0 | github.com | 2026-10-07 |
| Qwen3 8B | Q8_0 | llama.cpp | 512 | 10,787.0 | 136.2 | CUDA | github.com | 2025-10-16 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 3,446.0 | 53.3 | CUDA | github.com | 2026-09-15 |
| Gemma 4 E4B | Q4_K_M | llama.cpp | 512 | — | 234.0 | Vulkan | github.com | 2026-09-08 |
| Gemma 4 E2B | Q4_K_M | llama.cpp | 512 | — | 341.8 | Vulkan | github.com | 2026-09-08 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 RTX 4090·RTX 5090 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 5090 쪽이 RTX 4090보다 약 1.8배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 46개의 추정치로 중앙값을 냈습니다. Qwen3.5 35B-A3B Q4_K_M 기준 예상 속도는 RTX 4090 추정 155.9 tok/s (124.7–187.1, 보정된 추정 ±20%), RTX 5090 추정 213.4 tok/s (170.7–256.0, 보정된 추정 ±20%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
RTX 4090에서는 Qwen3.5 35B-A3B Q4_K_M(22.63GB 파일)까지 24GB에 전부 올라가고, 속도는 추정 155.9 tok/s (124.7–187.1, 보정된 추정 ±20%)입니다. RTX 5090에서는 K2-Horizon MoVA 36B-A4B Q4_K_M(22.37GB 파일)까지 32GB에 전부 올라가고, 속도는 추정 149.6 tok/s (104.7–194.5, 이론 추정 ±30%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 RTX 4090: 쾌적 46개·원활 2개·겨우 가능 0개·불가 10개, RTX 5090: 쾌적 48개·원활 1개·겨우 가능 1개·불가 8개입니다. 판정이 갈리는 모델은 4개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.