RTX 3090 vs RTX 5090 로컬 LLM 비교
시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
두 카드의 8GB 차이는 정밀한 양자화 파일과 긴 컨텍스트에서 드러납니다. Qwen3.6 27B를 손실이 적은 8비트 Q8_0 파일로 쓰면 8k 기준 28.4GB가 필요합니다. CanRun 계산으로는 RTX 5090에 전부 올라가 쾌적하게 돌아갑니다. RTX 3090은 쓸 수 있는 메모리가 23.4GB라 일부가 시스템 RAM으로 넘치고 느리게 돌아갑니다. Gemma 4 31B를 64k로 쓰면 f16 KV 캐시까지 24.8GB가 필요합니다. RTX 5090에는 다 올라가 쾌적하게 돌아가고, RTX 3090에서는 일부를 시스템 RAM에 두고 원활하게 돌아갑니다.
DeepSeek R1 Distill Qwen 32B는 늘 생각 모드로 답해서 속도 기준이 더 엄격합니다. RTX 3090은 이 기준에 못 미쳐 원활하게 돌아가고, RTX 5090은 넉넉히 넘어 쾌적하게 돌아갑니다. 추정 범위가 겹치지 않아 기준선에 걸친 차이가 아닙니다. 생성 속도는 메모리 대역폭을 따릅니다. CanRun 추정으로는 Gemma 4 31B 같은 dense 모델에서 차이가 가장 큽니다. Qwen3.6 35B-A3B 같은 MoE 모델에서는 더 작습니다. 프롬프트를 읽는 속도는 FP16 연산 성능을 따르는데, 생성보다 차이가 더 크다고 추정합니다.
GeForce RTX 5090 Laptop은 VRAM이 24GB이고 대역폭도 두 데스크톱 카드보다 낮습니다. CanRun 계산으로는 위 모델 중 둘이 GeForce RTX 3090과 결과가 같습니다. DeepSeek R1 Distill Qwen 32B는 원활하게 돌아가고, Qwen3.6 27B Q8_0은 일부가 시스템 RAM으로 넘쳐 느리게 돌아갑니다.
속도 비교
글 생성 속도는 RTX 5090 쪽이 RTX 3090보다 약 1.9배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 46개의 추정치로 중앙값을 냈습니다.
Qwen3.5 35B-A3B에서는 두 추정 범위가 겹칩니다. 실제 차이는 이보다 작을 수 있습니다.
- 기준 모델
- Qwen3.5 35B-A3B Q4_K_M(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- RTX 3090
- 추정 148.8 tok/s (119.1–178.6, 보정된 추정 ±20%)
- RTX 5090
- 추정 213.4 tok/s (170.7–256.0, 보정된 추정 ±20%)
- Qwen3.5 35B-A3B 프롬프트 처리
- RTX 3090: 약 4,046 tok/s (2,427–5,664, 대략적 추정 ±40%) · RTX 5090: 약 11,910 tok/s (7,146–16,673, 대략적 추정 ±40%)
사양 비교
| 항목 | RTX 3090 | RTX 5090 | 차이 |
|---|---|---|---|
| 메모리 | 24GB | 32GB | RTX 5090 쪽 +8GB |
| 메모리 대역폭 | 936.0 GB/s | 1,792.0 GB/s | RTX 5090 쪽 1.91배 |
| FP16 연산 | 35.6 TFLOPS | 104.8 TFLOPS | RTX 5090 쪽 2.94배 |
| 출시 연도 | 2020 | 2025 | — |
| 가격 | 2026-08-09 기준 실거래가 US$1,050(약 139만 원) | 2026-08-09 기준 실거래가 US$4,200(약 557만 원) | — |
| 공개 벤치마크 결과 | 7건 | 15건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- RTX 3090쾌적44개원활4개겨우 가능0개불가10개
- RTX 5090쾌적48개원활1개겨우 가능1개불가8개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 6개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 3090 판정 | RTX 3090 속도 | RTX 5090 판정 | RTX 5090 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 79.2 tok/s55.5–103.0이론 추정 ±30% | 쾌적 | 추정 149.6 tok/s104.7–194.5이론 추정 ±30% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 원활 | 추정 29.8 tok/s26.2–33.4보정된 추정 ±12% | 쾌적 | 추정 57.0 tok/s50.2–63.9보정된 추정 ±12% |
| Qwen3 32BQ4_K_M | 원활 | 추정 29.9 tok/s26.3–33.5보정된 추정 ±12% | 쾌적 | 53.3 tok/s8k 추정 57.3 tok/s (50.4–64.1, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 122.0 tok/s85.4–158.7이론 추정 ±30% | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% |
| Kolibri 1Q4_K_M | 불가IQ4_XS: 원활 | 추정 68.5 tok/s47.9–89.0이론 추정 ±30% | 원활 | 추정 83.3 tok/s58.3–108.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가IQ4_XS: 겨우 가능 | 추정 2.2 tok/s1.7–2.6보정된 추정 ±20% | 겨우 가능 | 추정 2.7 tok/s2.2–3.3보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | RTX 3090 판정 | RTX 3090 속도 | RTX 5090 판정 | RTX 5090 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 원활 | 추정 79.2 tok/s55.5–103.0이론 추정 ±30% | 쾌적 | 추정 149.6 tok/s104.7–194.5이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 추정 148.8 tok/s119.1–178.6보정된 추정 ±20% | 쾌적 | 추정 213.4 tok/s170.7–256.0보정된 추정 ±20% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 추정 164.6 tok/s131.6–197.5보정된 추정 ±20% | 쾌적 | 추정 229.8 tok/s183.9–275.8보정된 추정 ±20% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 174.2 tok/s139.3–209.0보정된 추정 ±20% | 쾌적 | 추정 239.5 tok/s191.6–287.4보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 쾌적 | 추정 31.8 tok/s28.0–35.6보정된 추정 ±12% | 쾌적 | 추정 60.9 tok/s53.6–68.2보정된 추정 ±12% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 원활 | 추정 29.8 tok/s26.2–33.4보정된 추정 ±12% | 쾌적 | 추정 57.0 tok/s50.2–63.9보정된 추정 ±12% |
| Qwen3 32BQ4_K_M | 원활 | 추정 29.9 tok/s26.3–33.5보정된 추정 ±12% | 쾌적 | 53.3 tok/s8k 추정 57.3 tok/s (50.4–64.1, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) |
| EXAONE 4.0 32BQ4_K_M | 쾌적 | 추정 33.0 tok/s29.0–36.9보정된 추정 ±12% | 쾌적 | 추정 63.1 tok/s55.5–70.7보정된 추정 ±12% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 원활 | 추정 122.0 tok/s85.4–158.7이론 추정 ±30% | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% |
| Gemma 4 31BQ4_K_M | 쾌적 | 추정 34.5 tok/s30.4–38.6보정된 추정 ±12% | 쾌적 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% |
| Qwen3 30B-A3B (2507)Q4_K_M | 추정 140.6 tok/s112.5–168.7보정된 추정 ±20% | 추정 195.0 tok/s156.0–234.1보정된 추정 ±20% | ||
| Muse Glimmer 30BQ4_K_M | 쾌적 | 추정 37.6 tok/s33.1–42.1보정된 추정 ±12% | 쾌적 | 추정 72.0 tok/s63.4–80.7보정된 추정 ±12% |
| Granite 4.2 30BQ4_K_M | 쾌적 | 추정 33.0 tok/s29.0–36.9보정된 추정 ±12% | 쾌적 | 추정 63.1 tok/s55.6–70.7보정된 추정 ±12% |
| Qwen3.5 27BQ4_K_M | 쾌적 | 추정 37.1 tok/s32.7–41.6보정된 추정 ±12% | 쾌적 | 추정 71.1 tok/s62.6–79.6보정된 추정 ±12% |
| Qwen3.6 27BQ4_K_M | 쾌적 | 추정 37.7 tok/s33.2–42.3보정된 추정 ±12% | 쾌적 | 추정 72.3 tok/s63.6–80.9보정된 추정 ±12% |
| Qwen3.8 27BQ4_K_M | 쾌적 | 추정 36.4 tok/s32.1–40.8보정된 추정 ±12% | 쾌적 | 81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) |
| Gemma 3 27BQ4_K_M | 쾌적 | 추정 38.0 tok/s33.5–42.6보정된 추정 ±12% | 쾌적 | 추정 72.8 tok/s64.1–81.6보정된 추정 ±12% |
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 108.0 tok/s8k 추정 134.9 tok/s (108.0–161.9, 보정된 추정 ±20%)실측 1건 (32k 컨텍스트) | 쾌적 | 216.1 tok/s8k 추정 210.4 tok/s (168.3–252.4, 보정된 추정 ±20%)실측 2건 (512/8k 컨텍스트) |
| Mistral Small 3.2 24BQ4_K_M | 쾌적 | 추정 41.8 tok/s36.8–46.8보정된 추정 ±12% | 쾌적 | 추정 80.0 tok/s70.4–89.6보정된 추정 ±12% |
| gpt-oss-20bMXFP4 | 162.0 tok/s8k 추정 201.1 tok/s (160.9–241.3, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | ||
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 156.3 tok/s125.0–187.5보정된 추정 ±20% | 쾌적 | 추정 233.4 tok/s186.7–280.1보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 추정 63.4 tok/s55.7–71.0보정된 추정 ±12% | 추정 121.3 tok/s106.7–135.8보정된 추정 ±12% | ||
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 쾌적 | 추정 61.8 tok/s54.4–69.2보정된 추정 ±12% | 쾌적 | 추정 118.3 tok/s104.1–132.5보정된 추정 ±12% |
| HyperCLOVA X SEED Think 14BQ4_K_M | 쾌적 | 추정 64.3 tok/s45.0–83.5이론 추정 ±30% | 쾌적 | 추정 123.0 tok/s86.1–160.0이론 추정 ±30% |
| Phi-4Q4_K_M | 쾌적 | 추정 61.1 tok/s53.7–68.4보정된 추정 ±12% | 쾌적 | 추정 116.9 tok/s102.9–131.0보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 추정 83.6 tok/s73.6–93.6보정된 추정 ±12% | 추정 160.1 tok/s140.9–179.3보정된 추정 ±12% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 241.5 tok/s193.2–289.9보정된 추정 ±20% | 쾌적 | 추정 334.9 tok/s267.9–401.8보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 쾌적 | 추정 90.3 tok/s79.5–101.2보정된 추정 ±12% | 쾌적 | 추정 172.9 tok/s152.2–193.7보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 추정 106.7 tok/s93.9–119.5보정된 추정 ±12% | 쾌적 | 추정 204.4 tok/s179.8–228.9보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 96.4 tok/s84.8–107.9보정된 추정 ±12% | 쾌적 | 추정 184.5 tok/s162.4–206.7보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 105.0 tok/s92.4–117.6보정된 추정 ±12% | 쾌적 | 234.3 tok/s8k 추정 201.1 tok/s (177.0–225.2, 보정된 추정 ±12%)실측 1건 (512 컨텍스트) |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 105.0 tok/s92.4–117.6보정된 추정 ±12% | 쾌적 | 추정 201.1 tok/s177.0–225.2보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 109.3 tok/s96.2–122.4보정된 추정 ±12% | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 109.3 tok/s96.2–122.4보정된 추정 ±12% | 쾌적 | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 추정 109.3 tok/s96.2–122.4보정된 추정 ±12% | 추정 209.3 tok/s184.2–234.4보정된 추정 ±12% | ||
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 161.4 tok/s113.0–209.9이론 추정 ±30% | 쾌적 | 234.0 tok/s8k 추정 257.7 tok/s (180.4–335.0, 이론 추정 ±30%)실측 1건 (512 컨텍스트) |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 377.2 tok/s264.1–490.4이론 추정 ±30% | 쾌적 | 추정 485.1 tok/s339.6–630.7이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 269.1 tok/s188.4–349.8이론 추정 ±30% | 쾌적 | 341.8 tok/s8k 추정 386.7 tok/s (270.7–502.7, 이론 추정 ±30%)실측 1건 (512 컨텍스트) |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 211.5 tok/s186.1–236.8보정된 추정 ±12% | 쾌적 | 추정 404.8 tok/s356.3–453.4보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 106.9 tok/s74.9–139.0이론 추정 ±30% | 쾌적 | 추정 204.8 tok/s143.3–266.2이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 225.8 tok/s198.7–252.9보정된 추정 ±12% | 쾌적 | 추정 432.3 tok/s380.4–484.1보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 221.4 tok/s194.8–248.0보정된 추정 ±12% | 쾌적 | 추정 423.9 tok/s373.0–474.7보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 363.1 tok/s254.2–472.1이론 추정 ±30% | 쾌적 | 추정 695.3 tok/s486.7–903.8이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 342.6 tok/s301.5–383.7보정된 추정 ±12% | 쾌적 | 추정 656.0 tok/s577.2–734.7보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 360.9 tok/s317.6–404.2보정된 추정 ±12% | 쾌적 | 추정 691.0 tok/s608.1–773.9보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 498.9 tok/s439.0–558.8보정된 추정 ±12% | 쾌적 | 추정 955.1 tok/s840.5–1,069.8보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 607.5 tok/s534.6–680.5보정된 추정 ±12% | 쾌적 | 추정 1,163.2 tok/s1,023.6–1,302.7보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 735.1 tok/s646.9–823.3보정된 추정 ±12% | 쾌적 | 추정 1,407.3 tok/s1,238.5–1,576.2보정된 추정 ±12% |
| Kolibri 1Q4_K_M | 불가IQ4_XS: 원활 | 추정 68.5 tok/s47.9–89.0이론 추정 ±30% | 원활 | 추정 83.3 tok/s58.3–108.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 불가IQ4_XS: 겨우 가능 | 추정 2.2 tok/s1.7–2.6보정된 추정 ±20% | 겨우 가능 | 추정 2.7 tok/s2.2–3.3보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가UD-Q2_K_XL (품질 손실 큼): 원활 | 추정 41.3 tok/s28.9–53.6이론 추정 ±30% | 불가UD-Q2_K_XL (품질 손실 큼): 원활 | 추정 66.4 tok/s46.5–86.3이론 추정 ±30% |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | — | — | ||
| Solar Open 100BQ4_K_M | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 28.4 tok/s19.9–36.9이론 추정 ±30% | 불가IQ4_XS: 겨우 가능 | 추정 21.9 tok/s15.3–28.4이론 추정 ±30% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
RTX 3090 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 5,175.0 | 158.2 | — | github.com | 2025-08-01 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 5,143.0 | 162.0 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 87.5 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 113.8 | — | hardware-corner.net | 2026-08-09 |
| Gemma 4 26B-A4B | Q4_K_M | ollama | 32k | — | 108.0 | FA off | github.com | 2026-04-07 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 4,050.0 | 115.3 | CUDA | hardware-corner.net | 2025-12-09 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 1,088.0 | 35.1 | CUDA | hardware-corner.net | 2025-12-09 |
RTX 5090 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 14,073.0 | 290.0 | — | github.com | 2025-10-23 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 9,841.0 | 282.3 | — | github.com | 2025-08-20 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 16k | — | 145.3 | — | hardware-corner.net | 2026-08-09 |
| Qwen3 30B-A3B (2507) | Q4_K_XL | llama.cpp | 16k | — | 141.6 | — | hardware-corner.net | 2026-08-09 |
| gpt-oss-120b | MXFP4 | llama.cpp | 4k | — | 9.6 | --n-cpu-moe 21, DDR4 server | hardware-corner.net | 2026-08-09 |
| Gemma 4 26B-A4B | Q4_K_M | llama.cpp | 512 | 13,588.0 | 223.8 | CUDA, KV q8_0 | github.com | 2026-05-24 |
| Gemma 4 26B-A4B | Q4_K_M | ollama | 8k | — | 208.4 | CUDA, FA off | github.com | 2026-04-05 |
| Qwen3.8 27B | Q4_K_M | llama.cpp | 1k | 3,972.0 | 81.8 | CUDA | github.com | 2026-09-12 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 11,933.0 | 200.4 | CUDA | hardware-corner.net | 2026-03-02 |
| Qwen3 32B | Q4_K_XL | llama.cpp | 4k | 2,931.0 | 61.4 | CUDA | hardware-corner.net | 2025-12-09 |
| Qwen3 8B | Q4_K_M | llama.cpp | 512 | — | 234.3 | CUDA, KV q8_0 | github.com | 2026-10-07 |
| Qwen3 8B | Q8_0 | llama.cpp | 512 | 10,787.0 | 136.2 | CUDA | github.com | 2025-10-16 |
| Qwen3 32B | Q4_K_M | llama.cpp | 512 | 3,446.0 | 53.3 | CUDA | github.com | 2026-09-15 |
| Gemma 4 E4B | Q4_K_M | llama.cpp | 512 | — | 234.0 | Vulkan | github.com | 2026-09-08 |
| Gemma 4 E2B | Q4_K_M | llama.cpp | 512 | — | 341.8 | Vulkan | github.com | 2026-09-08 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 RTX 3090·RTX 5090 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 5090 쪽이 RTX 3090보다 약 1.9배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 46개의 추정치로 중앙값을 냈습니다. Qwen3.5 35B-A3B Q4_K_M 기준 예상 속도는 RTX 3090 추정 148.8 tok/s (119.1–178.6, 보정된 추정 ±20%), RTX 5090 추정 213.4 tok/s (170.7–256.0, 보정된 추정 ±20%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
RTX 3090에서는 Qwen3.5 35B-A3B Q4_K_M(22.63GB 파일)까지 24GB에 전부 올라가고, 속도는 추정 148.8 tok/s (119.1–178.6, 보정된 추정 ±20%)입니다. RTX 5090에서는 K2-Horizon MoVA 36B-A4B Q4_K_M(22.37GB 파일)까지 32GB에 전부 올라가고, 속도는 추정 149.6 tok/s (104.7–194.5, 이론 추정 ±30%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 RTX 3090: 쾌적 44개·원활 4개·겨우 가능 0개·불가 10개, RTX 5090: 쾌적 48개·원활 1개·겨우 가능 1개·불가 8개입니다. 판정이 갈리는 모델은 6개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.