AI용 그래픽카드 추천 — 예산별로 돌릴 수 있는 로컬 LLM (2026)
CanRun · 2026년 10월 15일 업데이트
로컬 LLM용 그래픽카드는 가격보다 VRAM 용량을 먼저 보고 고르는 것이 좋습니다. 어떤 모델이 들어가는지는 용량이 정하고, 들어간 뒤의 속도는 주로 메모리 대역폭이 정합니다. 이 글은 제품 대신 메모리 용량을 추천하고, 용량마다 드는 가격과 돌아가는 모델을 정리했습니다.
메모리 용량별 가격
8k 컨텍스트에서 Llama 3.1 8B는 이 글에 나오는 모든 카드에서 쾌적하게 돌아갑니다. 8GB인 RTX 4060과 RTX 5060도 마찬가지입니다. 12GB부터는 Gemma 3 12B와 Qwen3 14B가 GPU에 전부 올라갑니다. 16GB부터는 gpt-oss-20b가 GPU에 전부 올라갑니다. 24GB부터는 Qwen3.8 27B·Gemma 4 31B 같은 30B 안팎의 dense 모델까지 올라갑니다.
CanRun 카탈로그에서 실거래가가 있는 그래픽카드를 메모리 용량별로 묶으면 다음과 같습니다. 출시가만 있는 RTX 4060도 함께 넣었습니다.
- 8GB: GeForce RTX 5060(2026-08-09 기준 실거래가 US$339), GeForce RTX 5060 Ti 8GB(2026-08-09 기준 실거래가 US$429), GeForce RTX 4060(출시가 US$299)
- 12GB: GeForce RTX 3060 12GB(2026-08-09 기준 실거래가 US$250), Intel Arc B580(2026-08-09 기준 실거래가 US$290), GeForce RTX 5070(2026-08-09 기준 실거래가 US$629)
- 16GB: Radeon RX 9060 XT 16GB(2026-08-09 기준 실거래가 US$449), GeForce RTX 5060 Ti 16GB(2026-08-09 기준 실거래가 US$569), Radeon RX 9070(2026-08-09 기준 실거래가 US$639), Radeon RX 9070 XT(2026-08-09 기준 실거래가 US$689), GeForce RTX 5070 Ti(2026-08-09 기준 실거래가 US$949), GeForce RTX 5080(2026-08-09 기준 실거래가 US$1,256)
- 24GB: GeForce RTX 3090(2026-08-09 기준 실거래가 US$1,050), GeForce RTX 4090(2026-08-09 기준 실거래가 US$2,755)
- 32GB: GeForce RTX 5090(2026-08-09 기준 실거래가 US$4,200)
아래 표는 이 카드들에서 CanRun 카탈로그의 모델을 8k 컨텍스트로 판정해, 판정마다 몇 개인지 센 결과입니다. GPU만으로 돌릴 수 있는 가장 큰 모델도 함께 보여 줍니다. 새 모델이 자주 추가되니 정확한 개수보다 흐름을 보세요.
| 하드웨어 | 메모리 | 쾌적 | 원활 | 겨우 가능 | 불가 | GPU만으로 도는 가장 큰 모델 |
|---|---|---|---|---|---|---|
| GeForce RTX 4060 | 8GB | 19 | 11 | 13 | 15 | Gemma 4 12B IQ4_XS |
| GeForce RTX 5060 | 8GB | 20 | 10 | 14 | 14 | Gemma 4 12B IQ4_XS |
| GeForce RTX 5060 Ti 8GB | 8GB | 20 | 10 | 14 | 14 | Gemma 4 12B IQ4_XS |
| GeForce RTX 3060 12GB | 12GB | 24 | 11 | 13 | 10 | Kanana 1.5 15.7B-A3B IQ4_XS |
| Intel Arc B580 | 12GB | 24 | 11 | 13 | 10 | Kanana 1.5 15.7B-A3B IQ4_XS |
| GeForce RTX 5070 | 12GB | 27 | 8 | 13 | 10 | Kanana 1.5 15.7B-A3B IQ4_XS |
| Radeon RX 9060 XT 16GB | 16GB | 26 | 10 | 12 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 5060 Ti 16GB | 16GB | 28 | 9 | 11 | 10 | Muse Glimmer 30B IQ4_XS |
| Radeon RX 9070 | 16GB | 29 | 8 | 11 | 10 | Muse Glimmer 30B IQ4_XS |
| Radeon RX 9070 XT | 16GB | 29 | 8 | 11 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 5070 Ti | 16GB | 29 | 8 | 11 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 5080 | 16GB | 29 | 8 | 11 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 3090 | 24GB | 44 | 4 | 0 | 10 | Qwen3.5 35B-A3B Q4_K_M |
| GeForce RTX 4090 | 24GB | 46 | 2 | 0 | 10 | Qwen3.5 35B-A3B Q4_K_M |
| GeForce RTX 5090 | 32GB | 48 | 1 | 1 | 8 | K2-Horizon MoVA 36B-A4B Q4_K_M |
용량이 같은 카드끼리는 들어가는 모델이 똑같습니다. CanRun 계산에서는 카드가 쓸 수 있는 메모리만으로 들어가는지가 정해지기 때문입니다. 그래서 Qwen3.8 27B와 Gemma 4 31B는 16GB인 RTX 5080에서도 겨우 돌아갑니다. 24GB인 RTX 3090에서는 둘 다 쾌적하게 돌아갑니다. 이 글을 쓸 때의 가격 데이터로는 RTX 3090이 RTX 5080보다 쌌습니다.
가격 읽는 법
실거래가에는 그 가격을 기록한 날짜가 늘 함께 붙습니다. 공개된 웹 페이지에서 가져온 그날의 값이라 오늘 가격과 다를 수 있습니다. 가져온 곳은 맨 아래 ‘출처’에 적었고, 그 페이지에서 값을 확인할 수 없는 곳도 밝혔습니다. 실거래가가 없는 카드는 RTX 4060처럼 출시가를 대신 보여 줍니다. 출시가는 지금 팔리는 가격이 아니니 참고만 하세요.
이 글의 가격은 모두 미국 달러입니다. 카드 페이지에는 원화 환산 참고값도 나옵니다. 달러 가격을 환율로 단순 환산한 값이라 국내 판매가와는 다를 수 있으니, 고르기 전에 판매처 가격을 직접 비교해 보세요.
RTX 3090은 2020년에 나온 카드입니다. 가격 출처는 RTX 3090의 신품 가격과 중고 가격을 함께 기록하는 페이지입니다. CanRun 데이터에는 이 값이 어느 쪽 가격인지 적혀 있지 않습니다. RTX 4090 가격도 같은 종류의 페이지에서 가져왔습니다. 중고로 산다면 카드 상태와 보증 기간은 직접 확인해야 합니다.
Qwen3.8 27B 같은 모델 페이지에는 그 모델을 쾌적하게 또는 원활하게 돌리는 GPU 가운데 실거래가가 낮은 카드가 나옵니다. 계산기의 ‘모델로 GPU 찾기’에도 예산 필터가 있습니다.
인기 모델 6개를 가격대별 카드에서 보면
아래 표는 인기 모델 6개를 카드 8종에서 판정한 결과입니다. 카드는 이 글을 쓸 때 데이터에 있던 실거래가가 낮은 순서로 놓았습니다. 8k 컨텍스트, f16 KV 캐시(컨텍스트를 담는 메모리), 시스템 RAM 32GB(DDR5), Windows를 가정했습니다. 칸마다 예상 속도 범위와 신뢰 라벨이 들어 있습니다.
| 하드웨어 | Llama 3.1 8B | Qwen3 14B | gpt-oss-20b | Qwen3.8 27B | Qwen3.5 35B-A3B | gpt-oss-120b |
|---|---|---|---|---|---|---|
| GeForce RTX 3060 12GB12GB | 쾌적 51.6 tok/s8k 추정 42.0 tok/s (37.0–47.1, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) GeForce RTX 3060 12GB에서 Llama 3.1 8B 판정 보기 | 겨우 가능 추정 4.8 tok/s3.9–5.8보정된 추정 ±20% | 원활 추정 49.4 tok/s34.6–64.2이론 추정 ±30% | |||
| GeForce RTX 50608GB | 쾌적 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% | 겨우 가능 추정 9.1 tok/s7.3–10.9보정된 추정 ±20% | 원활 추정 43.9 tok/s30.7–57.1이론 추정 ±30% | 겨우 가능 추정 3.6 tok/s2.9–4.3보정된 추정 ±20% | 원활 추정 48.3 tok/s33.8–62.8이론 추정 ±30% | 불가RAM 96GB라면: 겨우 가능 |
| Radeon RX 9060 XT 16GB16GB | 쾌적 추정 40.8 tok/s35.9–45.7보정된 추정 ±12% | 원활 추정 23.7 tok/s20.8–26.5보정된 추정 ±12% | 쾌적 추정 78.0 tok/s62.4–93.6보정된 추정 ±20% | 겨우 가능 추정 7.5 tok/s6.0–9.0보정된 추정 ±20% | 원활 추정 48.1 tok/s33.6–62.5이론 추정 ±30% | 불가RAM 64GB라면: 겨우 가능 |
| GeForce RTX 5060 Ti 16GB16GB | 쾌적 111.6 tok/s8k 추정 104.3 tok/s (83.5–125.2, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) GeForce RTX 5060 Ti 16GB에서 gpt-oss-20b 판정 보기 | 겨우 가능 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% | 원활 추정 62.4 tok/s43.7–81.1이론 추정 ±30% | |||
| GeForce RTX 507012GB | 겨우 가능 추정 5.3 tok/s4.3–6.4보정된 추정 ±20% | 원활 추정 63.3 tok/s44.3–82.3이론 추정 ±30% | ||||
| GeForce RTX 5070 Ti16GB | 쾌적 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% | 쾌적 189.5 tok/s8k 추정 193.7 tok/s (155.0–232.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 겨우 가능 추정 10.4 tok/s8.3–12.5보정된 추정 ±20% | 원활 추정 83.5 tok/s58.5–108.6이론 추정 ±30% | 불가RAM 64GB라면: 겨우 가능 |
| GeForce RTX 309024GB | 쾌적 162.0 tok/s8k 추정 201.1 tok/s (160.9–241.3, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) GeForce RTX 3090에서 gpt-oss-20b 판정 보기 | 쾌적 추정 36.4 tok/s32.1–40.8보정된 추정 ±12% | 쾌적 추정 148.8 tok/s119.1–178.6보정된 추정 ±20% | |||
| GeForce RTX 509032GB | 쾌적 282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) GeForce RTX 5090에서 gpt-oss-20b 판정 보기 | 쾌적 81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) | 쾌적 추정 213.4 tok/s170.7–256.0보정된 추정 ±20% |
이론 추정(±30%)은 MoE 전문가를 시스템 RAM에 두는 경우처럼 실제 속도의 편차가 큰 구성에 붙습니다. 이때는 VRAM에 들어가는 만큼 전문가를 GPU에 두고 나머지만 RAM에 둔다고 보고 계산합니다.
8GB에서 12GB로: 14B급 dense 모델
이 표에서 메모리 때문에 처음으로 결과가 갈리는 모델은 Qwen3 14B입니다. 흔히 쓰는 4비트 양자화인 Q4_K_M으로 받으면 8k에서 10.5GB가 필요합니다. 8GB 카드가 쓸 수 있는 7.4GB보다 많은 양입니다. 그래서 RTX 5060에서는 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다.
12GB인 RTX 3060에는 아슬아슬하게 들어가고, 원활하게 돌아갑니다. 모델을 올린 뒤 ollama ps로 확인해 보세요. 메모리가 더 빠른 12GB 카드인 RTX 5070에서는 쾌적하게 돌아갑니다. Qwen3 14B에는 답하기 전에 먼저 생각하는 모드가 있습니다. 생각 모드를 켜면 답 하나에 토큰을 훨씬 많이 쓰므로, CanRun은 속도 기준을 1.5배 엄격하게 잡습니다. RTX 5070은 엄격해진 쾌적 기준도 넘지만, RTX 3060 12GB는 넘지 못해 원활하게 돌아가는 데 그칩니다.
12GB에서 16GB로: gpt-oss-20b를 GPU에만
gpt-oss-20b는 MoE(전문가 혼합) 모델입니다. 층마다 ‘전문가’라고 부르는 가중치 묶음이 여럿 있고, 토큰마다 그중 몇 개만 계산합니다. 8k에서 12.3GB가 필요해 12GB 카드에는 다 들어가지 않습니다. CanRun 계산으로는 RTX 3060 12GB와 RTX 5070에서 들어가지 않는 전문가 가중치를 시스템 RAM에 둡니다. 두 카드 모두 원활하게 돌아가며, 이 속도는 이론 추정입니다. 표의 16GB 카드에서는 모두 GPU에 다 올라가 쾌적하게 돌아갑니다. 모델 카드에도 16GB 메모리 안에서 돌아간다고 적혀 있습니다.
RTX 5070은 메모리가 빠른 대신 용량이 작습니다. 메모리 대역폭은 RTX 5070이 672 GB/s, RTX 5060 Ti 16GB가 448 GB/s입니다. 이 글을 쓸 때의 가격 데이터에서도 RTX 5070이 더 비쌌습니다. 그런데도 gpt-oss-20b를 나눠 올려야 하는 쪽은 RTX 5070입니다. 나눠 올린 모습은 ‘GeForce RTX 5070에서 gpt-oss-20b’ 페이지에 나옵니다.
16GB에서 24GB로: 30B 안팎의 dense 모델
표에서 16GB 카드와 24GB인 RTX 3090을 가르는 모델은 dense 모델인 Qwen3.8 27B입니다. 자세한 내용은 아래 ‘신품 16GB 카드냐, 24GB RTX 3090이냐’에서 다룹니다.
Qwen3.5 35B-A3B도 MoE 모델로, 토큰마다 파라미터 가운데 약 3B만 씁니다. 표의 16GB 이하 카드에서는 모두 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. RTX 3090에서는 필요량 22.3GB가 사용 가능 메모리 23.4GB 안에 들어갑니다. 1GB 남짓 남기고 GPU에 전부 올라가 쾌적하게 돌아갑니다. 여유가 적으니 ollama ps에서 100% GPU인지 확인하세요.
32GB: 컨텍스트 여유와 몇몇 큰 모델
이 6개 모델의 8k 판정은 RTX 5090과 RTX 3090이 같습니다. 카탈로그 전체로 보면 위 요약표처럼 몇 모델은 결과가 달라집니다. Nemotron 3.5 Lightning 30B-A3B는 25.1GB가 필요해 32GB에서만 GPU에 다 올라갑니다. 나머지 여유는 주로 더 긴 컨텍스트에 쓰입니다. gpt-oss-120b는 시스템 RAM이 32GB면 표의 어느 카드에도 들어가지 않습니다. 이 모델은 아래 시스템 RAM 절에서 다룹니다.
용량이냐 속도냐: RTX 3060 12GB와 8GB 카드
GeForce RTX 3060 12GB는 2021년, GeForce RTX 5060은 2025년에 나왔습니다. 그런데 이 글을 쓸 때의 가격 데이터로는 오래된 카드가 더 쌌습니다. 많이 쓰는 GeForce RTX 4060은 그 사이인 2023년에 나왔고, CanRun 데이터에는 출시가만 있습니다. 메모리는 오래된 카드가 더 많습니다. 12GB 카드는 11.4GB, 8GB 카드는 7.4GB를 쓸 수 있습니다.
이 차이가 12B·14B급 dense 모델의 결과를 가릅니다. Gemma 3 12B는 RTX 3060 12GB에서 쾌적하게 돌아갑니다. RTX 4060과 RTX 5060에서는 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. Qwen3 14B도 12GB 카드에서는 원활하게, 두 8GB 카드에서는 겨우 돌아갑니다.
Gemma 4 12B는 7.8GB가 필요해 8GB 카드에는 다 들어가지 않습니다. 그래도 90% 이상이 GPU에 남아, 두 8GB 카드에서 원활하게 돌아갑니다. RTX 3060 12GB에서는 쾌적하게 돌아갑니다. IQ4_XS로 받으면 두 8GB 카드 모두 GPU에 다 올라가지만 여유가 적으니 ollama ps로 확인하세요. 이때 RTX 5060에서는 쾌적하게, RTX 4060에서는 원활하게 돌아갑니다.
모델이 다 들어가면 속도는 메모리 대역폭을 따라갑니다. 대역폭은 RTX 3060 12GB가 360 GB/s, RTX 4060이 272 GB/s, RTX 5060이 448 GB/s입니다. Llama 3.1 8B 공개 벤치마크 결과에서도 오래된 RTX 3060 12GB가 RTX 4060보다 빠릅니다. 두 결과 모두 Mozilla Builders 프로젝트인 LocalScore에 올라온 값입니다. 4k 컨텍스트에서 잰 것이고, CanRun이 직접 잰 것은 아닙니다.
전문가를 시스템 RAM에 두는 MoE 모델에서는 RTX 5060의 빠른 메모리가 추정 속도를 끌어올립니다. Gemma 4 26B-A4B는 RTX 4060에서 원활 기준을 간신히 넘고, RTX 5060에서는 여유 있게 넘어 둘 다 원활하게 돌아갑니다. 둘 다 이론 추정입니다. Gemma 4는 생각 모드가 기본으로 꺼져 있지만 CanRun은 엄격한 기준을 적용합니다. 그래도 12B·14B급 dense 모델을 쓸 생각이라면 VRAM 12GB 이상을 목표로 잡으세요.
NVIDIA 사양표에는 RTX 3060이 두 가지로 나옵니다. 192비트 버스의 12GB 모델과 128비트 버스의 8GB 모델입니다. 이 글의 표는 12GB 모델 기준이니, 제품 상자에서 메모리 용량을 확인하세요. RTX 5060 Ti도 위 목록처럼 8GB 모델과 16GB 모델이 따로 있습니다.
신품 16GB 카드냐, 24GB RTX 3090이냐
신품 16GB 쪽은 GeForce RTX 5060 Ti 16GB(2026-08-09 기준 실거래가 US$569)이고, 24GB 쪽은 GeForce RTX 3090(2026-08-09 기준 실거래가 US$1,050)입니다. 앞의 ‘가격 읽는 법’에서 말했듯이, 24GB 쪽 가격은 중고 가격일 수 있습니다.
gpt-oss-20b까지는 두 카드의 결과가 같습니다. gpt-oss-20b는 두 카드 모두에서 쾌적하게 돌아가고, 두 조합 모두 공개 벤치마크 결과가 있습니다. llama.cpp의 gpt-oss 실행 안내 토론 글에 올라온 값입니다. Qwen3 14B도 둘 다 쾌적하게 돌아갑니다. 대역폭은 RTX 3090이 936 GB/s, RTX 5060 Ti 16GB가 448 GB/s라서 토큰 생성 속도는 RTX 3090이 더 빠릅니다. 그래도 이 모델들은 두 카드 모두에서 쾌적하게 돌아갑니다. 다만 RTX 5060 Ti 16GB의 Qwen3 14B는 생각 모드 기준을 아슬아슬하게 넘습니다.
차이는 30B 안팎의 dense 모델에서 납니다. Qwen3.8 27B는 8k에서 17.6GB가 필요한데, 16GB 카드의 사용 가능 메모리는 15.4GB입니다. 넘치는 부분이 어디로 가는지는 아래 막대에 나옵니다.
메모리 사용 내역: GeForce RTX 5060 Ti 16GB에서 Qwen3.8 27B (Q4_K_M)
- 가중치
- 14.3GB
- KV 캐시
- 0.5GB
- 연산 버퍼
- 0.6GB
- OS 예약
- 0.6GB
- 시스템 RAM의 가중치
- 3.2GB
들어가지 않는 부분은 시스템 RAM에 남아 RAM 속도로 돌아갑니다. 그래서 Qwen3.8 27B는 16GB 카드에서 겨우 돌아가고, RTX 3090에서는 쾌적하게 돌아갑니다. Gemma 4 31B도 같은 식으로 갈립니다.
16GB 카드라면 양자화를 한 단계 낮춰 RTX 3090과의 차이를 줄일 수 있습니다. 아래 표는 RTX 5060 Ti 16GB에서 Qwen3.8 27B를 양자화별로 판정한 결과이며, 모두 보정된 추정입니다.
| 양자화 | 품질 등급 | 판정 | 속도 | 메모리 |
|---|---|---|---|---|
| Q8_0 | 준무손실 | 불가 | 추정 2.6 tok/s2.1–3.1보정된 추정 ±20% | 16.0 / 16.0GB + RAM 14.8GB |
| Q4_K_M | 균형 | 겨우 가능 | 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% | 16.0 / 16.0GB + RAM 3.2GB |
| IQ4_XS | 균형 | 원활 | 추정 13.4 tok/s10.7–16.1보정된 추정 ±20% | 16.0 / 16.0GB + RAM 1.2GB |
| Q2_K | 손실 큼 | 원활 | 추정 27.6 tok/s24.3–30.9보정된 추정 ±12% | 11.7 / 16.0GB |
IQ4_XS는 Q4_K_M과 같은 균형 등급입니다. 여전히 일부가 시스템 RAM에 남지만, 90% 이상이 GPU에 있어 원활하게 돌아갑니다. Q2_K는 GPU에 전부 들어가지만, 품질은 손실 큼 등급입니다. 등급별 차이는 ‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’ 가이드에 정리했습니다.
24GB는 컨텍스트 여유도 큽니다. Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). 그래서 24GB 카드는 32k로 시작합니다. CanRun 계산으로는 RTX 3090에서 Qwen3.8 27B가 32k에서도 GPU에 전부 들어갑니다. f16 KV 캐시로 64k까지 늘려도 21.9GB라서 GPU에 남습니다. 128k에서는 f16 캐시로는 GPU에 다 들어가지 않습니다. q8_0이나 q4_0 캐시로 바꾸면 어떻게 되는지는 아래 표에 있고, 모두 보정된 추정입니다.
| 컨텍스트 | KV f16 | KV q8_0 | KV q4_0 |
|---|---|---|---|
| 4k | 17.3GB쾌적 추정 37.0 tok/s32.6–41.4보정된 추정 ±12% | 17.2GB쾌적 추정 37.3 tok/s32.8–41.7보정된 추정 ±12% | 17.1GB쾌적 추정 37.4 tok/s32.9–41.9보정된 추정 ±12% |
| 8k | 17.6GB쾌적 추정 36.4 tok/s32.1–40.8보정된 추정 ±12% | 17.3GB쾌적 추정 37.0 tok/s32.5–41.4보정된 추정 ±12% | 17.2GB쾌적 추정 37.2 tok/s32.8–41.7보정된 추정 ±12% |
| 16k | 18.2GB쾌적 추정 35.4 tok/s31.1–39.6보정된 추정 ±12% | 17.7GB쾌적 추정 36.4 tok/s32.0–40.7보정된 추정 ±12% | 17.4GB쾌적 추정 36.9 tok/s32.5–41.4보정된 추정 ±12% |
| 32k | 19.4GB쾌적 추정 33.4 tok/s29.4–37.5보정된 추정 ±12% | 18.4GB쾌적 추정 35.2 tok/s31.0–39.5보정된 추정 ±12% | 17.9GB쾌적 추정 36.3 tok/s31.9–40.7보정된 추정 ±12% |
| 64k | 21.9GB쾌적 추정 30.1 tok/s26.5–33.8보정된 추정 ±12% | 19.9GB쾌적 추정 33.2 tok/s29.2–37.2보정된 추정 ±12% | 18.8GB쾌적 추정 35.1 tok/s30.9–39.3보정된 추정 ±12% |
| 128k | 26.8GB겨우 가능 추정 5.7 tok/s4.6–6.9보정된 추정 ±20% | 22.8GB원활 추정 29.7 tok/s26.2–33.3보정된 추정 ±12% | 20.6GB쾌적 추정 32.9 tok/s29.0–36.9보정된 추정 ±12% |
| 256k | 36.5GB불가 추정 1.6 tok/s1.3–1.9보정된 추정 ±20% | 28.6GB겨우 가능 추정 4.2 tok/s3.4–5.1보정된 추정 ±20% | 24.3GB겨우 가능 추정 12.0 tok/s9.6–14.5보정된 추정 ±20% |
S = 쾌적 · A = 원활 · B = 겨우 가능 · F = 불가
전력도 다릅니다. NVIDIA 레퍼런스 사양 기준으로 RTX 3090은 그래픽카드 전력이 350W, 필요 시스템 전력이 750W입니다. RTX 5060 Ti는 그래픽카드 전력이 180W, 필요 시스템 전력이 600W입니다. 제조사 제품마다 다를 수 있으니, 큰 카드를 고르기 전에 파워와 케이스를 확인하세요.
같은 용량, 다른 가격
CanRun 데이터에서 실거래가가 있는 16GB 카드는 메모리 대역폭이 서로 다릅니다. RX 9060 XT 16GB가 322 GB/s로 가장 낮고, RTX 5080이 960 GB/s로 가장 높습니다. 그 사이에 RTX 5060 Ti 16GB(448 GB/s)와 RTX 5070 Ti(896 GB/s)가 있습니다. 사용 가능 메모리는 모두 15.4GB라서 들어가는 모델은 같습니다.
속도는 판정 기준에 걸친 모델의 결과만 바꿉니다. 생각 모드 때문에 기준이 엄격한 Qwen3 14B는 RX 9060 XT 16GB에서 원활하게 돌아갑니다. RTX 5060 Ti 16GB, RX 9070 XT, RTX 5070 Ti에서는 쾌적하게 돌아갑니다.
AMD·인텔 카드
제조사가 달라도 원리는 같습니다. Radeon RX 9060 XT 16GB와 Radeon RX 9070 XT에는 다른 16GB 카드와 같은 모델이 들어갑니다. Intel Arc B580에는 다른 12GB 카드와 같은 모델이 들어갑니다.
CanRun 속도 추정의 오차 범위는 AMD 카드도 NVIDIA 카드와 같습니다. dense 모델을 GPU에만 올리면 ±12%입니다. 인텔 Arc는 ±20%입니다. 더 큰 차이는 소프트웨어 지원에 있습니다. Ollama GPU 문서는 RX 9070 XT와 RX 9060 XT를 Linux용 ROCm 지원 목록에 올려 두었지만, Windows용 ROCm 목록에는 두 카드가 없습니다. 같은 문서는 그 밖의 카드를 Vulkan으로 지원하고, Vulkan이 기본으로 켜져 있다고 설명합니다(2026년 10월 확인). 그래서 Windows에서는 Ollama가 두 카드를 Vulkan으로 돌립니다. llama.cpp의 Vulkan 성능 토론 글에도 RX 9070 XT와 Arc B580의 공개 벤치마크 결과가 있습니다.
이미 있는 PC라면: 시스템 RAM과 MoE 모델
그래픽카드가 이미 있다면, MoE 모델은 새 GPU보다 시스템 RAM을 늘리는 쪽이 먼저일 수 있습니다. CanRun 계산은 VRAM에 들어가는 만큼 전문가를 GPU에 두고, 나머지만 시스템 RAM에 둡니다. 그리고 토큰마다 고른 전문가만 RAM 속도로 읽습니다. llama.cpp에서는 --n-cpu-moe 옵션이 이런 배치를 만들고, 최신 llama.cpp와 Ollama는 이렇게 자동으로 나눠 올립니다. 카드별로 RAM이 얼마나 필요한지는 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에 정리했습니다.
시스템 RAM이 32GB면 Qwen3.5 35B-A3B는 8GB인 RTX 5060에서도 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. RAM이 16GB면 이 카드에는 들어가지 않습니다. RTX 5060 Ti 16GB는 모델을 VRAM에 더 많이 올릴 수 있습니다. 그래서 CanRun 계산으로는 RAM 16GB로도 원활하게 돌아갑니다. 이 속도도 이론 추정입니다.
gpt-oss-120b는 RAM 용량이 결과를 정합니다. 파일 크기만 63.4GB라서, RAM이 32GB면 표의 어느 카드에도 들어가지 않습니다. RAM이 64GB면 CanRun 계산으로는 표의 12GB 이상 카드에 모두 들어갑니다. 이때 RTX 3060 12GB와 RTX 3090에서는 둘 다 겨우 돌아갑니다. 이 속도는 이론 추정입니다. RAM 64GB로 원활하게 돌아가는 카드는 표에서 RTX 5090뿐입니다. 이 속도도 이론 추정입니다. 8GB인 RTX 5060은 CanRun 계산으로 RAM 64GB에 아주 조금 못 미쳐 96GB로 표시됩니다. 이때도 겨우 돌아가고, 이 속도 역시 이론 추정입니다.
그러니 gpt-oss-120b가 목표라면 새 카드 가격을 보기 전에 시스템 RAM부터 확인하세요. RAM 속도도 영향을 줍니다. CanRun은 DDR5-5600 듀얼 채널을 가정하며, 이보다 느린 RAM에서는 전문가를 읽는 속도도 느려집니다. 전문가를 시스템 RAM에 두는 MoE 속도는 이론 추정(±30%)으로 보세요. NVIDIA 그래픽카드 공개 벤치마크 35건과 비교하면 이 계산의 평균 오차는 약 10%였지만, 40% 가까이 벗어난 구성도 있었습니다.
더 읽을거리
- 필요한 메모리 계산법과 VRAM 구간별 정리: 로컬 LLM 사양 — VRAM 8~32GB로 돌릴 수 있는 모델 (2026)
- 양자화 등급과 파일 크기: GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까
- Ollama 기본 컨텍스트와 바꾸는 방법: 올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값
- 카드별 전체 결과: GeForce RTX 3060 12GB, GeForce RTX 5060 Ti 16GB, GeForce RTX 3090 같은 GPU 페이지
이 숫자는 얼마나 확실한가
메모리 수치는 실제 GGUF 파일 크기와 모델 설정 파일을 바탕으로 공식으로 계산한 값이라 오차 범위를 붙이지 않습니다. 가장 자주 바뀌는 숫자는 가격입니다. 실거래가는 계속 움직이는데, CanRun 데이터는 날짜가 붙은 한 시점의 값입니다.
속도는 추정치라서 오차 범위와 신뢰 라벨을 함께 붙입니다. ‘실측’은 그 카드·모델·양자화 조합의 공개 벤치마크 결과입니다. ‘보정된 추정’은 NVIDIA·AMD 카드에서 dense 모델을 GPU에만 올릴 때 ±12%입니다. MoE, 부분 오프로드, 인텔 Arc 같은 그 밖의 하드웨어에서는 ±20%입니다. ‘이론 추정’은 MoE 전문가를 RAM에 두는 경우처럼 실제 속도의 편차가 큰 구성에 붙이며, ±30%입니다.
모든 판정은 다음 조건을 가정합니다. Windows에서 그 카드가 화면 출력도 맡고, 시스템 RAM은 32GB(DDR5-5600 듀얼 채널)입니다. 8k 컨텍스트와 f16 KV 캐시로 모델 하나를 띄워, 요청을 하나씩 처리합니다. Ollama와 llama.cpp는 메모리를 스스로 추정해 모델을 나눠 올립니다. 그래서 이 글에서 아슬아슬하게 들어가는 모델은 일부가 시스템 RAM으로 넘어갈 수 있습니다. 실제 결과는 ollama ps의 PROCESSOR 열에서 확인하세요.
생각 모드가 있는 모델에는 속도 기준을 1.5배 엄격하게 적용하며, 아래 기준표에는 이 내용이 빠져 있습니다. 이 글에서는 늘 생각하는 gpt-oss-20b·gpt-oss-120b가 여기에 해당합니다. 생각 모드를 켜고 끌 수 있는 Qwen3 14B·Qwen3.8 27B·Qwen3.5 35B-A3B·Gemma 4도 해당합니다. Llama 3.1 8B와 Gemma 3 12B에는 생각 모드가 없습니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
자주 묻는 질문
로컬 LLM용 그래픽카드는 VRAM과 속도 중 무엇이 더 중요한가요?
쓰려는 모델이 다 들어갈 때까지는 VRAM이 더 중요합니다. RTX 5070은 RTX 5060 Ti 16GB보다 메모리가 빠릅니다. 하지만 gpt-oss-20b를 GPU에만 올릴 수 있는 쪽은 16GB 카드입니다. 모델이 들어간 뒤에는 속도가 결과를 가릅니다. Qwen3 14B는 RX 9060 XT 16GB와 RTX 5070 Ti에 모두 들어갑니다. 그런데 앞 카드에서는 원활하게, 뒤 카드에서는 쾌적하게 돌아갑니다.
16GB면 충분한가요, 24GB를 목표로 해야 하나요?
gpt-oss-20b와 14B급 dense 모델까지 쓴다면 16GB로 충분합니다. 30B 안팎의 dense 모델을 GPU에만 올리려면 24GB를 목표로 잡으세요. gpt-oss-20b는 RTX 5060 Ti 16GB에서 쾌적하게 돌아갑니다. Qwen3.8 27B는 17.6GB가 필요해 16GB 카드에서는 겨우 돌아갑니다. 24GB인 RTX 3090에서는 쾌적하게 돌아갑니다. 16GB 카드라도 IQ4_XS로 받으면 원활하게 돌아갑니다.
저렴한 그래픽카드에 시스템 RAM을 많이 달면 큰 모델도 돌릴 수 있나요?
MoE 모델은 돌릴 수 있는 경우가 많지만, 큰 dense 모델은 느리게만 돌아갑니다. RAM이 32GB면 CanRun 계산으로는 8GB인 RTX 5060에도 Qwen3.5 35B-A3B가 들어갑니다. 전문가 대부분을 시스템 RAM에 두는 방식입니다. RAM이 16GB면 들어가지 않습니다. 같은 카드에서 dense 모델인 Qwen3.8 27B는 상당 부분을 시스템 RAM에 두어 겨우 돌아갑니다. gpt-oss-120b는 CanRun 계산으로 12GB 이상 카드라면 RAM 64GB가 필요합니다. 8GB 카드는 64GB에 아주 조금 못 미쳐 96GB로 표시됩니다. 실제 결과는 ollama ps나 llama.cpp 로그로 확인하세요.
AMD·인텔 카드도 NVIDIA 카드와 같은 모델을 돌릴 수 있나요?
메모리 용량이 같으면 CanRun 계산으로는 같은 모델이 들어갑니다. 다만 속도와 소프트웨어 설정은 다릅니다. gpt-oss-20b는 RX 9060 XT 16GB에서도 RTX 5060 Ti 16GB처럼 쾌적하게 돌아갑니다. Qwen3 14B는 Arc B580에서도 RTX 3060 12GB처럼 원활하게 돌아갑니다. 구매 전에는 쓰려는 런타임이 내 운영체제에서 그 카드를 지원하는지 확인하세요.
출처
- NVIDIA GeForce RTX 3060 제품군 사양: RTX 3060의 12GB(192비트)·8GB(128비트) 두 가지 메모리 구성
- NVIDIA GeForce RTX 3090·3090 Ti 사양: 24GB 메모리, 레퍼런스 기준 그래픽카드 전력과 필요 시스템 전력
- NVIDIA GeForce RTX 5060 제품군 사양: RTX 5060 Ti의 메모리 구성, 레퍼런스 기준 전력과 필요 시스템 전력
- Ollama 하드웨어 지원 문서: Windows·Linux별 ROCm 지원 Radeon 목록, 기본으로 켜지는 Vulkan 지원
- Ollama 컨텍스트 길이 문서: GPU 메모리에 따른 기본 컨텍스트
- Ollama FAQ:
ollama ps의 PROCESSOR 열 - llama.cpp 서버 README: 앞쪽 N개 층의 MoE 가중치를 CPU에 두는
--n-cpu-moe N옵션, 자동으로 GPU에 맞춰 올리는--fit(기본 켜짐) - gpt-oss-20b 모델 카드: 전체·활성 파라미터 수, 16GB 메모리 안에서 돌아간다는 설명
- Qwen3.5-35B-A3B 모델 카드: 전체·활성 파라미터 수
- llama.cpp의 gpt-oss 실행 안내 토론: RTX 카드별 llama-bench 결과. 본문의 gpt-oss-20b 공개 벤치마크 결과 출처
- llama.cpp의 Vulkan 성능 토론: Vulkan 백엔드로 잰 Radeon·Arc 카드의 llama-bench 결과
- LocalScore: GeForce RTX 3060, LocalScore: GeForce RTX 4060: 본문의 Llama 3.1 8B 공개 벤치마크 결과 출처
- CanRun GPU 데이터의 실거래가 출처(가격마다 표시된 날짜에 기록): RTX 50 시리즈는 MLQ.ai의 GPU 가격 기사, RTX 3060 12GB와 Radeon·Arc 카드는 Tom's Hardware GPU 섹션입니다. Tom's Hardware 쪽은 리뷰와 구매 가이드를 모아 둔 목록 페이지라 내용이 계속 바뀌고, 지금은 기록한 가격이 보이지 않습니다. RTX 3090과 RTX 4090은 Best Value GPU의 신품·중고 가격 기록(RTX 3090, RTX 4090)입니다.
이 페이지의 속도는 오차 범위와 신뢰 라벨을 붙인 추정치이거나, 출처를 밝힌 공개 벤치마크 결과입니다. 판정은 표마다 적어 둔 구성을 기준으로 합니다.