GeForce RTX 5090에서 돌아가는 로컬 LLM

시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.

GeForce RTX 5090 사용자가 알아 둘 점

RTX 5090은 VRAM 32GB에 메모리 대역폭이 1,792 GB/s입니다. Qwen3 32B와 Gemma 4 31B 같은 32B급 dense 모델은 Q4_K_M으로 여유 있게 올라가 쾌적하게 돌아갑니다. 24GB 카드보다 8GB가 더 많아서, 24GB를 조금 넘는 모델에서 차이가 납니다. Nemotron 3.5 Lightning 30B-A3B는 25.1GB가 필요합니다. 이 카드에는 전부 올라가지만 GeForce RTX 4090에서는 전문가 일부를 시스템 RAM에 둬야 합니다. 컨텍스트 여유도 커서 Gemma 4 31B를 64k로 늘려도 GPU에 전부 올라갑니다. 24GB 카드로는 안 되는 일입니다.

32GB로도 70B는 부족합니다. Llama 3.3 70B는 Q4_K_M 기준 45.2GB가 필요해 시스템 RAM과 나눠 올리면 느리게 돌아갑니다. gpt-oss-120b는 시스템 RAM 32GB로는 올라가지 않습니다. 64GB면 전문가를 RAM에 두고 올라갑니다. 다만 이 구성의 속도는 이론 추정이고, 아래 표의 공개 벤치마크는 이 추정보다 한참 낮게 나왔습니다.

CanRun 데이터의 가격은 2026-08-09 기준 실거래가 US$4,200입니다. gpt-oss-120b를 전부 올리려면 통합 메모리가 큰 기기가 필요합니다. 예를 들어 128GB Ryzen AI Max+ 395 (Strix Halo)에서는 쾌적하게 돌아갑니다.

사양

VRAM: 32GB
메모리 대역폭: 1,792.0 GB/s
FP16 연산: 104.8 TFLOPS
출시 연도: 2025
가격: 2026-08-09 기준 실거래가 US$4,200(약 557만 원)
다른 표기: 5090, RTX5090

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

쾌적49개원활1개겨우 가능1개불가8개양자화를 더 낮추면 2개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

GeForce RTX 5090 전체 모델 판정

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순)
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 1,407.3 tok/s1,238.5–1,576.2보정된 추정 ±12%	Q4_K_M	1.9 / 32.0GB	풀 GPU	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 1,163.2 tok/s1,023.6–1,302.7보정된 추정 ±12%	Q4_K_M	2.2 / 32.0GB	풀 GPU	최대 128k	—
EXAONE 4.0 1.2B	쾌적	추정 955.1 tok/s840.5–1,069.8보정된 추정 ±12%	Q4_K_M	2.5 / 32.0GB	풀 GPU	최대 64k	생각 모드
LFM2.5 2.6B	쾌적	추정 695.3 tok/s486.7–903.8이론 추정 ±30%	Q4_K_M	3.0 / 32.0GB	풀 GPU	최대 128k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 691.0 tok/s608.1–773.9보정된 추정 ±12%	Q4_K_M	3.0 / 32.0GB	풀 GPU	최대 16k	—
MiniCPM5 2B	쾌적	추정 656.0 tok/s577.2–734.7보정된 추정 ±12%	Q4_K_M	2.9 / 32.0GB	풀 GPU	최대 128k	생각 모드
Ling-3.0 Tiny	쾌적	추정 485.1 tok/s339.6–630.7이론 추정 ±30%	Q4_K_M	5.9 / 32.0GB	풀 GPU	최대 128k	생각 모드
Spark-X2.5 4B	쾌적	추정 432.3 tok/s380.4–484.1보정된 추정 ±12%	Q4_K_M	4.1 / 32.0GB	풀 GPU	최대 256k	생각 모드
Llama 3.2 3B	쾌적	추정 423.9 tok/s373.0–474.7보정된 추정 ±12%	Q4_K_M	4.1 / 32.0GB	풀 GPU	최대 128k	—
Qwen3.5 4B	쾌적	추정 404.8 tok/s356.3–453.4보정된 추정 ±12%	Q4_K_M	4.2 / 32.0GB	풀 GPU	최대 256k	생각 모드
Gemma 4 E2B	쾌적	341.8 tok/s8k 추정 386.7 tok/s (270.7–502.7, 이론 추정 ±30%)실측 1건 (512 컨텍스트)	Q4_K_M	2.7 / 32.0GB	풀 GPU	최대 128k	생각 모드
Mellum2.1 12B-A2.5B Thinking	쾌적	추정 334.9 tok/s267.9–401.8보정된 추정 ±20%	Q4_K_M	9.2 / 32.0GB	풀 GPU	최대 128k	생각 모드
Nemotron 3.5 Lightning 30B-A3B	쾌적	추정 305.7 tok/s214.0–397.4이론 추정 ±30%	Q4_K_M	25.7 / 32.0GB	풀 GPU	최대 256k	생각 모드
gpt-oss-20b	쾌적GeForce RTX 5090에서 gpt-oss-20b 판정 보기	282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 32.0GB	풀 GPU	최대 128k	생각 모드
MiniCPM-V 4.7 35B-A3B	쾌적	추정 239.5 tok/s191.6–287.4보정된 추정 ±20%	Q4_K_M	22.2 / 32.0GB	풀 GPU	최대 256k	생각 모드
Qwen3 8B	쾌적GeForce RTX 5090에서 Qwen3 8B 판정 보기	234.3 tok/s8k 추정 201.1 tok/s (177.0–225.2, 보정된 추정 ±12%)실측 1건 (512 컨텍스트)	Q4_K_M	7.1 / 32.0GB	풀 GPU	최대 32k	생각 모드
Gemma 4 E4B	쾌적	234.0 tok/s8k 추정 257.7 tok/s (180.4–335.0, 이론 추정 ±30%)실측 1건 (512 컨텍스트)	Q4_K_M	4.3 / 32.0GB	풀 GPU	최대 128k	생각 모드
Kanana 1.5 15.7B-A3B	쾌적	추정 233.4 tok/s186.7–280.1보정된 추정 ±20%	Q4_K_M	12.5 / 32.0GB	풀 GPU	최대 32k	—
Qwen3.6 35B-A3B	쾌적GeForce RTX 5090에서 Qwen3.6 35B-A3B 판정 보기	추정 229.8 tok/s183.9–275.8보정된 추정 ±20%	Q4_K_M	22.4 / 32.0GB	풀 GPU	최대 256k	생각 모드
Gemma 4 26B-A4B	쾌적GeForce RTX 5090에서 Gemma 4 26B-A4B 판정 보기	216.1 tok/s8k 추정 210.4 tok/s (168.3–252.4, 보정된 추정 ±20%)실측 2건 (512/8k 컨텍스트)	Q4_K_M	18.3 / 32.0GB	풀 GPU	최대 256k	생각 모드
Qwen3.5 35B-A3B	쾌적GeForce RTX 5090에서 Qwen3.5 35B-A3B 판정 보기	추정 213.4 tok/s170.7–256.0보정된 추정 ±20%	Q4_K_M	22.9 / 32.0GB	풀 GPU	최대 256k	생각 모드
DeepSeek R1 Distill Llama 8B	쾌적	추정 209.3 tok/s184.2–234.4보정된 추정 ±12%	Q4_K_M	6.9 / 32.0GB	풀 GPU	최대 128k	생각 모드
Kanana 1.5 8B	쾌적	추정 209.3 tok/s184.2–234.4보정된 추정 ±12%	Q4_K_M	6.9 / 32.0GB	풀 GPU	최대 32k	—
Llama 3.1 8B	쾌적GeForce RTX 5090에서 Llama 3.1 8B 판정 보기	추정 209.3 tok/s184.2–234.4보정된 추정 ±12%	Q4_K_M	6.9 / 32.0GB	풀 GPU	최대 128k	—
Nanbeige4.2 3B	쾌적	추정 204.8 tok/s143.3–266.2이론 추정 ±30%	Q4_K_M	5.0 / 32.0GB	풀 GPU	최대 128k	생각 모드
Qwen3.5 9B	쾌적GeForce RTX 5090에서 Qwen3.5 9B 판정 보기	추정 204.4 tok/s179.8–228.9보정된 추정 ±12%	Q4_K_M	6.6 / 32.0GB	풀 GPU	최대 256k	생각 모드
DeepSeek R1 0528 Qwen3 8B	쾌적	추정 201.1 tok/s177.0–225.2보정된 추정 ±12%	Q4_K_M	7.1 / 32.0GB	풀 GPU	최대 128k	생각 모드
Qwen3 30B-A3B (2507)	쾌적GeForce RTX 5090에서 Qwen3 30B-A3B (2507) 판정 보기	추정 195.0 tok/s156.0–234.1보정된 추정 ±20%	Q4_K_M	20.4 / 32.0GB	풀 GPU	최대 64k	—
K2-Horizon 7B	쾌적	추정 184.5 tok/s162.4–206.7보정된 추정 ±12%	Q4_K_M	7.4 / 32.0GB	풀 GPU	최대 128k	생각 모드
Gemma 4 12B	쾌적GeForce RTX 5090에서 Gemma 4 12B 판정 보기	추정 172.9 tok/s152.2–193.7보정된 추정 ±12%	Q4_K_M	8.4 / 32.0GB	풀 GPU	최대 256k	생각 모드
Gemma 3 12B	쾌적GeForce RTX 5090에서 Gemma 3 12B 판정 보기	추정 160.1 tok/s140.9–179.3보정된 추정 ±12%	Q4_K_M	9.0 / 32.0GB	풀 GPU	최대 128k	—
K2-Horizon MoVA 36B-A4B	쾌적	추정 149.6 tok/s104.7–194.5이론 추정 ±30%	Q4_K_M	24.8 / 32.0GB	풀 GPU	최대 32k	생각 모드
HyperCLOVA X SEED Think 14B	쾌적	추정 123.0 tok/s86.1–160.0이론 추정 ±30%	Q4_K_M	11.0 / 32.0GB	풀 GPU	최대 128k	생각 모드
Qwen3 14B	쾌적GeForce RTX 5090에서 Qwen3 14B 판정 보기	추정 121.3 tok/s106.7–135.8보정된 추정 ±12%	Q4_K_M	11.1 / 32.0GB	풀 GPU	최대 32k	생각 모드
DeepSeek R1 Distill Qwen 14B	쾌적	추정 118.3 tok/s104.1–132.5보정된 추정 ±12%	Q4_K_M	11.3 / 32.0GB	풀 GPU	최대 64k	생각 모드
Phi-4	쾌적	추정 116.9 tok/s102.9–131.0보정된 추정 ±12%	Q4_K_M	11.6 / 32.0GB	풀 GPU	최대 16k	—
Qwen3.8 27B	쾌적GeForce RTX 5090에서 Qwen3.8 27B 판정 보기	81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트)	Q4_K_M	18.2 / 32.0GB	풀 GPU	최대 128k	생각 모드
Mistral Small 3.2 24B	쾌적	추정 80.0 tok/s70.4–89.6보정된 추정 ±12%	Q4_K_M	16.5 / 32.0GB	풀 GPU	최대 64k	—
Gemma 3 27B	쾌적	추정 72.8 tok/s64.1–81.6보정된 추정 ±12%	Q4_K_M	18.4 / 32.0GB	풀 GPU	최대 128k	—
Qwen3.6 27B	쾌적	추정 72.3 tok/s63.6–80.9보정된 추정 ±12%	Q4_K_M	17.8 / 32.0GB	풀 GPU	최대 128k	생각 모드
Muse Glimmer 30B	쾌적	추정 72.0 tok/s63.4–80.7보정된 추정 ±12%	Q4_K_M	17.8 / 32.0GB	풀 GPU	최대 128k	생각 모드
Qwen3.5 27B	쾌적GeForce RTX 5090에서 Qwen3.5 27B 판정 보기	추정 71.1 tok/s62.6–79.6보정된 추정 ±12%	Q4_K_M	17.8 / 32.0GB	풀 GPU	최대 128k	생각 모드
Gemma 4 31B	쾌적GeForce RTX 5090에서 Gemma 4 31B 판정 보기	추정 66.1 tok/s58.1–74.0보정된 추정 ±12%	Q4_K_M	20.1 / 32.0GB	풀 GPU	최대 128k	생각 모드
Granite 4.2 30B	쾌적	추정 63.1 tok/s55.6–70.7보정된 추정 ±12%	Q4_K_M	20.8 / 32.0GB	풀 GPU	최대 32k	생각 모드
EXAONE 4.0 32B	쾌적	추정 63.1 tok/s55.5–70.7보정된 추정 ±12%	Q4_K_M	20.8 / 32.0GB	풀 GPU	최대 128k	생각 모드
EXAONE 4.5 33B	쾌적	추정 60.9 tok/s53.6–68.2보정된 추정 ±12%	Q4_K_M	21.0 / 32.0GB	풀 GPU	최대 128k	생각 모드
DeepSeek R1 Distill Qwen 32B	쾌적	추정 57.0 tok/s50.2–63.9보정된 추정 ±12%	Q4_K_M	22.7 / 32.0GB	풀 GPU	최대 32k	생각 모드
Nanbeige4.3 33B	쾌적	추정 55.7 tok/s49.0–62.3보정된 추정 ±12%	Q4_K_M	23.0 / 32.0GB	풀 GPU	최대 32k	생각 모드
Qwen3 32B	쾌적GeForce RTX 5090에서 Qwen3 32B 판정 보기	53.3 tok/s8k 추정 57.3 tok/s (50.4–64.1, 보정된 추정 ±12%)실측 1건 (512 컨텍스트)	Q4_K_M	22.6 / 32.0GB	풀 GPU	최대 32k	생각 모드
Kolibri 1	원활	추정 83.3 tok/s58.3–108.3이론 추정 ±30%	Q4_K_M	30.1 / 32.0GB + RAM 21.0GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. Q2_K (품질 손실 큼): 쾌적 생각 모드
Llama 3.3 70B	겨우 가능GeForce RTX 5090에서 Llama 3.3 70B 판정 보기	추정 2.7 tok/s2.2–3.3보정된 추정 ±20%	Q4_K_M	32.0 / 32.0GB + RAM 14.4GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적
Qwen3.5 122B-A10B	불가UD-Q2_K_XL (품질 손실 큼): 원활GeForce RTX 5090에서 Qwen3.5 122B-A10B 판정 보기	추정 66.4 tok/s46.5–86.3이론 추정 ±30%	UD-Q2_K_XL	31.0 / 32.0GB + RAM 13.2GB	MoE 전문가 RAM 배치	최대 256k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다. RAM 64GB라면: 겨우 가능 생각 모드
Solar Open 100B	불가IQ4_XS: 겨우 가능	추정 21.9 tok/s15.3–28.4이론 추정 ±30%	IQ4_XS	30.8 / 32.0GB + RAM 27.5GB	MoE 전문가 RAM 배치	최대 8k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다. Q2_K (품질 손실 큼): 원활 RAM 64GB라면: 겨우 가능 생각 모드
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.1GB 필요	—	—	약 155.1GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	181.4GB 필요	—	—	약 181.4GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. 생각 모드
gpt-oss-120b	불가GeForce RTX 5090에서 gpt-oss-120b 판정 보기	—	MXFP4	63.6GB 필요	—	—	약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. RAM 64GB라면: 원활 생각 모드
Laguna S 2.1	불가	—	Q4_K_M	68.5GB 필요	—	—	약 68.5GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. RAM 64GB라면: 겨우 가능 생각 모드
Ling-3.0 Flash	불가	—	Q4_K_M	75.4GB 필요	—	—	약 75.4GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. RAM 64GB라면: 원활 생각 모드
Solar Open 2 250B	불가	—	IQ4_XS	136.5GB 필요	—	—	약 136.5GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다. RAM 128GB라면: 겨우 가능 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

GeForce RTX 5090 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

GeForce RTX 5090 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
llama-2-7b	Q4_0	llama.cpp	512	14,073.0	290.0	—	github.com	2025-10-23
gpt-oss-20b	MXFP4	llama.cpp	2k	9,841.0	282.3	—	github.com	2025-08-20
Qwen3 8B	Q4_K_XL	llama.cpp	16k	—	145.3	—	hardware-corner.net	2026-08-09
Qwen3 30B-A3B (2507)	Q4_K_XL	llama.cpp	16k	—	141.6	—	hardware-corner.net	2026-08-09
gpt-oss-120b	MXFP4	llama.cpp	4k	—	9.6	--n-cpu-moe 21, DDR4 server	hardware-corner.net	2026-08-09
Gemma 4 26B-A4B	Q4_K_M	llama.cpp	512	13,588.0	223.8	CUDA, KV q8_0	github.com	2026-05-24
Gemma 4 26B-A4B	Q4_K_M	ollama	8k	—	208.4	CUDA, FA off	github.com	2026-04-05
Qwen3.8 27B	Q4_K_M	llama.cpp	1k	3,972.0	81.8	CUDA	github.com	2026-09-12
Qwen3 8B	Q4_K_XL	llama.cpp	4k	11,933.0	200.4	CUDA	hardware-corner.net	2026-03-02
Qwen3 32B	Q4_K_XL	llama.cpp	4k	2,931.0	61.4	CUDA	hardware-corner.net	2025-12-09
Qwen3 8B	Q4_K_M	llama.cpp	512	—	234.3	CUDA, KV q8_0	github.com	2026-10-07
Qwen3 8B	Q8_0	llama.cpp	512	10,787.0	136.2	CUDA	github.com	2025-10-16
Qwen3 32B	Q4_K_M	llama.cpp	512	3,446.0	53.3	CUDA	github.com	2026-09-15
Gemma 4 E4B	Q4_K_M	llama.cpp	512	—	234.0	Vulkan	github.com	2026-09-08
Gemma 4 E2B	Q4_K_M	llama.cpp	512	—	341.8	Vulkan	github.com	2026-09-08

자주 묻는 질문

GeForce RTX 5090에 통째로 올라가는 가장 큰 모델은 무엇인가요?

K2-Horizon MoVA 36B-A4B Q4_K_M(22.37GB 파일)입니다. 8k 컨텍스트에서 32GB에 전부 올라가고, 속도는 추정 149.6 tok/s (104.7–194.5, 이론 추정 ±30%)입니다.

GeForce RTX 5090에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 59개를 보면 쾌적 49개, 원활 1개, 겨우 가능 1개, 불가 8개입니다.

GeForce RTX 5090에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

Q4_K_M, 부분 오프로드 기준 판정: 겨우 가능, 속도: 추정 2.7 tok/s (2.2–3.3, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.