Qwen3 8B 필요 사양: VRAM과 돌아가는 GPU

모델 정보

파라미터: 8.2B
어텐션: 풀 어텐션
최대 컨텍스트: 32,768 토큰
공개일: 2025-04-29
모델 카드: Hugging Face의 Qwen3 8B 모델 카드

GGUF 파일

등록된 Qwen3 8B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
Q2_K	3.28GB	손실 큼	커뮤니티 GGUF · unsloth
IQ4_XS	4.58GB	균형	커뮤니티 GGUF · unsloth
Q4_K_M기준	5.03GB	균형	커뮤니티 GGUF · unsloth
Q8_0	8.71GB	준무손실	커뮤니티 GGUF · unsloth

일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.

양자화·컨텍스트별 필요 메모리

가중치 + f16 KV 캐시 + 연산 버퍼(GB). Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화	4k	8k	16k	32k
Q2_K	4.4	5.1	6.3	8.9
IQ4_XS	5.7	6.4	7.6	10.2
Q4_K_M	6.2	6.8	8.1	10.7
Q8_0	9.9	10.5	11.8	14.3

Qwen3 8B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

정렬

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 54종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적	추정 201.1 tok/s177.0–225.2보정된 추정 ±12%	Q4_K_M	7.4 / 32.0GB	풀 GPU	최대 32k	—	실거래가 US$4,200 (2026-08-09 기준)
Radeon RX 7900 XTX	쾌적	추정 120.0 tok/s105.6–134.4보정된 추정 ±12%	Q4_K_M	7.4 / 24.0GB	풀 GPU	최대 32k	—	출시가 US$999
GeForce RTX 3090 Ti	쾌적	추정 113.1 tok/s99.5–126.7보정된 추정 ±12%	Q4_K_M	7.4 / 24.0GB	풀 GPU	최대 32k	—	출시가 US$1,999
GeForce RTX 4090	쾌적	추정 113.1 tok/s99.5–126.7보정된 추정 ±12%	Q4_K_M	7.4 / 24.0GB	풀 GPU	최대 32k	—	실거래가 US$2,755 (2026-08-09 기준)
GeForce RTX 5080	쾌적	추정 107.7 tok/s94.8–120.7보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$1,256 (2026-08-09 기준)
GeForce RTX 3090	쾌적	추정 105.0 tok/s92.4–117.6보정된 추정 ±12%	Q4_K_M	7.4 / 24.0GB	풀 GPU	최대 32k	—	실거래가 US$1,050 (2026-08-09 기준)
GeForce RTX 3080 12GB	쾌적	추정 102.3 tok/s90.1–114.6보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$799
GeForce RTX 5070 Ti	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$949 (2026-08-09 기준)
GeForce RTX 5080 Laptop	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	—
GeForce RTX 5090 Laptop	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.4 / 24.0GB	풀 GPU	최대 32k	—	—
Radeon RX 7900 XT	쾌적	추정 100.0 tok/s88.0–112.0보정된 추정 ±12%	Q4_K_M	7.4 / 20.0GB	풀 GPU	최대 32k	—	출시가 US$899
GeForce RTX 3080 10GB	쾌적	추정 85.3 tok/s75.1–95.5보정된 추정 ±12%	Q4_K_M	7.4 / 10.0GB	풀 GPU	최대 16k	—	출시가 US$699
GeForce RTX 4080 Super	쾌적	추정 82.6 tok/s72.7–92.5보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$999
Radeon RX 9070	쾌적	추정 80.7 tok/s71.0–90.3보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$639 (2026-08-09 기준)
Radeon RX 9070 XT	쾌적	추정 80.7 tok/s71.0–90.3보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$689 (2026-08-09 기준)
GeForce RTX 4080	쾌적	추정 80.5 tok/s70.8–90.1보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$1,199
Radeon RX 7800 XT	쾌적	추정 78.0 tok/s68.7–87.4보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$499
GeForce RTX 4070 Ti Super	쾌적	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$799
GeForce RTX 5070	쾌적	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	실거래가 US$629 (2026-08-09 기준)
GeForce RTX 5070 Ti Laptop	쾌적	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	—
GeForce RTX 2080 Ti	쾌적	추정 69.1 tok/s60.8–77.4보정된 추정 ±12%	Q4_K_M	7.4 / 11.0GB	풀 GPU	최대 16k	—	출시가 US$999
GeForce RTX 4090 Laptop	쾌적	추정 64.6 tok/s56.9–72.4보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	—
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 59.1 tok/s47.2–70.9보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—	—
Apple M3 Ultra · 96GB	쾌적	추정 57.8 tok/s46.2–69.3보정된 추정 ±20%	Q4_K_M	6.8 / 67.2GB	통합 메모리	최대 32k	—	—
GeForce RTX 4070	쾌적	추정 56.6 tok/s49.8–63.3보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599
GeForce RTX 4070 Super	쾌적	추정 56.6 tok/s49.8–63.3보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599
Apple M2 Ultra · 64GB	쾌적	추정 56.4 tok/s45.1–67.7보정된 추정 ±20%	Q4_K_M	6.8 / 44.8GB	통합 메모리	최대 32k	—	—
GeForce GTX 1080 Ti	쾌적	추정 54.3 tok/s38.0–70.6이론 추정 ±30%	Q4_K_M	7.4 / 11.0GB	풀 GPU	최대 16k	—	출시가 US$699
Apple M4 Max (40-core GPU) · 48GB	쾌적	추정 52.5 tok/s42.0–63.0보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—	—
GeForce RTX 3070	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$499
GeForce RTX 5060	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	실거래가 US$339 (2026-08-09 기준)
GeForce RTX 5060 Ti 16GB	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$569 (2026-08-09 기준)
GeForce RTX 5060 Ti 8GB	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	실거래가 US$429 (2026-08-09 기준)
GeForce RTX 4080 Laptop	쾌적	추정 48.5 tok/s42.7–54.3보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	—
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 44.2 tok/s35.4–53.1보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	—	—
Intel Arc B580	쾌적	추정 43.1 tok/s34.5–51.8보정된 추정 ±20%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	실거래가 US$290 (2026-08-09 기준)
GeForce RTX 3060 12GB	쾌적	추정 40.4 tok/s35.6–45.2보정된 추정 ±12%	Q4_K_M	7.4 / 12.0GB	풀 GPU	최대 32k	—	실거래가 US$250 (2026-08-09 기준)
Radeon RX 9060 XT 16GB	쾌적	추정 40.3 tok/s35.4–45.1보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	실거래가 US$449 (2026-08-09 기준)
Apple M4 Max (32-core GPU) · 36GB	쾌적	추정 39.4 tok/s31.5–47.3보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	—	—
GeForce RTX 4060 Ti 16GB	쾌적	추정 32.3 tok/s28.4–36.2보정된 추정 ±12%	Q4_K_M	7.4 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$499
GeForce RTX 4060 Ti 8GB	쾌적	추정 32.3 tok/s28.4–36.2보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$399
GeForce RTX 4060	쾌적	추정 30.5 tok/s26.9–34.2보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$299
Apple M5 Pro · 24GB	쾌적	추정 29.5 tok/s23.6–35.4보정된 추정 ±20%	Q4_K_M	6.8 / 16.8GB	통합 메모리	최대 16k	—	—
GeForce RTX 4060 Laptop	쾌적	추정 28.7 tok/s25.3–32.2보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	—
GeForce RTX 4070 Laptop	쾌적	추정 28.7 tok/s25.3–32.2보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	추정 26.7 tok/s21.3–32.0보정된 추정 ±20%	Q4_K_M	6.8 / 22.4GB	통합 메모리	최대 16k	—	출시가 US$1,999
Apple M4 Pro · 24GB	쾌적	추정 26.3 tok/s21.0–31.5보정된 추정 ±20%	Q4_K_M	6.8 / 16.8GB	통합 메모리	최대 16k	—	—
GeForce RTX 3050 8GB	쾌적	추정 25.1 tok/s22.1–28.2보정된 추정 ±12%	Q4_K_M	7.4 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$249
NVIDIA DGX Spark · 128GB	원활	추정 17.5 tok/s14.0–21.0보정된 추정 ±20%	Q4_K_M	6.8 / 89.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적	출시가 US$3,999
Apple M5 · 16GB	원활	추정 14.8 tok/s11.8–17.7보정된 추정 ±20%	Q4_K_M	6.8 / 11.2GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적	—
Apple M4 · 16GB	원활	추정 11.5 tok/s9.2–13.9보정된 추정 ±20%	Q4_K_M	6.8 / 11.2GB	통합 메모리	최대 16k	—	—
DDR5-6000 듀얼채널 CPU · 16GB	겨우 가능	추정 7.7 tok/s6.2–9.2보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	—	—
DDR5-5600 듀얼채널 CPU · 16GB	겨우 가능	추정 7.2 tok/s5.7–8.6보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	—	—
DDR4-3200 듀얼채널 CPU · 16GB	겨우 가능	추정 4.1 tok/s3.3–4.9보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	—	—

가장 싸게 돌릴 수 있는 GPU

쾌적GeForce RTX 3060 12GB실거래가 US$250 (2026-08-09 기준), 속도 추정 40.4 tok/s (35.6–45.2, 보정된 추정 ±12%)

Qwen3 8B 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Qwen3 8B 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
GeForce RTX 5090	Q4_K_XL	llama.cpp	16k	—	145.3	—	hardware-corner.net	2026-08-09
GeForce RTX 4090	Q4_K_XL	llama.cpp	16k	—	104.3	—	hardware-corner.net	2026-08-09
GeForce RTX 3090	Q4_K_XL	llama.cpp	16k	—	87.5	—	hardware-corner.net	2026-08-09
GeForce RTX 3060 12GB	Q4_K_XL	llama.cpp	16k	—	42.0	—	hardware-corner.net	2026-08-09

자주 묻는 질문

Qwen3 8B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 기준으로 가중치가 5.03GB이고, 8k 컨텍스트까지 더하면 약 6.8GB가 필요합니다(KV 캐시 1.2GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 5.1GB가 필요합니다.

Qwen3 8B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 US$250(2026-08-09 기준)이고, 속도는 추정 40.4 tok/s (35.6–45.2, 보정된 추정 ±12%)입니다.

Qwen3 8B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 쾌적, 추정 30.5 tok/s (26.9–34.2, 보정된 추정 ±12%); GeForce RTX 5060 Ti 16GB: 쾌적, 추정 50.3 tok/s (44.2–56.3, 보정된 추정 ±12%); GeForce RTX 3090: 쾌적, 추정 105.0 tok/s (92.4–117.6, 보정된 추정 ±12%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.