Qwen3 8B 필요 사양: VRAM과 돌아가는 GPU

Qwen3 8B, 어떤 모델인가요

Qwen3 8B는 알리바바 클라우드의 Qwen 팀이 2025년 4월에 공개한 dense 모델입니다. 생각 모드가 기본으로 켜져 있어 수학·코딩·논리 문제를 단계별로 풉니다. 일상 대화처럼 빨리 답해야 할 때는 생각 모드를 끌 수 있습니다. 100개 넘는 언어와 도구 호출을 지원하고, Apache 2.0 라이선스라 상업적으로도 쓸 수 있습니다.

모델 카드

Qwen3 8B, 돌리기 전에 알아 둘 점

Qwen3 8B는 Q4_K_M으로 8k 컨텍스트를 쓰면 6.5GB가 필요해 8GB 카드에 전부 올라갑니다. GeForce RTX 4060과 GeForce RTX 3060 12GB에서 모두 쾌적하게 돌아갑니다. 작은 카드에서 걸리는 것은 KV 캐시입니다. 기본 최대 컨텍스트인 32k를 f16 KV 캐시로 쓰면 10.3GB가 필요합니다. 8GB 카드에서는 16k만 돼도 일부가 시스템 RAM으로 넘어갑니다. 32k를 GPU에 전부 올리려면 KV 캐시를 q4_0까지 낮춰야 합니다.

이 모델은 기본으로 생각한 뒤에 답합니다. 생각하는 데 토큰을 더 쓰기 때문에 CanRun은 속도 기준을 1.5배 엄격하게 잡습니다. 그래서 느린 하드웨어에서는 Llama 3.1 8B처럼 크기가 비슷한 모델보다 한 단계 낮게 나옵니다. GeForce RTX 3050 8GB에서 이 모델은 원활하게, Llama 3.1 8B는 쾌적하게 돌아갑니다. 생각 모드는 끌 수 있습니다(enable_thinking=False, 또는 메시지에 /no_think — Qwen3-8B 모델 카드). 끄고 쓰면 표보다 판정이 한 단계 올라갈 수 있습니다.

모델 정보

파라미터: 8.2B
어텐션: 풀 어텐션
최대 컨텍스트: 32,768 토큰
공개일: 2025-04-29
모델 카드: Hugging Face의 Qwen3 8B 모델 카드

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델	파라미터	기준 양자화	필요 메모리(8k)	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Qwen3 8B지금 보는 모델	8.2B	Q4_K_M	6.5GB	쾌적	쾌적	쾌적
Qwen3 14B	14.8B	Q4_K_M	10.5GB	겨우 가능	쾌적	쾌적
Qwen3 30B-A3B (2507)	총 30.5B · 활성 3.3B (MoE)	Q4_K_M	19.8GB	원활	원활	쾌적
Qwen3 32B	32.8B	Q4_K_M	22.0GB	불가	겨우 가능	원활

GGUF 파일

등록된 Qwen3 8B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
Q2_K	3.28GB	손실 큼	커뮤니티 GGUF · unsloth
IQ4_XS	4.58GB	균형	커뮤니티 GGUF · unsloth
Q4_K_M기준	5.03GB	균형	커뮤니티 GGUF · unsloth
Q8_0	8.71GB	준무손실	커뮤니티 GGUF · unsloth

일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
양자화	4k	8k	16k	32k
Q2_K	4.2	4.9	6.1	8.7
IQ4_XS	5.4	6.0	7.3	9.9
Q4_K_M	5.8	6.5	7.7	10.3
Q8_0	9.2	9.8	11.1	13.7

Qwen3 8B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

정렬

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 58종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적GeForce RTX 5090에서 Qwen3 8B 판정 보기	234.3 tok/s8k 추정 201.1 tok/s (177.0–225.2, 보정된 추정 ±12%)실측 1건 (512 컨텍스트)	Q4_K_M	7.1 / 32.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$4,200(약 557만 원)
NVIDIA RTX PRO 6000 Blackwell	쾌적	추정 201.1 tok/s177.0–225.2보정된 추정 ±12%	Q4_K_M	7.1 / 96.0GB	풀 GPU	최대 32k	—	—
NVIDIA RTX PRO 6000 Blackwell Max-Q	쾌적	추정 201.1 tok/s177.0–225.2보정된 추정 ±12%	Q4_K_M	7.1 / 96.0GB	풀 GPU	최대 32k	—	—
Radeon RX 7900 XTX	쾌적	추정 117.0 tok/s102.9–131.0보정된 추정 ±12%	Q4_K_M	7.1 / 24.0GB	풀 GPU	최대 32k	—	출시가 US$999(약 132만 원)
GeForce RTX 3090 Ti	쾌적	추정 113.1 tok/s99.5–126.7보정된 추정 ±12%	Q4_K_M	7.1 / 24.0GB	풀 GPU	최대 32k	—	출시가 US$1,999(약 265만 원)
GeForce RTX 4090	쾌적GeForce RTX 4090에서 Qwen3 8B 판정 보기	추정 113.1 tok/s99.5–126.7보정된 추정 ±12%	Q4_K_M	7.1 / 24.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$2,755(약 365만 원)
Apple M5 Ultra · 96GB	쾌적	추정 112.2 tok/s89.8–134.7보정된 추정 ±20%	Q4_K_M	6.8 / 67.2GB	통합 메모리	최대 32k	—	—
GeForce RTX 5080	쾌적	추정 107.7 tok/s94.8–120.7보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 3090	쾌적GeForce RTX 3090에서 Qwen3 8B 판정 보기	추정 105.0 tok/s92.4–117.6보정된 추정 ±12%	Q4_K_M	7.1 / 24.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 3080 12GB	쾌적	추정 102.3 tok/s90.1–114.6보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$799(약 106만 원)
GeForce RTX 5070 Ti	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$949(약 126만 원)
GeForce RTX 5080 Laptop	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	—
GeForce RTX 5090 Laptop	쾌적	추정 100.5 tok/s88.5–112.6보정된 추정 ±12%	Q4_K_M	7.1 / 24.0GB	풀 GPU	최대 32k	—	—
Radeon RX 9070	쾌적	99.3 tok/s8k 추정 78.6 tok/s (69.2–88.0, 보정된 추정 ±12%)실측 2건 (512 컨텍스트)	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 7900 XT	쾌적	추정 97.5 tok/s85.8–109.2보정된 추정 ±12%	Q4_K_M	7.1 / 20.0GB	풀 GPU	최대 32k	—	출시가 US$899(약 119만 원)
GeForce RTX 3080 10GB	쾌적	추정 85.3 tok/s75.1–95.5보정된 추정 ±12%	Q4_K_M	7.1 / 10.0GB	풀 GPU	최대 16k	—	출시가 US$699(약 93만 원)
GeForce RTX 4080 Super	쾌적	추정 82.6 tok/s72.7–92.5보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$999(약 132만 원)
GeForce RTX 4080	쾌적	추정 80.5 tok/s70.8–90.1보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$1,199(약 159만 원)
Radeon RX 9070 XT	쾌적	추정 78.6 tok/s69.2–88.0보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$689(약 91만 원)
Radeon RX 7800 XT	쾌적	추정 76.0 tok/s66.9–85.1보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$499(약 66만 원)
GeForce RTX 4070 Ti Super	쾌적	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$799(약 106만 원)
GeForce RTX 5070	쾌적GeForce RTX 5070에서 Qwen3 8B 판정 보기	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti Laptop	쾌적	추정 75.4 tok/s66.4–84.5보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	—
Apple M3 Ultra · 96GB	쾌적	추정 74.8 tok/s59.9–89.8보정된 추정 ±20%	Q4_K_M	6.8 / 67.2GB	통합 메모리	최대 32k	—	—
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 74.8 tok/s59.8–89.8보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—	—
Apple M2 Ultra · 64GB	쾌적	추정 73.1 tok/s58.5–87.7보정된 추정 ±20%	Q4_K_M	6.8 / 44.8GB	통합 메모리	최대 32k	—	—
GeForce RTX 2080 Ti	쾌적	추정 69.1 tok/s60.8–77.4보정된 추정 ±12%	Q4_K_M	7.1 / 11.0GB	풀 GPU	최대 32k	—	출시가 US$999(약 132만 원)
Apple M4 Max (40-core GPU) · 48GB	쾌적	추정 66.5 tok/s53.2–79.8보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—	—
GeForce RTX 4090 Laptop	쾌적	추정 64.6 tok/s56.9–72.4보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	—
Intel Arc B580	쾌적	61.0 tok/s8k 추정 43.1 tok/s (34.5–51.8, 보정된 추정 ±20%)실측 1건 (8k 컨텍스트)	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 16k	—	2026-08-09 기준 실거래가 US$290(약 38만 원)
GeForce RTX 4070	쾌적GeForce RTX 4070에서 Qwen3 8B 판정 보기	추정 56.6 tok/s49.8–63.3보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599(약 79만 원)
GeForce RTX 4070 Super	쾌적	추정 56.6 tok/s49.8–63.3보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599(약 79만 원)
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 56.0 tok/s44.8–67.3보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	—	—
GeForce GTX 1080 Ti	쾌적	추정 54.3 tok/s38.0–70.6이론 추정 ±30%	Q4_K_M	7.1 / 11.0GB	풀 GPU	최대 32k	—	출시가 US$699(약 93만 원)
GeForce RTX 3070	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$499(약 66만 원)
GeForce RTX 5060	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	—	2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 16GB	쾌적GeForce RTX 5060 Ti 16GB에서 Qwen3 8B 판정 보기	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$569(약 75만 원)
GeForce RTX 5060 Ti 8GB	쾌적	추정 50.3 tok/s44.2–56.3보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	—	2026-08-09 기준 실거래가 US$429(약 57만 원)
Apple M4 Max (32-core GPU) · 36GB	쾌적	추정 50.0 tok/s40.0–59.9보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	—	—
GeForce RTX 4080 Laptop	쾌적	추정 48.5 tok/s42.7–54.3보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 32k	—	—
Apple M5 Pro · 24GB	쾌적	45.4 tok/s8k 추정 37.4 tok/s (29.9–44.9, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	6.8 / 16.8GB	통합 메모리	최대 16k	—	—
NVIDIA DGX Spark · 128GB	쾌적	43.9 tok/s8k 추정 34.1 tok/s (27.3–41.0, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	6.8 / 116.9GB	통합 메모리	최대 8k	—	128GB 구성 출시가 US$3,999(약 530만 원)
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	43.6 tok/s8k 추정 33.7 tok/s (26.9–40.4, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	6.8 / 22.4GB	통합 메모리	최대 8k	—	128GB 구성 출시가 US$1,999(약 265만 원)
GeForce RTX 3060 12GB	쾌적GeForce RTX 3060 12GB에서 Qwen3 8B 판정 보기	추정 40.4 tok/s35.6–45.2보정된 추정 ±12%	Q4_K_M	7.1 / 12.0GB	풀 GPU	최대 16k	—	2026-08-09 기준 실거래가 US$250(약 33만 원)
Radeon RX 9060 XT 16GB	쾌적	추정 39.2 tok/s34.5–43.9보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 16k	—	2026-08-09 기준 실거래가 US$449(약 60만 원)
Apple M4 Pro · 24GB	쾌적Apple M4 Pro에서 Qwen3 8B 판정 보기	추정 33.3 tok/s26.6–39.9보정된 추정 ±20%	Q4_K_M	6.8 / 16.8GB	통합 메모리	최대 8k	—	—
GeForce RTX 4060 Ti 16GB	쾌적	추정 32.3 tok/s28.4–36.2보정된 추정 ±12%	Q4_K_M	7.1 / 16.0GB	풀 GPU	최대 8k	—	출시가 US$499(약 66만 원)
GeForce RTX 4060 Ti 8GB	쾌적	추정 32.3 tok/s28.4–36.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$399(약 53만 원)
GeForce RTX 4060	쾌적GeForce RTX 4060에서 Qwen3 8B 판정 보기	추정 30.5 tok/s26.9–34.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	—	출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop	원활	추정 28.7 tok/s25.3–32.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	IQ4_XS: 쾌적	—
GeForce RTX 4070 Laptop	원활	추정 28.7 tok/s25.3–32.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	IQ4_XS: 쾌적	—
GeForce RTX 3050 8GB	원활	추정 25.1 tok/s22.1–28.2보정된 추정 ±12%	Q4_K_M	7.1 / 8.0GB	풀 GPU	최대 8k	Q2_K (품질 손실 큼): 쾌적	출시가 US$249(약 33만 원)
Apple M5 · 16GB	원활	추정 18.7 tok/s15.0–22.5보정된 추정 ±20%	Q4_K_M	6.8 / 11.2GB	통합 메모리	최대 16k	—	—
Apple M6 · 16GB	원활	추정 18.7 tok/s15.0–22.5보정된 추정 ±20%	Q4_K_M	6.8 / 11.2GB	통합 메모리	최대 16k	—	—
Apple M4 · 16GB	원활Apple M4에서 Qwen3 8B 판정 보기	추정 14.6 tok/s11.7–17.5보정된 추정 ±20%	Q4_K_M	6.8 / 11.2GB	통합 메모리	최대 16k	—	—
DDR5-6000 듀얼채널 CPU · 16GB	겨우 가능	추정 7.7 tok/s6.2–9.2보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	—	—
DDR5-5600 듀얼채널 CPU · 16GB	겨우 가능	추정 7.2 tok/s5.7–8.6보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	—	—
DDR4-3200 듀얼채널 CPU · 16GB	겨우 가능	추정 4.1 tok/s3.3–4.9보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 16k	—	—

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

쾌적GeForce RTX 3060 12GB2026-08-09 기준 실거래가 US$250(약 33만 원), 속도 추정 40.4 tok/s (35.6–45.2, 보정된 추정 ±12%)

Qwen3 8B 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Qwen3 8B 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
GeForce RTX 5090	Q4_K_XL	llama.cpp	16k	—	145.3	—	hardware-corner.net	2026-08-09
GeForce RTX 4090	Q4_K_XL	llama.cpp	16k	—	104.3	—	hardware-corner.net	2026-08-09
GeForce RTX 3090	Q4_K_XL	llama.cpp	16k	—	87.5	—	hardware-corner.net	2026-08-09
GeForce RTX 3060 12GB	Q4_K_XL	llama.cpp	16k	—	42.0	—	hardware-corner.net	2026-08-09
GeForce RTX 4090	Q4_K_XL	llama.cpp	4k	9,251.0	141.3	CUDA	hardware-corner.net	2026-03-01
GeForce RTX 5090	Q4_K_XL	llama.cpp	4k	11,933.0	200.4	CUDA	hardware-corner.net	2026-03-02
GeForce RTX 3090	Q4_K_XL	llama.cpp	4k	4,050.0	115.3	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 3060 12GB	Q4_K_XL	llama.cpp	4k	1,697.0	55.2	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 3090 Ti	Q4_K_XL	llama.cpp	4k	4,468.0	123.7	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4060 Ti 16GB	Q4_K_XL	llama.cpp	4k	2,675.0	45.8	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4070 Super	Q4_K_XL	llama.cpp	4k	4,322.0	75.4	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4070 Ti Super	Q4_K_XL	llama.cpp	4k	5,220.0	96.3	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4070	Q4_K_XL	llama.cpp	4k	3,564.0	71.2	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4080 Super	Q4_K_XL	llama.cpp	4k	6,137.0	104.2	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 4080	Q4_K_XL	llama.cpp	4k	6,178.0	102.7	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5060 Ti 16GB	Q4_K_XL	llama.cpp	4k	2,965.0	69.2	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5070 Ti	Q4_K_XL	llama.cpp	4k	5,557.0	120.5	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5070	Q4_K_XL	llama.cpp	4k	3,488.0	85.8	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5080	Q4_K_XL	llama.cpp	4k	6,410.0	129.1	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 3080 10GB	Q4_K_XL	llama.cpp	16k	2,288.0	74.2	CUDA	hardware-corner.net	2025-12-09
GeForce RTX 5090	Q4_K_M	llama.cpp	512	—	234.3	CUDA, KV q8_0	github.com	2026-10-07
GeForce RTX 5090	Q8_0	llama.cpp	512	10,787.0	136.2	CUDA	github.com	2025-10-16
Radeon RX 9070	Q4_K_M	llama.cpp	512	2,635.0	109.9	Vulkan	github.com	2026-09-06
Radeon RX 9070	Q4_K_M	llama.cpp	512	3,447.0	88.7	ROCm	github.com	2026-09-07
Intel Arc B580	Q4_K_M	ollama	8k	—	61.0	Vulkan	github.com	2026-08-27
Ryzen AI Max+ 395 (Strix Halo)	Q4_K_M	llama.cpp	512	1,238.0	43.6	Vulkan	github.com	2026-09-08
NVIDIA DGX Spark	Q4_K_M	llama.cpp	512	3,168.0	43.9	CUDA	github.com	2025-12-05
Apple M5 Pro	Q4_K_M	llama.cpp	512	1,223.0	45.4	Metal	github.com	2026-09-08
Apple M5	Q8_0	llama.cpp	512	712.0	16.1	Metal, KV q8_0	andoriyanishant.com	2026-09-13

자주 묻는 질문

Qwen3 8B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 파일은 5.03GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 6.5GB가 필요합니다(가중치 4.67GB, KV 캐시 1.2GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 4.9GB가 필요합니다. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.

Qwen3 8B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 2026-08-09 기준 US$250(약 33만 원)이고, 속도는 추정 40.4 tok/s (35.6–45.2, 보정된 추정 ±12%)입니다.

Qwen3 8B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 쾌적, 추정 30.5 tok/s (26.9–34.2, 보정된 추정 ±12%); GeForce RTX 5060 Ti 16GB: 쾌적, 추정 50.3 tok/s (44.2–56.3, 보정된 추정 ±12%); GeForce RTX 3090: 쾌적, 추정 105.0 tok/s (92.4–117.6, 보정된 추정 ±12%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.