DeepSeek R1 Distill Qwen 32B(딥시크 R1) 필요 사양: VRAM과 돌아가는 GPU

DeepSeek R1 Distill Qwen 32B, 어떤 모델인가요

DeepSeek R1 Distill Qwen 32B는 DeepSeek가 2025년 1월에 공개한 리즈닝 모델입니다. Qwen2.5-32B를 DeepSeek-R1이 생성한 데이터로 미세 조정해 수학·코딩·리즈닝 문제에 맞췄습니다. 모델 카드는 temperature 0.6 안팎을 권하고, 시스템 프롬프트 대신 사용자 메시지에 지시를 넣으라고 안내합니다.

모델 카드

모델 정보

파라미터: 32.8B
어텐션: 풀 어텐션
최대 컨텍스트: 131,072 토큰
공개일: 2025-01-20
모델 카드: Hugging Face의 DeepSeek R1 Distill Qwen 32B 모델 카드

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델	파라미터	기준 양자화	필요 메모리(8k)	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
DeepSeek R1 Distill Llama 8B	8.03B	Q4_K_M	6.3GB	쾌적	쾌적	쾌적
DeepSeek R1 0528 Qwen3 8B	8.19B	Q4_K_M	6.5GB	쾌적	쾌적	쾌적
DeepSeek R1 Distill Qwen 14B	14.77B	Q4_K_M	10.7GB	겨우 가능	원활	쾌적
DeepSeek R1 Distill Qwen 32B지금 보는 모델	32.8B	Q4_K_M	22.1GB	불가	겨우 가능	원활

GGUF 파일

등록된 DeepSeek R1 Distill Qwen 32B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
Q2_K	12.31GB	손실 큼	커뮤니티 GGUF · unsloth
Q4_K_M기준	19.85GB	균형	커뮤니티 GGUF · unsloth
Q6_K	26.89GB	준무손실	커뮤니티 GGUF · unsloth
Q8_0	34.82GB	준무손실	커뮤니티 GGUF · unsloth

일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
양자화	4k	8k	16k	32k	64k	128k
Q2_K	13.7	14.8	17.0	21.4	30.3	48.1
Q4_K_M	21.0	22.1	24.4	28.8	37.7	55.5
Q6_K	27.9	29.0	31.2	35.6	44.5	62.3
Q8_0	35.6	36.7	38.9	43.4	52.3	70.0

DeepSeek R1 Distill Qwen 32B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

정렬

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 58종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적	추정 57.0 tok/s50.2–63.9보정된 추정 ±12%	Q4_K_M	22.7 / 32.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$4,200(약 557만 원)
NVIDIA RTX PRO 6000 Blackwell	쾌적	추정 57.0 tok/s50.2–63.9보정된 추정 ±12%	Q4_K_M	22.7 / 96.0GB	풀 GPU	최대 64k	—	—
NVIDIA RTX PRO 6000 Blackwell Max-Q	쾌적	추정 57.0 tok/s50.2–63.9보정된 추정 ±12%	Q4_K_M	22.7 / 96.0GB	풀 GPU	최대 64k	—	—
Radeon RX 7900 XTX	쾌적	추정 33.2 tok/s29.2–37.1보정된 추정 ±12%	Q4_K_M	22.7 / 24.0GB	풀 GPU	최대 8k	—	출시가 US$999(약 132만 원)
GeForce RTX 3090 Ti	쾌적	추정 32.1 tok/s28.2–35.9보정된 추정 ±12%	Q4_K_M	22.7 / 24.0GB	풀 GPU	최대 8k	—	출시가 US$1,999(약 265만 원)
GeForce RTX 4090	쾌적	추정 32.1 tok/s28.2–35.9보정된 추정 ±12%	Q4_K_M	22.7 / 24.0GB	풀 GPU	최대 8k	—	2026-08-09 기준 실거래가 US$2,755(약 365만 원)
Apple M5 Ultra · 96GB	쾌적	추정 31.8 tok/s25.5–38.2보정된 추정 ±20%	Q4_K_M	22.6 / 67.2GB	통합 메모리	최대 8k	—	—
GeForce RTX 3090	원활	추정 29.8 tok/s26.2–33.4보정된 추정 ±12%	Q4_K_M	22.7 / 24.0GB	풀 GPU	최대 8k	Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 5090 Laptop	원활	추정 28.5 tok/s25.1–31.9보정된 추정 ±12%	Q4_K_M	22.7 / 24.0GB	풀 GPU	최대 8k	Q2_K (품질 손실 큼): 쾌적	—
Apple M3 Ultra · 96GB	원활	추정 21.2 tok/s17.0–25.5보정된 추정 ±20%	Q4_K_M	22.6 / 67.2GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적	—
Apple M5 Max (40-core GPU) · 48GB	원활	추정 21.2 tok/s17.0–25.5보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적	—
Apple M2 Ultra · 64GB	원활	추정 20.7 tok/s16.6–24.9보정된 추정 ±20%	Q4_K_M	22.6 / 44.8GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적	—
Apple M4 Max (40-core GPU) · 48GB	원활	추정 18.9 tok/s15.1–22.6보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 32k	—	—
Apple M5 Max (32-core GPU) · 36GB	원활	추정 15.9 tok/s12.7–19.1보정된 추정 ±20%	Q4_K_M	22.6 / 25.2GB	통합 메모리	최대 16k	—	—
Apple M4 Max (32-core GPU) · 36GB	원활	추정 14.2 tok/s11.3–17.0보정된 추정 ±20%	Q4_K_M	22.6 / 25.2GB	통합 메모리	최대 16k	—	—
Apple M5 Pro · 48GB	겨우 가능	추정 10.6 tok/s8.5–12.7보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활	—
NVIDIA DGX Spark · 128GB	겨우 가능	추정 9.7 tok/s7.7–11.6보정된 추정 ±20%	Q4_K_M	22.6 / 116.9GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 원활	128GB 구성 출시가 US$3,999(약 530만 원)
Apple M4 Pro · 48GB	겨우 가능	추정 9.4 tok/s7.5–11.3보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활	—
Radeon RX 7900 XT	겨우 가능	추정 9.2 tok/s7.3–11.0보정된 추정 ±20%	Q4_K_M	20.0 / 20.0GB + RAM 3.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	출시가 US$899(약 119만 원)
Ryzen AI Max+ 395 (Strix Halo) · 32GB	겨우 가능	추정 5.8 tok/s4.1–7.6이론 추정 ±30%	Q4_K_M	RAM 22.0GB	CPU 전용	최대 16k	Q2_K (품질 손실 큼): 원활	128GB 구성 출시가 US$1,999(약 265만 원)
GeForce RTX 5080	겨우 가능	추정 5.0 tok/s4.0–6.1보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 5070 Ti	겨우 가능	추정 5.0 tok/s4.0–6.0보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$949(약 126만 원)
GeForce RTX 5080 Laptop	겨우 가능	추정 5.0 tok/s4.0–6.0보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	—
GeForce RTX 4080 Super	겨우 가능	추정 4.9 tok/s3.9–5.9보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	출시가 US$999(약 132만 원)
GeForce RTX 4080	겨우 가능	추정 4.9 tok/s3.9–5.8보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	출시가 US$1,199(약 159만 원)
Radeon RX 9070	겨우 가능	추정 4.9 tok/s3.9–5.8보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 9070 XT	겨우 가능	추정 4.9 tok/s3.9–5.8보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$689(약 91만 원)
Radeon RX 7800 XT	겨우 가능	추정 4.8 tok/s3.9–5.8보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	출시가 US$499(약 66만 원)
GeForce RTX 4070 Ti Super	겨우 가능	추정 4.8 tok/s3.9–5.8보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	출시가 US$799(약 106만 원)
GeForce RTX 4090 Laptop	겨우 가능	추정 4.7 tok/s3.8–5.7보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 원활	—
GeForce RTX 5060 Ti 16GB	겨우 가능	추정 4.5 tok/s3.6–5.4보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 원활	2026-08-09 기준 실거래가 US$569(약 75만 원)
Radeon RX 9060 XT 16GB	겨우 가능	추정 4.3 tok/s3.4–5.1보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 원활	2026-08-09 기준 실거래가 US$449(약 60만 원)
GeForce RTX 4060 Ti 16GB	겨우 가능	추정 4.0 tok/s3.2–4.9보정된 추정 ±20%	Q4_K_M	16.0 / 16.0GB + RAM 7.2GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 원활	출시가 US$499(약 66만 원)
Apple M6 · 32GB	겨우 가능	추정 3.9 tok/s2.7–5.0이론 추정 ±30%	Q4_K_M	RAM 22.0GB	CPU 전용	최대 16k	—	—
Apple M5 · 32GB	겨우 가능	추정 3.5 tok/s2.4–4.5이론 추정 ±30%	Q4_K_M	RAM 22.0GB	CPU 전용	최대 16k	—	—
GeForce RTX 3080 12GB	겨우 가능	추정 3.4 tok/s2.7–4.1보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	출시가 US$799(약 106만 원)
GeForce RTX 5070	겨우 가능	추정 3.4 tok/s2.7–4.0보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti Laptop	겨우 가능	추정 3.4 tok/s2.7–4.0보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	—
GeForce RTX 4070	겨우 가능	추정 3.3 tok/s2.6–4.0보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	출시가 US$599(약 79만 원)
GeForce RTX 4070 Super	겨우 가능	추정 3.3 tok/s2.6–4.0보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	출시가 US$599(약 79만 원)
GeForce RTX 4080 Laptop	겨우 가능	추정 3.2 tok/s2.6–3.9보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	—
Intel Arc B580	겨우 가능	추정 3.2 tok/s2.6–3.8보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	2026-08-09 기준 실거래가 US$290(약 38만 원)
GeForce RTX 3060 12GB	겨우 가능	추정 3.2 tok/s2.5–3.8보정된 추정 ±20%	Q4_K_M	12.0 / 12.0GB + RAM 11.2GB	부분 오프로드	최대 8k	—	2026-08-09 기준 실거래가 US$250(약 33만 원)
GeForce RTX 2080 Ti	겨우 가능	추정 3.1 tok/s2.5–3.7보정된 추정 ±20%	Q4_K_M	11.0 / 11.0GB + RAM 12.2GB	부분 오프로드	최대 8k	—	출시가 US$999(약 132만 원)
GeForce GTX 1080 Ti	겨우 가능	추정 3.1 tok/s2.1–4.0이론 추정 ±30%	Q4_K_M	11.0 / 11.0GB + RAM 12.2GB	부분 오프로드	최대 8k	—	출시가 US$699(약 93만 원)
Apple M4 · 32GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 6.3 tok/s5.0–7.6보정된 추정 ±20%	Q2_K	15.0 / 22.4GB	통합 메모리	최대 32k	—	—
GeForce RTX 3080 10GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 6.2 tok/s4.9–7.4보정된 추정 ±20%	Q2_K	10.0 / 10.0GB + RAM 5.6GB	부분 오프로드	최대 16k	—	출시가 US$699(약 93만 원)
GeForce RTX 3070	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	출시가 US$499(약 66만 원)
GeForce RTX 5060	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 8GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	2026-08-09 기준 실거래가 US$429(약 57만 원)
GeForce RTX 4060 Ti 8GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.4 tok/s3.5–5.3보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	출시가 US$399(약 53만 원)
GeForce RTX 4060	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.4 tok/s3.5–5.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.3 tok/s3.5–5.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	—
GeForce RTX 4070 Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.3 tok/s3.5–5.2보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	—
GeForce RTX 3050 8GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.3 tok/s3.4–5.1보정된 추정 ±20%	Q2_K	8.0 / 8.0GB + RAM 7.6GB	부분 오프로드	최대 16k	—	출시가 US$249(약 33만 원)
DDR5-6000 듀얼채널 CPU · 96GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.3 tok/s2.7–4.0보정된 추정 ±20%	Q2_K	RAM 14.5GB	CPU 전용	최대 8k	—	—
DDR5-5600 듀얼채널 CPU · 96GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.1 tok/s2.5–3.7보정된 추정 ±20%	Q2_K	RAM 14.5GB	CPU 전용	최대 8k	—	—
DDR4-3200 듀얼채널 CPU · 64GB	불가	추정 1.2 tok/s0.9–1.4보정된 추정 ±20%	Q4_K_M	RAM 22.0GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다.	—

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

쾌적GeForce RTX 40902026-08-09 기준 실거래가 US$2,755(약 365만 원), 속도 추정 32.1 tok/s (28.2–35.9, 보정된 추정 ±12%)
원활GeForce RTX 30902026-08-09 기준 실거래가 US$1,050(약 139만 원), 속도 추정 29.8 tok/s (26.2–33.4, 보정된 추정 ±12%)

DeepSeek R1 Distill Qwen 32B 벤치마크 결과

이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

DeepSeek R1 Distill Qwen 32B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 파일은 19.85GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 22.1GB가 필요합니다(가중치 19.41GB, KV 캐시 2.1GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 14.8GB가 필요합니다. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.

DeepSeek R1 Distill Qwen 32B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 4090입니다. 실거래가는 2026-08-09 기준 US$2,755(약 365만 원)이고, 속도는 추정 32.1 tok/s (28.2–35.9, 보정된 추정 ±12%)입니다. 원활하게만 돌려도 된다면 더 싼 GPU는 GeForce RTX 3090입니다. 실거래가는 2026-08-09 기준 US$1,050(약 139만 원)이고, 속도는 추정 29.8 tok/s (26.2–33.4, 보정된 추정 ±12%)입니다.

DeepSeek R1 Distill Qwen 32B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 불가, 추정 2.5 tok/s (2.0–3.0, 보정된 추정 ±20%); GeForce RTX 5060 Ti 16GB: 겨우 가능, 추정 4.5 tok/s (3.6–5.4, 보정된 추정 ±20%); GeForce RTX 3090: 원활, 추정 29.8 tok/s (26.2–33.4, 보정된 추정 ±12%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.