딥시크(DeepSeek) 로컬 사양 — R1 증류 모델 8B·14B·32B와 원본 R1을 돌리려면

딥시크 모델 가운데 집에 있는 PC로 돌릴 수 있는 것은 작은 R1 증류(distill) 모델입니다. R1이 만든 답변으로 Qwen·Llama 모델을 학습시킨 dense 모델이며, 이 글은 8B~32B를 다룹니다. ollama run deepseek-r1로 받는 DeepSeek R1 0528 Qwen3 8B는 8k 컨텍스트에서 8GB인 RTX 4060에 다 들어갑니다. 14B 증류 모델은 RTX 3060 12GB에, 32B 증류 모델은 24GB인 RTX 3090에 전부 들어갑니다. 원본 DeepSeek-R1과 V3는 파라미터가 수천억 개인 MoE 모델이라 CanRun이 계산하지 않습니다. DeepSeek V4 Flash 0731은 계산합니다. M3 Ultra 256GB인 Mac Studio에는 MXFP4 파일이 GPU에 전부 들어가지만, 8GB인 RTX 4060과 RAM 32GB로는 어느 파일도 들어가지 않습니다.

내 PC에서 돌릴 수 있는 딥시크 모델

흔히 딥시크라고 하면 2025년 1월에 나온 원본 DeepSeek-R1을 떠올립니다. 모델 카드에 따르면 원본 R1은 DeepSeek-V3-Base를 바탕으로 학습한 MoE(전문가 혼합) 모델입니다. 전체 파라미터 671B 가운데 토큰마다 37B를 쓰고, 컨텍스트는 128k입니다. 2024년 12월에 나온 DeepSeek-V3도 전체 671B, 활성 37B로 크기가 같습니다. V4 시리즈는 처음에 미리 보기(preview) 버전으로 나왔습니다. 그 모델 카드에 따르면 V4-Pro는 전체 1.6T(활성 49B), V4-Flash는 전체 284B(활성 13B)이고, 컨텍스트는 둘 다 1M입니다. DeepSeek는 2026년 7월에 투기적 디코딩 모듈을 붙인 정식판 DeepSeek-V4-Flash-0731을 내놓았습니다. CanRun은 이 모델을 DeepSeek V4 Flash 0731로 계산하고, 아래에서 따로 다룹니다. 원본 R1·V3와 V4-Pro는 계산하지 않습니다.

증류 모델은 원본 R1을 줄인 모델이 아닙니다. DeepSeek는 R1이 생성한 샘플로 다른 오픈 모델을 파인튜닝했습니다. 바탕 모델은 Qwen2.5-14B·Qwen2.5-32B와 Llama-3.1-8B 등입니다. 2025년 1월에는 1.5B·7B·8B·14B·32B·70B 증류 모델 여섯 개를 공개했습니다. 5월에는 R1-0528의 생각 과정으로 Qwen3 8B Base를 추가 학습한 모델이 나왔습니다. 카드에 따르면 구조는 Qwen3-8B와 똑같습니다. CanRun은 이 가운데 네 모델을 계산합니다. 8B급은 DeepSeek R1 0528 Qwen3 8B와 DeepSeek R1 Distill Llama 8B입니다. 그보다 큰 모델은 DeepSeek R1 Distill Qwen 14B와 DeepSeek R1 Distill Qwen 32B입니다.

표의 라이선스 열에 나오듯 네 모델의 가중치는 MIT 라이선스입니다. 다만 R1 모델 카드는 바탕 모델의 원래 라이선스도 밝힙니다. Qwen 증류 모델의 바탕인 Qwen2.5는 원래 Apache 2.0 라이선스입니다. Llama 8B 증류 모델의 바탕인 Llama 3.1 8B Base는 Llama 3.1 라이선스를 따릅니다. R1-0528 카드에는 R1 시리즈를 상업적으로 쓰거나 증류에 써도 된다고 적혀 있습니다.

쓰는 방법도 조금 다릅니다. 1월 모델 카드는 시스템 프롬프트를 넣지 말라고 권합니다. R1-0528 카드와 0528 Qwen3 8B 카드는 이제 시스템 프롬프트를 지원한다고 설명합니다.

Ollama deepseek-r1 태그별로 받는 모델

Ollama의 deepseek-r1에는 크기와 버전이 다른 모델이 태그로 묶여 있습니다.

• deepseek-r1, deepseek-r1:latest, deepseek-r1:8b는 모두 DeepSeek R1 0528 Qwen3 8B를 받습니다. 세 태그는 deepseek-r1:8b-0528-qwen3-q4_K_M과 같은 파일을 가리킵니다.
• R1 Distill Llama 8B는 deepseek-r1:8b-llama-distill-q4_K_M으로 받습니다. 지금의 :8b는 이 모델이 아닙니다.
• deepseek-r1:14b는 R1 Distill Qwen 14B이고, 14b-qwen-distill-q4_K_M과 같습니다.
• deepseek-r1:32b는 R1 Distill Qwen 32B이고, 32b-qwen-distill-q4_K_M과 같습니다.
• deepseek-r1:1.5b, :7b, :70b는 CanRun 카탈로그에 없습니다. R1 모델 카드에 따르면 1.5B와 7B는 Qwen2.5-Math를 바탕으로 만들었습니다. 70B의 바탕은 Llama-3.3-70B-Instruct입니다.
• deepseek-r1:671b는 원본 DeepSeek-R1이고, 기본 태그는 0528 버전입니다. CanRun은 이 모델을 계산하지 않습니다.

Ollama 페이지에 따르면 0528 업데이트는 8B 증류 모델과 671B 원본 모델에 들어갔습니다. 그래서 :14b와 :32b는 지금도 1월에 나온 증류 모델입니다.

기본 태그는 모두 Q4_K_M으로, CanRun이 판정 기준으로 쓰는 양자화와 같습니다. 다만 Ollama는 자체 라이브러리 파일을 씁니다. CanRun은 위 표의 ‘GGUF 출처’에 있는 커뮤니티 GGUF로 계산하므로 파일 크기가 조금 다를 수 있습니다. CanRun이 계산에 쓰는 32B 파일은 19.9GB입니다.

증류 모델별로 필요한 그래픽카드

아래 표는 증류 모델 네 개를 그래픽카드 6종에서 판정한 결과입니다. 8k 컨텍스트, f16 KV 캐시(컨텍스트를 담는 메모리), 시스템 RAM 32GB(DDR5), Windows를 가정했습니다. 배지는 Q4_K_M 파일의 판정입니다. 배지 아래 줄은 CanRun이 다른 파일을 권할 때만 나옵니다.

8GB 카드 — 8B 모델 두 개

DeepSeek R1 0528 Qwen3 8B는 8k에서 6.5GB가 필요하고, RTX 4060은 7.4GB를 쓸 수 있습니다. GPU에 전부 올라가 쾌적하게 돌아갑니다. 다만 여유가 1GB가 안 되니 ollama ps로 확인하세요. 추정 속도도 생각 모드에 적용하는 엄격한 ‘쾌적’ 기준을 간신히 넘습니다. R1 Distill Llama 8B는 조금 더 작아서, 1GB 남짓 남기고 쾌적하게 돌아갑니다.

14B 증류 모델은 10.7GB가 필요해 RTX 4060에 다 들어가지 않습니다. 일부가 시스템 RAM으로 넘어가서 겨우 돌아갑니다. 32B 증류 모델은 Q4_K_M으로는 돌릴 수 없습니다. 배지 아래 줄은 Q2_K 파일을 권하는데, 이 파일로도 겨우 돌아갑니다. Q2_K는 2비트 양자화라 품질이 ‘손실 큼’ 등급에 듭니다. CanRun은 다른 양자화를 모두 돌릴 수 없을 때만 이런 파일을 권합니다.

12GB·16GB 카드 — 14B 증류 모델

RTX 3060 12GB에서 14B 증류 모델은 GPU에 전부 들어가고 원활하게 돌아갑니다. 추정 속도가 보통의 ‘쾌적’ 기준은 넘지만, 생각 모드에 적용하는 1.5배 기준에는 못 미칩니다. 필요량 10.7GB와 사용 가능 메모리 11.4GB의 차이가 1GB도 안 되니 ollama ps로 확인하세요. 8B 모델 두 개는 이 카드에서 쾌적하게 돌아갑니다.

RTX 5060 Ti 16GB에서는 14B 증류 모델이 Q4_K_M으로 원활하게 돌아갑니다. 한 단계 작은 IQ4_XS 파일이면 쾌적하게 돌아갑니다. 두 추정치는 엄격해진 ‘쾌적’ 기준의 바로 아래와 위에 있을 뿐, 차이는 크지 않습니다.

32B 증류 모델은 Q4_K_M으로는 RTX 3060 12GB와 RTX 5060 Ti 16GB에 다 들어가지 않습니다. 일부를 시스템 RAM에 두고 겨우 돌아갑니다. 아래 표는 RTX 5060 Ti 16GB에서 32B 증류 모델을 양자화별로 판정한 결과입니다.

‘손실 큼’ 등급인 Q2_K는 14.8GB가 필요해 이 카드에 전부 들어가고, 원활하게 돌아갑니다. 여유가 1GB가 안 되니 이때도 ollama ps로 확인하세요. Q6_K는 이 카드에서 돌릴 수 없습니다. CanRun은 답의 품질을 재지 않으므로, 2비트 32B와 4비트 14B 중 어느 쪽 답이 나은지는 말할 수 없습니다. 품질 등급은 ‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’ 가이드에서 설명합니다.

24GB·32GB 카드 — 32B 증류 모델

32B 증류 모델은 8k에서 22.1GB가 필요하고, RTX 3090과 RTX 4090은 23.4GB를 쓸 수 있습니다. 두 카드 모두 1GB 남짓 남기고 GPU에 전부 올라갑니다. RTX 3090에서는 원활하게, RTX 4090에서는 쾌적하게 돌아갑니다. 두 추정치는 엄격해진 ‘쾌적’ 기준의 양쪽에 바짝 붙어 있습니다. 실제 속도가 몇 퍼센트만 달라도 어느 카드든 판정이 한 단계 바뀔 수 있습니다.

RTX 5090에서는 네 모델 모두 쾌적하게 돌아갑니다. 남는 메모리는 더 긴 컨텍스트에 쓸 수 있습니다. 32B 증류 모델은 Q6_K 파일도 GPU에 전부 올라가 쾌적하게 돌아갑니다.

생각하는 과정도 컨텍스트를 채운다

네 모델은 모두 답하기 전에 추론 과정을 먼저 쓰고, CanRun은 이들을 늘 생각하는 모델로 분류합니다. 1월 모델 카드는 모든 답을 <think>\n으로 시작하도록 강제하라고 권합니다. R1 시리즈 모델은 생각 과정을 건너뛰는 경향이 있고, 그러면 성능이 떨어질 수 있다는 이유입니다. 0528 카드는 이제 이렇게 강제하지 않아도 된다고 설명합니다.

생각 과정은 내가 보낸 메시지와 같은 컨텍스트에 쌓입니다. 그래서 다른 토큰과 똑같이 KV 캐시를 차지합니다. KV 캐시는 모델이 앞 내용을 다시 계산하지 않도록 담아 두는 메모리입니다. DeepSeek는 R1과 1월 증류 모델을 평가할 때 답 하나의 최대 길이를 32k 토큰으로 잡았습니다. R1-0528과 0528 8B 모델은 64k 토큰으로 잡았습니다.

Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). 그래서 Ollama는 이 글의 8GB~16GB 카드에서 4k, 24GB·32GB 카드에서 32k를 기본으로 씁니다. CanRun 판정이 가정하는 8k도 작은 카드에서는 이미 Ollama 기본값보다 깁니다. 대화가 컨텍스트를 넘으면 앞부분부터 잘려 나갑니다. 컨텍스트를 바꾸는 방법은 ‘올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값’ 가이드에 있습니다. 아래 표는 32k 컨텍스트에서 모델마다 필요한 메모리입니다.

32k에서 DeepSeek R1 0528 Qwen3 8B는 RTX 3060 12GB에 전부 들어가고, 원활하게 돌아갑니다. 14B 증류 모델은 32k에서 15.8GB가 필요합니다. RTX 5060 Ti 16GB의 사용 가능 메모리 15.4GB를 넘는 양입니다. 일부가 시스템 RAM으로 넘어가지만, 그래도 원활하게 돌아갑니다. KV 캐시를 q8_0으로 두면 다시 GPU에 전부 들어가고, 원활하게 돌아갑니다.

네 모델의 설정 파일에는 슬라이딩 윈도가 없어서, 모든 층이 전체 어텐션을 씁니다. 층마다 KV 헤드가 8개인 것도 같습니다. 그래서 토큰당 KV 캐시는 층 수를 따라갑니다. 32B 증류 모델은 64층, Llama 8B 증류 모델은 32층입니다. 32B 증류 모델은 32k에서 KV 캐시만 8.6GB를 차지합니다.

표의 128k 열은 네 모델이 지원하는 가장 긴 컨텍스트입니다. 이 길이를 f16으로 채우면 8B 모델 두 개도 KV 캐시만으로 RTX 5060 Ti 16GB의 사용 가능 메모리를 넘습니다. 그러면 CanRun 계산으로는 모델 전체가 시스템 RAM으로 가고, 이 카드에서는 돌릴 수 없습니다.

8GB 카드에서는 컨텍스트를 조금만 늘려도 결과가 바뀝니다. 아래 표는 RTX 4060에서 DeepSeek R1 0528 Qwen3 8B의 컨텍스트·KV 캐시별 결과입니다.

16k에 f16 KV 캐시를 쓰면 7.7GB가 필요해, 사용 가능 메모리 7.4GB를 넘습니다. 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. KV 캐시를 q8_0으로 두면 GPU에 전부 들어가 쾌적하게 돌아갑니다. 32k에서는 f16으로 겨우 돌아가고, q4_0으로 둬야 GPU에 전부 들어가 원활하게 돌아갑니다. 다른 컨텍스트는 위 표에서 필요량과 사용 가능 메모리를 비교해 보세요.

24GB 카드의 32B 증류 모델 — 컨텍스트는 어디까지

RTX 3090에서 32B 증류 모델은 8k·f16 KV 캐시로 GPU에 전부 올라가고, 원활하게 돌아갑니다. 아래 표는 같은 조합을 컨텍스트와 KV 캐시 종류별로 계산한 결과입니다.

16k에 f16 KV 캐시를 쓰면 24.4GB가 필요합니다. 사용 가능 메모리 23.4GB보다 많아서 일부가 시스템 RAM으로 넘어갑니다. 그래도 원활하게 돌아가지만, 추정 속도는 8k의 절반쯤으로 떨어집니다. KV 캐시를 q8_0으로 두면 필요량이 22.4GB로 줄어듭니다. 그러면 GPU에 전부 들어가고, 원활하게 돌아갑니다.

32k는 Ollama가 24GB 카드에서 쓰는 기본 컨텍스트입니다. CanRun 계산으로는 f16에서 겨우 돌아가고, q8_0으로 둬도 겨우 돌아갑니다. q8_0은 ‘원활’ 기준에 아주 조금 못 미칩니다. q4_0으로 두면 GPU에 전부 들어가 원활하게 돌아갑니다.

다만 Ollama FAQ에 따르면 q4_0은 q8_0보다 정밀도 손실이 크고, 컨텍스트가 길수록 더 두드러질 수 있습니다. FAQ는 GQA 수치가 높은 모델(예: Qwen2)이 영향을 더 받을 수 있다고도 설명합니다. Ollama 페이지에서 :14b와 :32b 태그의 구조는 qwen2로 나옵니다. q4_0을 쓴다면 답이 괜찮은지 직접 살펴보고, ollama ps로 배치도 확인하세요.

RTX 3090에서 64k를 f16으로 쓰면 돌릴 수 없습니다. q4_0으로 두면 겨우 돌아갑니다. 128k는 f16으로는 시스템 RAM 32GB까지 더해도 들어가지 않습니다.

32GB인 RTX 5090에서는 32k도 f16 그대로 GPU에 전부 들어가, 쾌적하게 돌아갑니다.

Ollama에서 컨텍스트와 KV 캐시 설정하기

Ollama는 서버를 띄울 때 OLLAMA_KV_CACHE_TYPE(f16·q8_0·q4_0)을 지정하고 플래시 어텐션을 켜야만 KV 캐시를 양자화합니다. 이 설정은 그 서버가 돌리는 모든 모델에 적용됩니다 (Ollama 문서, 2026-09-29 확인). Windows에서는 작업 표시줄 아이콘에서 Ollama 앱을 먼저 종료합니다. 그다음 PowerShell에서 아래 명령으로 서버를 띄웁니다. 16k 컨텍스트에 q8_0 KV 캐시를 쓰는 설정입니다.

$env:OLLAMA_CONTEXT_LENGTH="16384"; $env:OLLAMA_FLASH_ATTENTION="1"; $env:OLLAMA_KV_CACHE_TYPE="q8_0"; ollama serve

PowerShell 창을 하나 더 열어 ollama run deepseek-r1:32b를 실행합니다. 8B는 deepseek-r1, 14B는 deepseek-r1:14b로 바꾸면 됩니다.

CanRun 계산으로는 이 설정이면 DeepSeek R1 0528 Qwen3 8B가 RTX 4060에 전부 들어갑니다. RTX 3090에서 32B 증류 모델도 마찬가지입니다. RTX 3060 12GB에서는 14B 증류 모델도 GPU에 전부 들어가 원활하게 돌아갑니다. 같은 카드에서 f16 그대로 16k를 쓰면 일부가 시스템 RAM으로 넘어갑니다. 그러면 ‘원활’ 기준 바로 아래로 떨어져 겨우 돌아갑니다.

macOS·Linux에서 한 번만 띄울 때는 OLLAMA_CONTEXT_LENGTH=16384 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve라고 씁니다. Windows에서 계속 쓰려면 ‘계정의 환경 변수 편집’에 세 변수를 넣고 Ollama를 다시 시작하세요. 관리자 권한은 필요 없습니다. 모델을 띄운 뒤에는 ollama ps를 실행하세요. PROCESSOR 열에 100% GPU가 나오면 GPU에 전부 올라간 것입니다. CONTEXT 열에는 실제로 쓰는 컨텍스트 길이가 나옵니다. KV 캐시 양자화는 ‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’ 가이드에서 더 자세히 다룹니다. GPU에 다 올라갔는지 보는 방법은 ‘Ollama·LM Studio가 GPU를 안 쓸 때 — 100% GPU 확인과 오프로드 설정’ 가이드에 있습니다.

DeepSeek V4 Flash — 큰 메모리 맥, 그래픽카드 여러 장, 시스템 RAM에 전문가 두기

CanRun이 계산하는 원본 크기 딥시크 모델은 DeepSeek V4 Flash 0731 하나입니다. 전문가가 처음부터 4비트 FP4로 나오는 MoE 모델이라, Q4_K_M 파일을 올린 GGUF 저장소가 없습니다. 그래서 CanRun은 llama.cpp 팀(ggml-org)이 올린 MXFP4 파일(155.0GB)을 기준으로 씁니다. 같은 저장소에는 손실 큼 등급인 Q2_K 파일(117.4GB)도 있습니다. 두 파일 모두 두 조각으로 나뉘어 있습니다. llama-server -hf ggml-org/DeepSeek-V4-Flash-0731-GGUF:MXFP4는 두 조각을 함께 받고, 따로 있는 DSpark 초안 파일은 받지 않습니다. Ollama는 Hugging Face에서 나뉜 파일을 받지 못하므로, 이 모델의 CanRun 페이지에는 llama.cpp 명령만 나옵니다.

이 모델의 어텐션은 압축 방식입니다. 대부분의 층이 토큰 4개 또는 128개의 키를 한 칸에 묶어 저장하고, llama.cpp는 값(V)을 따로 두지 않습니다. 그래서 KV 캐시가 작습니다. f16 KV 캐시로 128k를 잡아도 0.9GB이면 됩니다. 같은 조건에서 32B 증류 모델은 34.4GB가 듭니다.

CanRun은 압축 캐시와 그 옆의 작은 색인(인덱서) 캐시를 요청 슬롯 하나를 쓸 때 llama.cpp가 잡는 크기 그대로 셉니다. llama.cpp는 이 캐시를 슬롯마다 따로 잡는데, llama-server는 따로 정하지 않으면 슬롯을 네 개 엽니다. 그러면 KV 캐시가 네 배로 늘어나서, CanRun이 보여 주는 이 모델의 llama.cpp 명령에는 -np 1이 붙어 있습니다. 모든 층은 최근 토큰 128개를 압축하지 않고 따로 들고 있습니다. 이 부분은 컨텍스트가 길어져도 커지지 않아서 연산 버퍼 추정에 맡깁니다.

M3 Ultra 256GB인 Mac Studio에서는 MXFP4 파일이 GPU가 쓸 수 있는 메모리에 전부 들어가 쾌적하게 돌아갑니다. 이 속도는 이론 추정입니다. 512GB 구성도, M5 Ultra 256GB도 마찬가지로 쾌적하게 돌아가고, 역시 이론 추정입니다. M2 Ultra 192GB는 경계에 있습니다. CanRun은 맥 통합 메모리의 70%를 GPU 몫으로 잡습니다. 이만한 맥에서 macOS가 기본으로 내주는 약 4분의 3도 MXFP4 파일에는 모자랍니다. 그래서 CanRun은 이 파일을 CPU로 돌린다고 보고, 겨우 돌아간다고 계산합니다(이론 추정). 같은 맥에서 Q2_K 파일은 GPU에 전부 들어가 쾌적하게 돌아가며, 이 속도도 이론 추정입니다. sudo sysctl iogpu.wired_limit_mb=로 한도를 올리면 llama.cpp가 MXFP4도 GPU에 올릴 수 있지만, CanRun 판정은 그 경우를 가정하지 않습니다. 명령과 macOS 메모리를 너무 적게 남길 때의 위험은 ‘맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까’ 가이드에 있습니다.

통합 메모리 128GB로는 MXFP4를 올리기에 모자랍니다. NVIDIA DGX Spark 128GB와 Ryzen AI Max+ 395 128GB에는 MXFP4 파일이 아예 들어가지 않습니다. Ryzen AI Max+ 395에서 Q2_K 파일은 CPU로만 돌릴 수 있고, 겨우 돌아간다고 계산합니다(이론 추정). DGX Spark에서는 Linux와 데스크톱이 쓰고 남은 116.9GB를 GPU 몫으로 봅니다. Q2_K 파일은 8k에서 118.0GB가 필요해 GPU에도, CPU 쪽에도 들어가지 않습니다. 이 몫은 사용자들이 올린 부팅 기록 가운데 가장 낮은 값에서 출발합니다. 그 값은 이전 커널보다 메모리를 더 예약하는 커널에서 나왔으니, 포기하기 전에 llama.cpp 로딩 로그로 확인해 보세요.

그래픽카드로 돌리면 전문가 대부분을 시스템 RAM에 둡니다. 카드에는 어텐션과 공유 전문가, 그리고 들어가는 만큼의 전문가 층이 올라갑니다. 시스템 RAM이 128GB면 RTX 5090이 있어도 MXFP4 파일은 들어가지 않습니다. RAM에 남는 전문가가 쓸 수 있는 RAM보다 크기 때문입니다. Q2_K 파일은 RTX 5090이나 RTX 4090에 RAM 128GB면 들어갑니다. 전문가 대부분을 RAM에 두고 겨우 돌아가며, 이 속도는 이론 추정입니다. CanRun 계산기에서 시스템 RAM을 192GB로 두면 두 카드 모두 MXFP4도 들어가 겨우 돌아가고, 역시 이론 추정입니다.

그래픽카드를 여러 장 쓰면 카드에 올리는 전문가가 늘어납니다. CanRun 계산기에서 RTX 5090 네 장에 시스템 RAM 64GB를 두면, 8k에서 Q2_K 파일 전체가 카드에 들어가 쾌적하게 돌아갑니다. MXFP4는 전문가 일부를 RAM에 둔 채 원활하게 돌아갑니다. RTX 3090 네 장에 RAM 128GB라면 Q2_K는 원활하게, MXFP4는 겨우 돌아갑니다. 여러 장 결과는 모두 이론 추정이고, 카드마다 나누는 몫은 llama.cpp의 --fit이 정합니다. 카드끼리 일을 나누는 방식은 ‘그래픽카드 2장으로 로컬 LLM — 메모리는 더해지고 속도는 더해지지 않는다’ 가이드에서 다룹니다.

이 숫자는 얼마나 확실한가

메모리 수치는 실제 GGUF 파일 크기와 헤더, 모델 설정 파일로 계산한 값이라 오차 범위를 붙이지 않습니다.

증류 모델 네 개의 속도는 보정된 추정입니다. NVIDIA 카드에 전부 올리면 ±12%, 일부를 시스템 RAM에 두면 ±20%입니다. RTX 3090에서 원활하게 돌아가는 32B 증류 모델은 GPU에 전부 올라가므로 ±12%입니다. RTX 4060에서 겨우 돌아가는 14B 증류 모델은 일부를 RAM에 두므로 ±20%입니다. CanRun 데이터에는 이 DeepSeek 모델들에 붙인 공개 벤치마크 결과가 없어서, ‘실측’ 라벨이 붙은 칸이 없습니다.

DeepSeek V4 Flash는 모든 칸이 이론 추정(±30%)입니다. 압축 어텐션과, 층마다 입력을 섞는 하이퍼 커넥션이 하는 연산을 CanRun 속도식이 세지 않기 때문입니다. 지금 llama.cpp 빌드로 잰 공개 결과는 M2 Ultra에서 잰 한 건뿐입니다. 그 결과와 비교하면 CanRun 추정이 실제로 잰 속도보다 4분의 1쯤 높았습니다. 같은 맥에서 8월 빌드로 잰 결과는 빈 컨텍스트에서 30k까지 가는 동안 5분의 1쯤 느려졌지만, CanRun 추정은 거의 그대로입니다. 그래서 긴 컨텍스트 칸은 실제보다 낙관적입니다. 긴 프롬프트를 읽는 속도는 더 크게 떨어집니다. 같은 8월 결과에서 30k 컨텍스트 뒤에 프롬프트를 읽는 속도는 빈 컨텍스트일 때의 4분의 1쯤이었고, CanRun의 프롬프트 처리 추정에는 이 감소가 들어 있지 않습니다. 2026년 8월 이전 빌드는 맥에서 훨씬 느렸습니다.

가장 불확실한 부분은 CanRun이 정책으로 정한 생각 모드 1.5배 기준입니다. 엄격해진 기준선에 바짝 붙은 결과도 여럿 있습니다. RTX 3090과 RTX 4090에서 돌린 32B 증류 모델이 그렇습니다. RTX 5060 Ti 16GB에서 Q4_K_M과 IQ4_XS로 받은 14B 증류 모델도 마찬가지입니다. RTX 4060의 DeepSeek R1 0528 Qwen3 8B도 기준선 가까이에 있습니다. RTX 3090에서 32k·q8_0으로 돌린 32B 증류 모델도 그렇습니다. 이런 결과는 실제 속도가 몇 퍼센트만 달라도 한 단계씩 바뀔 수 있습니다.

표의 값은 다음 조건을 가정합니다. Windows에서 그 카드가 화면 출력도 맡고, 시스템 RAM은 32GB(DDR5-5600 듀얼 채널)입니다. 8k 컨텍스트와 f16 KV 캐시로 모델 하나를 띄우고, 요청은 한 번에 하나만 처리합니다. Ollama 라이브러리 파일은 CanRun이 계산에 쓰는 커뮤니티 GGUF와 크기가 조금 다릅니다. 내 PC에서 실제로 어떻게 올라갔는지는 ollama ps로 확인하세요. 원본 R1과 V3, V4-Pro는 CanRun 계산에 들어 있지 않습니다.

생각 모드가 있는 모델에는 속도 기준을 1.5배 엄격하게 적용합니다. 증류 모델 네 개와 DeepSeek V4 Flash가 여기에 해당합니다. 아래 기준표에는 이 내용이 빠져 있으니, 표의 속도에 각각 1.5를 곱해서 보세요.

다음 단계

• ‘생각 모드(리즈닝) 모델의 속도 비용 — 켜고 끄는 법’: 생각 모드를 끄는 방법과 엄격해지는 속도 기준
• ‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’: KV 캐시 크기와 q8_0·q4_0
• ‘올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값’: Ollama의 기본 컨텍스트와 바꾸는 방법
• ‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’: Q2_K·IQ4_XS와 품질 등급
• ‘Ollama·LM Studio가 GPU를 안 쓸 때 — 100% GPU 확인과 오프로드 설정’: 100% GPU인지 확인하는 방법
• ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’: 시스템 RAM에 전문가를 두는 방식 — 그래픽카드로 DeepSeek V4 Flash를 돌리는 방법
• DeepSeek R1 Distill Qwen 32B·DeepSeek R1 0528 Qwen3 8B·DeepSeek V4 Flash 0731 모델 페이지에서 모든 카드의 결과를 볼 수 있습니다.

자주 묻는 질문

원본 딥시크 R1도 내 PC에서 돌릴 수 있나요?

이 글에 나온 8GB~32GB 그래픽카드로는 어렵습니다. CanRun도 원본 R1은 계산하지 않습니다. 모델 카드에 따르면 원본 R1은 전체 파라미터 671B, 활성 파라미터 37B인 MoE 모델입니다. 전체 파라미터가 32B 증류 모델의 스무 배쯤 됩니다. CanRun이 계산하는 원본 크기 딥시크 모델은 V4 Flash 0731이고, 메모리가 큰 맥이나 시스템 RAM이 많은 PC가 필요합니다. M3 Ultra 256GB인 Mac Studio에는 MXFP4 파일이 GPU에 전부 들어갑니다. RTX 5090에 RAM 128GB라면 전문가 대부분을 RAM에 두는 방식으로 Q2_K 파일이 들어갑니다. 흔한 가정용 PC로 돌릴 수 있는 것은 작은 증류 모델입니다.

증류 모델은 원본 R1과 같은 모델인가요?

아닙니다. 증류 모델은 R1이 생성한 샘플로 Qwen이나 Llama 모델을 파인튜닝한 모델입니다. 구조도 바탕 모델 그대로입니다. 예를 들어 R1 Distill Qwen 32B는 MoE가 아닌 dense 모델이고, 설정 파일의 모델 종류도 qwen2입니다. 모델 카드에는 이 32B 모델이 여러 벤치마크에서 OpenAI-o1-mini보다 낫다고 적혀 있습니다. CanRun은 답의 품질을 재지 않습니다.

R1 32B 증류 모델에는 어떤 그래픽카드가 필요한가요?

메모리로 보면 8k 컨텍스트의 Q4_K_M은 24GB인 RTX 3090에 전부 들어갑니다. RTX 5060 Ti 16GB에는 Q2_K만 전부 들어갑니다. RTX 3090에서 32k를 쓰려면 KV 캐시를 q4_0으로 둬야 GPU에 전부 들어가고, 그러면 원활하게 돌아갑니다. 32GB인 RTX 5090에서는 32k도 f16 그대로 들어가 쾌적하게 돌아갑니다. 카드를 고를 때는 쓰려는 컨텍스트까지 넣어 필요한 메모리를 계산해 보세요.

Ollama에서 딥시크 R1이 앞 내용을 잊는 것 같은 이유는 무엇인가요?

생각 과정이 Ollama의 기본 컨텍스트를 채웠을 가능성이 큽니다. Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). 생각 과정이 길면 4k 컨텍스트는 금방 찹니다. OLLAMA_CONTEXT_LENGTH로 컨텍스트를 늘리세요. RTX 4060처럼 8GB인 카드라면 16k에 q8_0 KV 캐시를 함께 쓰세요. 그러면 DeepSeek R1 0528 Qwen3 8B가 GPU에 전부 들어가 쾌적하게 돌아갑니다.

딥시크 R1의 생각 과정을 끌 수 있나요?

Ollama에서는 --think=false나 /set nothink로 끌 수 있습니다. 다만 DeepSeek의 1월 모델 카드는 생각을 건너뛰면 답이 나빠질 수 있다고 경고합니다. --hidethinking은 생각 과정을 화면에서 숨길 뿐, 모델은 그대로 생각합니다. CanRun은 생각을 끈 경우에도 생각 모드 기준을 그대로 적용합니다.

출처

• DeepSeek-R1 모델 카드: 원본 R1의 전체 671B·활성 37B 파라미터와 128k 컨텍스트, DeepSeek-V3-Base 기반 학습, 증류 모델의 바탕 모델과 라이선스, 평가 때 최대 생성 길이 32k 토큰, 시스템 프롬프트를 넣지 말라는 권고와 <think>\n 강제 권고
• DeepSeek-R1-0528 모델 카드: 마이너 버전 업그레이드, 최대 생성 길이 64k 토큰, 시스템 프롬프트 지원, <think>\n을 강제하지 않아도 된다는 설명, 상업적 사용과 증류 허용
• DeepSeek-R1-0528-Qwen3-8B 모델 카드와 설정 파일: R1-0528의 생각 과정으로 Qwen3 8B Base를 추가 학습, Qwen3-8B와 같은 구조, 36층·KV 헤드 8개·슬라이딩 윈도 없음
• DeepSeek-R1-Distill-Llama-8B 모델 카드: Llama-3.1-8B를 바탕으로 한 증류 모델
• DeepSeek-R1-Distill-Qwen-14B 모델 카드: Qwen2.5-14B를 바탕으로 한 증류 모델
• DeepSeek-R1-Distill-Qwen-32B 모델 카드와 설정 파일: 여러 벤치마크에서 OpenAI-o1-mini보다 낫다는 제작사 설명, 64층·KV 헤드 8개·슬라이딩 윈도 없음, 모델 종류 qwen2
• DeepSeek-V3 모델 카드: 전체 671B·활성 37B 파라미터, 128k 컨텍스트
• DeepSeek-V4-Flash 모델 카드: V4 시리즈 미리 보기 버전, V4-Pro(전체 1.6T·활성 49B)와 V4-Flash(전체 284B·활성 13B), 1M 컨텍스트, 압축 어텐션(CSA·HCA)
• DeepSeek-V4-Flash-0731 모델 카드와 설정 파일: 미리 보기판을 대신하는 V4 Flash 정식판, 함께 들어 있는 투기적 디코딩 모듈, 생각 강도 low·high·max, 층별 압축 비율이 붙은 43층, 라우팅 전문가 256개 중 토큰마다 6개, MIT 라이선스
• ggml-org DeepSeek-V4-Flash-0731 GGUF: CanRun이 계산하는 두 조각짜리 MXFP4·Q2_K 파일과 따로 있는 DSpark 초안 파일
• llama.cpp DeepSeek V4 KV 캐시 코드와 이슈 #27680의 메모리 로그: 시퀀스마다 따로 잡는 압축 캐시·라이트닝 인덱서 캐시·압축하지 않는 최근 토큰 창, 슬롯 하나(-np 1)로 띄운 64k 컨텍스트에서의 크기
• llama-server 시작 코드: -np를 정하지 않으면 요청 슬롯 네 개
• llama.cpp 풀 리퀘스트 #28948과 #25893의 벤치마크: 지금 빌드와 8월 빌드로 잰 M2 Ultra의 DeepSeek V4 Flash 결과(8월 빌드는 30k 컨텍스트까지의 생성·프롬프트 처리 속도)
• DeepSeek-R1 출시 글: 2025년 1월 20일 공개, 작은 모델 6개 공개, MIT 라이선스
• DeepSeek-R1-0528 출시 글: 2025년 5월 28일 업데이트
• Ollama deepseek-r1 라이브러리와 태그 목록: 태그별 모델과 같은 파일을 가리키는 태그, 0528 업그레이드가 들어간 8B·671B 태그, :14b·:32b 태그의 qwen2 구조
• Ollama 블로그: 생각 모드: --think=false·/set nothink로 생각 끄기, --hidethinking으로 생각 과정 숨기기
• Ollama 컨텍스트 길이 문서: GPU 메모리에 따른 기본 컨텍스트, OLLAMA_CONTEXT_LENGTH, ollama ps의 PROCESSOR·CONTEXT 열
• Ollama FAQ: KV 캐시 양자화(q8_0·q4_0의 정밀도 손실, GQA 수치가 높은 모델에 주는 영향), 플래시 어텐션, 100% GPU 표시