DDR5-5600 듀얼채널 CPU에서 돌아가는 로컬 LLM

GPU 없음: 모델 전체를 시스템 RAM에서 돌립니다

CPU만으로 추론한다고 보고, RAM 4GB는 OS 몫으로 뺐습니다. 8k 컨텍스트와 f16 KV 캐시 기준이며, 판정은 RAM 용량별로 보여 줍니다.

사양

메모리 구성: 16GB · 32GB · 64GB · 96GB
메모리 대역폭: 89.6 GB/s
출시 연도: 2021

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

16GB쾌적0개원활0개겨우 가능28개불가31개양자화를 더 낮추면 5개가 더 돌아갑니다.
32GB쾌적0개원활0개겨우 가능38개불가21개양자화를 더 낮추면 8개가 더 돌아갑니다.
64GB쾌적0개원활0개겨우 가능39개불가20개양자화를 더 낮추면 10개가 더 돌아갑니다.
96GB쾌적0개원활0개겨우 가능44개불가15개양자화를 더 낮추면 8개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

DDR5-5600 듀얼채널 CPU 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순), 메모리 96GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	겨우 가능	추정 50.3 tok/s40.2–60.3보정된 추정 ±20%	Q4_K_M	RAM 0.9GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Ling-3.0 Tiny	겨우 가능	추정 45.3 tok/s31.7–58.9이론 추정 ±30%	Q4_K_M	RAM 4.9GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Llama 3.2 1B	겨우 가능	추정 41.5 tok/s33.2–49.8보정된 추정 ±20%	Q4_K_M	RAM 1.1GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
EXAONE 4.0 1.2B	겨우 가능	추정 34.1 tok/s27.3–40.9보정된 추정 ±20%	Q4_K_M	RAM 1.3GB	CPU 전용	최대 64k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Gemma 4 E2B	겨우 가능	추정 28.9 tok/s20.2–37.6이론 추정 ±30%	Q4_K_M	RAM 3.2GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
LFM2.5 2.6B	겨우 가능	추정 24.8 tok/s17.4–32.3이론 추정 ±30%	Q4_K_M	RAM 1.8GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
HyperCLOVA X SEED 1.5B	겨우 가능	추정 24.7 tok/s19.7–29.6보정된 추정 ±20%	Q4_K_M	RAM 1.8GB	CPU 전용	최대 16k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
MiniCPM5 2B	겨우 가능	추정 23.4 tok/s18.7–28.1보정된 추정 ±20%	Q4_K_M	RAM 1.9GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Mellum2.1 12B-A2.5B Thinking	겨우 가능	추정 21.7 tok/s17.3–26.0보정된 추정 ±20%	Q4_K_M	RAM 8.2GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
MiniCPM-V 4.7 35B-A3B	겨우 가능	추정 19.5 tok/s15.6–23.5보정된 추정 ±20%	Q4_K_M	RAM 21.3GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Qwen3.6 35B-A3B	겨우 가능	추정 19.0 tok/s15.2–22.8보정된 추정 ±20%	Q4_K_M	RAM 22.5GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Qwen3.5 35B-A3B	겨우 가능	추정 18.7 tok/s15.0–22.5보정된 추정 ±20%	Q4_K_M	RAM 22.8GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
gpt-oss-20b	겨우 가능	추정 16.8 tok/s13.5–20.2보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Kolibri 1	겨우 가능	추정 16.2 tok/s13.0–19.5보정된 추정 ±20%	Q4_K_M	RAM 49.9GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Nemotron 3.5 Lightning 30B-A3B	겨우 가능	추정 15.6 tok/s10.9–20.3이론 추정 ±30%	Q4_K_M	RAM 25.5GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Spark-X2.5 4B	겨우 가능	추정 15.4 tok/s12.4–18.5보정된 추정 ±20%	Q4_K_M	RAM 2.9GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Llama 3.2 3B	겨우 가능	추정 15.1 tok/s12.1–18.2보정된 추정 ±20%	Q4_K_M	RAM 3.0GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Qwen3.5 4B	겨우 가능	추정 14.5 tok/s11.6–17.4보정된 추정 ±20%	Q4_K_M	RAM 3.1GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Gemma 4 26B-A4B	겨우 가능	추정 14.2 tok/s11.3–17.0보정된 추정 ±20%	Q4_K_M	RAM 17.1GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Gemma 4 E4B	겨우 가능	추정 14.1 tok/s9.9–18.3이론 추정 ±30%	Q4_K_M	RAM 5.1GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Qwen3 30B-A3B (2507)	겨우 가능	추정 13.7 tok/s11.0–16.4보정된 추정 ±20%	Q4_K_M	RAM 19.4GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Kanana 1.5 15.7B-A3B	겨우 가능	추정 12.6 tok/s10.0–15.1보정된 추정 ±20%	Q4_K_M	RAM 11.5GB	CPU 전용	최대 32k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
gpt-oss-120b	겨우 가능	추정 12.6 tok/s10.0–15.1보정된 추정 ±20%	MXFP4	RAM 63.7GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Ling-3.0 Flash	겨우 가능	추정 12.2 tok/s8.5–15.9이론 추정 ±30%	Q4_K_M	RAM 77.1GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
K2-Horizon MoVA 36B-A4B	겨우 가능	추정 9.6 tok/s6.7–12.5이론 추정 ±30%	Q4_K_M	RAM 24.0GB	CPU 전용	최대 32k	생각 모드
Laguna S 2.1	겨우 가능	추정 7.7 tok/s6.2–9.2보정된 추정 ±20%	Q4_K_M	RAM 68.1GB	CPU 전용	최대 128k	생각 모드
DeepSeek R1 Distill Llama 8B	겨우 가능	추정 7.5 tok/s6.0–9.0보정된 추정 ±20%	Q4_K_M	RAM 6.0GB	CPU 전용	최대 64k	생각 모드
Kanana 1.5 8B	겨우 가능	추정 7.5 tok/s6.0–9.0보정된 추정 ±20%	Q4_K_M	RAM 6.0GB	CPU 전용	최대 32k	—
Llama 3.1 8B	겨우 가능	추정 7.5 tok/s6.0–9.0보정된 추정 ±20%	Q4_K_M	RAM 6.0GB	CPU 전용	최대 128k	—
Nanbeige4.2 3B	겨우 가능	추정 7.3 tok/s5.1–9.5이론 추정 ±30%	Q4_K_M	RAM 4.2GB	CPU 전용	최대 32k	생각 모드
Qwen3.5 9B	겨우 가능	추정 7.3 tok/s5.8–8.8보정된 추정 ±20%	Q4_K_M	RAM 6.1GB	CPU 전용	최대 256k	생각 모드
DeepSeek R1 0528 Qwen3 8B	겨우 가능	추정 7.2 tok/s5.7–8.6보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 64k	생각 모드
Qwen3 8B	겨우 가능	추정 7.2 tok/s5.7–8.6보정된 추정 ±20%	Q4_K_M	RAM 6.2GB	CPU 전용	최대 32k	생각 모드
K2-Horizon 7B	겨우 가능	추정 6.6 tok/s5.3–7.9보정된 추정 ±20%	Q4_K_M	RAM 6.8GB	CPU 전용	최대 32k	생각 모드
Gemma 4 12B	겨우 가능	추정 6.2 tok/s4.9–7.4보정된 추정 ±20%	Q4_K_M	RAM 7.3GB	CPU 전용	최대 256k	생각 모드
Qwen3.5 122B-A10B	겨우 가능	추정 6.0 tok/s4.8–7.2보정된 추정 ±20%	Q4_K_M	RAM 78.5GB	CPU 전용	최대 256k	생각 모드
Gemma 3 12B	겨우 가능	추정 5.7 tok/s4.6–6.9보정된 추정 ±20%	Q4_K_M	RAM 7.8GB	CPU 전용	최대 128k	—
HyperCLOVA X SEED Think 14B	겨우 가능	추정 4.4 tok/s3.1–5.7이론 추정 ±30%	Q4_K_M	RAM 10.2GB	CPU 전용	최대 32k	생각 모드
Solar Open 100B	겨우 가능	추정 4.3 tok/s3.5–5.2보정된 추정 ±20%	Q4_K_M	RAM 63.9GB	CPU 전용	최대 16k	생각 모드
Qwen3 14B	겨우 가능	추정 4.3 tok/s3.5–5.2보정된 추정 ±20%	Q4_K_M	RAM 10.3GB	CPU 전용	최대 32k	생각 모드
DeepSeek R1 Distill Qwen 14B	겨우 가능	추정 4.2 tok/s3.4–5.1보정된 추정 ±20%	Q4_K_M	RAM 10.6GB	CPU 전용	최대 16k	생각 모드
Phi-4	겨우 가능	추정 4.2 tok/s3.3–5.0보정된 추정 ±20%	Q4_K_M	RAM 10.7GB	CPU 전용	최대 16k	—
Mistral Small 3.2 24B	겨우 가능	추정 2.9 tok/s2.3–3.4보정된 추정 ±20%	Q4_K_M	RAM 15.7GB	CPU 전용	최대 32k	—
Gemma 3 27B	겨우 가능	추정 2.6 tok/s2.1–3.1보정된 추정 ±20%	Q4_K_M	RAM 17.2GB	CPU 전용	최대 64k	—
Muse Glimmer 30B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 4.0 tok/s3.2–4.8보정된 추정 ±20%	Q2_K	RAM 11.1GB	CPU 전용	최대 128k	생각 모드
Qwen3.8 27B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.9 tok/s3.2–4.7보정된 추정 ±20%	Q2_K	RAM 11.4GB	CPU 전용	최대 32k	생각 모드
Qwen3.6 27B	불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능	추정 3.6 tok/s2.9–4.3보정된 추정 ±20%	UD-Q2_K_XL	RAM 12.4GB	CPU 전용	최대 32k	생각 모드
Gemma 4 31B	불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능	추정 3.6 tok/s2.9–4.3보정된 추정 ±20%	UD-Q2_K_XL	RAM 12.4GB	CPU 전용	최대 32k	생각 모드
Qwen3.5 27B	불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능	추정 3.6 tok/s2.8–4.3보정된 추정 ±20%	UD-Q2_K_XL	RAM 12.6GB	CPU 전용	최대 32k	생각 모드
Granite 4.2 30B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.4 tok/s2.8–4.1보정된 추정 ±20%	Q2_K	RAM 13.0GB	CPU 전용	최대 8k	생각 모드
DeepSeek R1 Distill Qwen 32B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.1 tok/s2.5–3.7보정된 추정 ±20%	Q2_K	RAM 14.5GB	CPU 전용	최대 8k	생각 모드
Qwen3 32B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.1 tok/s2.5–3.7보정된 추정 ±20%	Q2_K	RAM 14.5GB	CPU 전용	최대 8k	생각 모드
EXAONE 4.0 32B	불가	추정 2.3 tok/s1.8–2.7보정된 추정 ±20%	Q4_K_M	RAM 19.9GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다. 생각 모드
EXAONE 4.5 33B	불가	추정 2.2 tok/s1.7–2.6보정된 추정 ±20%	Q4_K_M	RAM 20.6GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다. 생각 모드
Nanbeige4.3 33B	불가	추정 2.0 tok/s1.6–2.4보정된 추정 ±20%	Q4_K_M	RAM 22.5GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다. 생각 모드
Llama 3.3 70B	불가	추정 1.0 tok/s0.8–1.2보정된 추정 ±20%	Q4_K_M	RAM 45.2GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다.
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.0GB 필요	—	—	약 155.0GB가 필요한데, 여유 RAM은 92.0GB입니다. 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	181.5GB 필요	—	—	약 181.5GB가 필요한데, 여유 RAM은 92.0GB입니다. 생각 모드
Solar Open 2 250B	불가	—	IQ4_XS	136.6GB 필요	—	—	약 136.6GB가 필요한데, 여유 RAM은 92.0GB입니다. 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	16GB	32GB	64GB	96GB
MiniCPM5 1B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Ling-3.0 Tiny	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Llama 3.2 1B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
EXAONE 4.0 1.2B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Gemma 4 E2B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
LFM2.5 2.6B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
HyperCLOVA X SEED 1.5B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
MiniCPM5 2B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Mellum2.1 12B-A2.5B Thinking	겨우 가능	겨우 가능	겨우 가능	겨우 가능
MiniCPM-V 4.7 35B-A3B	불가	겨우 가능	겨우 가능	겨우 가능
Qwen3.6 35B-A3B	불가	겨우 가능	겨우 가능	겨우 가능
Qwen3.5 35B-A3B	불가	겨우 가능	겨우 가능	겨우 가능
gpt-oss-20b	불가	겨우 가능	겨우 가능	겨우 가능
Kolibri 1	불가	불가	겨우 가능	겨우 가능
Nemotron 3.5 Lightning 30B-A3B	불가	겨우 가능	겨우 가능	겨우 가능
Spark-X2.5 4B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Llama 3.2 3B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Qwen3.5 4B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Gemma 4 26B-A4B	불가	겨우 가능	겨우 가능	겨우 가능
Gemma 4 E4B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Qwen3 30B-A3B (2507)	불가	겨우 가능	겨우 가능	겨우 가능
Kanana 1.5 15.7B-A3B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
gpt-oss-120b	불가	불가	불가	겨우 가능
Ling-3.0 Flash	불가	불가	불가	겨우 가능
K2-Horizon MoVA 36B-A4B	불가	겨우 가능	겨우 가능	겨우 가능
Laguna S 2.1	불가	불가	불가	겨우 가능
DeepSeek R1 Distill Llama 8B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Kanana 1.5 8B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Llama 3.1 8B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Nanbeige4.2 3B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Qwen3.5 9B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
DeepSeek R1 0528 Qwen3 8B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Qwen3 8B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
K2-Horizon 7B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Gemma 4 12B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Qwen3.5 122B-A10B	불가	불가	불가	겨우 가능
Gemma 3 12B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
HyperCLOVA X SEED Think 14B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Solar Open 100B	불가	불가	불가	겨우 가능
Qwen3 14B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
DeepSeek R1 Distill Qwen 14B	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Phi-4	겨우 가능	겨우 가능	겨우 가능	겨우 가능
Mistral Small 3.2 24B	불가	겨우 가능	겨우 가능	겨우 가능
Gemma 3 27B	불가	겨우 가능	겨우 가능	겨우 가능
Muse Glimmer 30B	불가	불가	불가	불가
Qwen3.8 27B	불가	불가	불가	불가
Qwen3.6 27B	불가	불가	불가	불가
Gemma 4 31B	불가	불가	불가	불가
Qwen3.5 27B	불가	불가	불가	불가
Granite 4.2 30B	불가	불가	불가	불가
DeepSeek R1 Distill Qwen 32B	불가	불가	불가	불가
Qwen3 32B	불가	불가	불가	불가
EXAONE 4.0 32B	불가	불가	불가	불가
EXAONE 4.5 33B	불가	불가	불가	불가
Nanbeige4.3 33B	불가	불가	불가	불가
Llama 3.3 70B	불가	불가	불가	불가
DeepSeek V4 Flash 0731	불가	불가	불가	불가
GLM-5.3 Flash	불가	불가	불가	불가
Solar Open 2 250B	불가	불가	불가	불가

DDR5-5600 듀얼채널 CPU 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

DDR5-5600 듀얼채널 CPU 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
mistral-7b	Q4_K_M	llamafile	512	—	11.2	—	github.com	2024-06-15

자주 묻는 질문

이 CPU 구성에서 돌릴 수 있는 가장 큰 모델은 무엇인가요?

Ling-3.0 Flash Q4_K_M(77.01GB 파일)입니다. RAM 96GB에서 돌리며, 속도는 추정 12.2 tok/s (8.5–15.9, 이론 추정 ±30%)입니다.

DDR5-5600 듀얼채널 CPU에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 96GB 기준으로 등록된 모델 59개를 보면 쾌적 0개, 원활 0개, 겨우 가능 44개, 불가 15개입니다.

DDR5-5600 듀얼채널 CPU에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다. 속도는 추정 1.0 tok/s (0.8–1.2, 보정된 추정 ±20%)입니다.

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.

사양