Apple M4(맥 미니·맥북 에어·맥북 프로·아이맥)에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

Apple M4 사용자가 알아 둘 점

기본형 M4는 CPU와 GPU가 메모리를 함께 쓰고, CanRun은 그중 일부만 GPU 몫으로 계산합니다. 32GB 모델이면 22.4GB 정도입니다. 더 큰 제약은 속도입니다. 메모리 대역폭이 120 GB/s로 Apple M4 Pro(273 GB/s)보다 한참 낮습니다. 그래서 메모리 용량은 무엇이 올라가는지를 정할 뿐, 속도를 올려 주지는 않습니다.

16GB에서는 Llama 3.1 8B가 올라가 원활하게 돌아갑니다. Qwen3 8B도 원활하게 돌아갑니다. 생각 모드가 있어서 CanRun이 속도 기준을 1.5배 엄격하게 잡는데도 그 기준을 넘습니다. Llama 3.2 3B는 쾌적하게 돌아갑니다. gpt-oss-20b는 24GB부터 올라가고 쾌적하게 돌아갑니다.

32GB라면 MoE 모델이 가장 잘 맞습니다. Qwen3 30B-A3B는 쾌적하게, Gemma 4 26B-A4B는 원활하게 돌아갑니다. Gemma 4 31B 같은 dense 모델은 올라가기는 해도 느리게 돌아갑니다. Qwen3 32B는 Q4_K_M 파일이면 GPU 몫에 다 들어가지 않아 CPU로만 돌게 됩니다. IQ4_XS 파일은 GPU에 올라가지만 느리게 돌아갑니다. M4·M5 칩별 비교는 맥 가이드에 있습니다.

사양

메모리 구성: 16GB · 24GB · 32GB
메모리 대역폭: 120.0 GB/s
FP16 연산: 3.8 TFLOPS
출시 연도: 2024
이 칩이 들어간 맥: 맥 미니: 16GB · 24GB · 32GB
맥북 에어: 16GB · 24GB · 32GB
맥북 프로: 16GB · 24GB · 32GB
아이맥: 16GB · 24GB · 32GB
다른 표기: M4

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

16GB쾌적11개원활12개겨우 가능5개불가31개양자화를 더 낮추면 5개가 더 돌아갑니다.
24GB쾌적13개원활13개겨우 가능14개불가19개양자화를 더 낮추면 8개가 더 돌아갑니다.
32GB쾌적15개원활14개겨우 가능17개불가13개양자화를 더 낮추면 4개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

Apple M4 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순), 메모리 32GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 102.3 tok/s81.9–122.8보정된 추정 ±20%	Q4_K_M	1.5 / 22.4GB	통합 메모리	최대 64k	생각 모드
Ling-3.0 Tiny	쾌적	추정 93.7 tok/s65.6–121.9이론 추정 ±30%	Q4_K_M	5.5 / 22.4GB	통합 메모리	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 84.6 tok/s67.7–101.5보정된 추정 ±20%	Q4_K_M	1.7 / 22.4GB	통합 메모리	최대 64k	—
EXAONE 4.0 1.2B	쾌적	추정 69.4 tok/s55.6–83.3보정된 추정 ±20%	Q4_K_M	1.9 / 22.4GB	통합 메모리	최대 32k	생각 모드
Gemma 4 E2B	쾌적	추정 53.3 tok/s37.3–69.3이론 추정 ±30%	Q4_K_M	3.7 / 22.4GB	통합 메모리	최대 128k	생각 모드
Mellum2.1 12B-A2.5B Thinking	쾌적	추정 51.2 tok/s40.9–61.4보정된 추정 ±20%	Q4_K_M	8.8 / 22.4GB	통합 메모리	최대 64k	생각 모드
LFM2.5 2.6B	쾌적	추정 50.5 tok/s35.4–65.7이론 추정 ±30%	Q4_K_M	2.4 / 22.4GB	통합 메모리	최대 64k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 50.2 tok/s40.2–60.3보정된 추정 ±20%	Q4_K_M	2.4 / 22.4GB	통합 메모리	최대 16k	—
MiniCPM5 2B	쾌적	추정 47.7 tok/s38.2–57.2보정된 추정 ±20%	Q4_K_M	2.5 / 22.4GB	통합 메모리	최대 32k	생각 모드
MiniCPM-V 4.7 35B-A3B	쾌적	추정 37.5 tok/s30.0–45.0보정된 추정 ±20%	Q4_K_M	21.9 / 22.4GB	통합 메모리	최대 16k	생각 모드
gpt-oss-20b	쾌적Apple M4에서 gpt-oss-20b 판정 보기	추정 31.9 tok/s25.5–38.3보정된 추정 ±20%	MXFP4	12.9 / 22.4GB	통합 메모리	최대 8k	생각 모드
Spark-X2.5 4B	쾌적	추정 31.4 tok/s25.1–37.7보정된 추정 ±20%	Q4_K_M	3.5 / 22.4GB	통합 메모리	최대 8k	생각 모드
Llama 3.2 3B	쾌적	추정 30.8 tok/s24.7–37.0보정된 추정 ±20%	Q4_K_M	3.5 / 22.4GB	통합 메모리	최대 16k	—
Qwen3 30B-A3B (2507)	쾌적Apple M4에서 Qwen3 30B-A3B (2507) 판정 보기	추정 29.8 tok/s23.8–35.7보정된 추정 ±20%	Q4_K_M	19.9 / 22.4GB	통합 메모리	최대 16k	—
Kanana 1.5 15.7B-A3B	쾌적	추정 29.1 tok/s23.3–35.0보정된 추정 ±20%	Q4_K_M	12.1 / 22.4GB	통합 메모리	최대 16k	—
Qwen3.5 4B	원활	추정 29.4 tok/s23.5–35.3보정된 추정 ±20%	Q4_K_M	3.7 / 22.4GB	통합 메모리	최대 128k	IQ4_XS: 쾌적 생각 모드
Gemma 4 E4B	원활	추정 27.4 tok/s19.1–35.6이론 추정 ±30%	Q4_K_M	5.7 / 22.4GB	통합 메모리	최대 128k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Gemma 4 26B-A4B	원활Apple M4에서 Gemma 4 26B-A4B 판정 보기	추정 23.6 tok/s18.9–28.4보정된 추정 ±20%	Q4_K_M	17.7 / 22.4GB	통합 메모리	최대 128k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
DeepSeek R1 Distill Llama 8B	원활	추정 15.2 tok/s12.2–18.3보정된 추정 ±20%	Q4_K_M	6.6 / 22.4GB	통합 메모리	최대 16k	생각 모드
Kanana 1.5 8B	원활	추정 15.2 tok/s12.2–18.3보정된 추정 ±20%	Q4_K_M	6.6 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적
Llama 3.1 8B	원활Apple M4에서 Llama 3.1 8B 판정 보기	추정 15.2 tok/s12.2–18.3보정된 추정 ±20%	Q4_K_M	6.6 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적
Nanbeige4.2 3B	원활	추정 14.9 tok/s10.4–19.4이론 추정 ±30%	Q4_K_M	4.7 / 22.4GB	통합 메모리	최대 8k	생각 모드
Qwen3.5 9B	원활Apple M4에서 Qwen3.5 9B 판정 보기	추정 14.9 tok/s11.9–17.8보정된 추정 ±20%	Q4_K_M	6.7 / 22.4GB	통합 메모리	최대 32k	생각 모드
DeepSeek R1 0528 Qwen3 8B	원활	추정 14.6 tok/s11.7–17.5보정된 추정 ±20%	Q4_K_M	6.8 / 22.4GB	통합 메모리	최대 16k	생각 모드
Qwen3 8B	원활Apple M4에서 Qwen3 8B 판정 보기	추정 14.6 tok/s11.7–17.5보정된 추정 ±20%	Q4_K_M	6.8 / 22.4GB	통합 메모리	최대 16k	생각 모드
K2-Horizon 7B	원활	추정 13.4 tok/s10.7–16.1보정된 추정 ±20%	Q4_K_M	7.4 / 22.4GB	통합 메모리	최대 8k	생각 모드
Gemma 4 12B	원활Apple M4에서 Gemma 4 12B 판정 보기	추정 12.6 tok/s10.1–15.1보정된 추정 ±20%	Q4_K_M	7.8 / 22.4GB	통합 메모리	최대 16k	생각 모드
Gemma 3 12B	원활Apple M4에서 Gemma 3 12B 판정 보기	추정 11.6 tok/s9.3–14.0보정된 추정 ±20%	Q4_K_M	8.4 / 22.4GB	통합 메모리	최대 32k	—
Phi-4	원활	추정 8.5 tok/s6.8–10.2보정된 추정 ±20%	Q4_K_M	11.3 / 22.4GB	통합 메모리	최대 8k	—
Qwen3.6 35B-A3B	겨우 가능Apple M4에서 Qwen3.6 35B-A3B 판정 보기	추정 25.4 tok/s17.8–33.1이론 추정 ±30%	Q4_K_M	RAM 22.5GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. IQ4_XS: 쾌적 생각 모드
Qwen3.5 35B-A3B	겨우 가능Apple M4에서 Qwen3.5 35B-A3B 판정 보기	추정 25.1 tok/s17.6–32.6이론 추정 ±30%	Q4_K_M	RAM 22.8GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. IQ4_XS: 쾌적 생각 모드
Nemotron 3.5 Lightning 30B-A3B	겨우 가능	추정 20.9 tok/s14.6–27.1이론 추정 ±30%	Q4_K_M	RAM 25.5GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. IQ4_XS: 쾌적 생각 모드
K2-Horizon MoVA 36B-A4B	겨우 가능	추정 12.9 tok/s9.0–16.8이론 추정 ±30%	Q4_K_M	RAM 24.0GB	CPU 전용	최대 16k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
HyperCLOVA X SEED Think 14B	겨우 가능	추정 8.9 tok/s6.3–11.6이론 추정 ±30%	Q4_K_M	10.8 / 22.4GB	통합 메모리	최대 64k	생각 모드
Qwen3 14B	겨우 가능Apple M4에서 Qwen3 14B 판정 보기	추정 8.8 tok/s7.1–10.6보정된 추정 ±20%	Q4_K_M	10.9 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활 생각 모드
DeepSeek R1 Distill Qwen 14B	겨우 가능	추정 8.6 tok/s6.9–10.3보정된 추정 ±20%	Q4_K_M	11.2 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활 생각 모드
Mistral Small 3.2 24B	겨우 가능	추정 5.8 tok/s4.7–7.0보정된 추정 ±20%	Q4_K_M	16.2 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활
Gemma 3 27B	겨우 가능	추정 5.3 tok/s4.2–6.4보정된 추정 ±20%	Q4_K_M	17.8 / 22.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활
Qwen3.6 27B	겨우 가능	추정 5.3 tok/s4.2–6.3보정된 추정 ±20%	Q4_K_M	17.9 / 22.4GB	통합 메모리	최대 64k	생각 모드
Muse Glimmer 30B	겨우 가능	추정 5.2 tok/s4.2–6.3보정된 추정 ±20%	Q4_K_M	18.0 / 22.4GB	통합 메모리	최대 128k	생각 모드
Qwen3.5 27B	겨우 가능Apple M4에서 Qwen3.5 27B 판정 보기	추정 5.2 tok/s4.1–6.2보정된 추정 ±20%	Q4_K_M	18.2 / 22.4GB	통합 메모리	최대 32k	생각 모드
Qwen3.8 27B	겨우 가능Apple M4에서 Qwen3.8 27B 판정 보기	추정 5.1 tok/s4.1–6.1보정된 추정 ±20%	Q4_K_M	18.6 / 22.4GB	통합 메모리	최대 32k	생각 모드
Gemma 4 31B	겨우 가능Apple M4에서 Gemma 4 31B 판정 보기	추정 4.8 tok/s3.8–5.8보정된 추정 ±20%	Q4_K_M	19.6 / 22.4GB	통합 메모리	최대 32k	생각 모드
Granite 4.2 30B	겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q4_K_M	20.4 / 22.4GB	통합 메모리	최대 8k	생각 모드
EXAONE 4.0 32B	겨우 가능	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	Q4_K_M	20.5 / 22.4GB	통합 메모리	최대 32k	생각 모드
EXAONE 4.5 33B	겨우 가능	추정 4.4 tok/s3.5–5.3보정된 추정 ±20%	Q4_K_M	21.2 / 22.4GB	통합 메모리	최대 16k	생각 모드
DeepSeek R1 Distill Qwen 32B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 6.3 tok/s5.0–7.6보정된 추정 ±20%	Q2_K	15.0 / 22.4GB	통합 메모리	최대 32k	생각 모드
Qwen3 32B	불가IQ4_XS: 겨우 가능Apple M4에서 Qwen3 32B 판정 보기	추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	IQ4_XS	20.4 / 22.4GB	통합 메모리	최대 8k	생각 모드
Nanbeige4.3 33B	불가IQ4_XS: 겨우 가능	추정 4.5 tok/s3.6–5.4보정된 추정 ±20%	IQ4_XS	21.0 / 22.4GB	통합 메모리	최대 8k	생각 모드
Llama 3.3 70B	불가IQ2_M (품질 손실 큼): 겨우 가능Apple M4에서 Llama 3.3 70B 판정 보기	추정 2.2 tok/s1.6–2.9이론 추정 ±30%	IQ2_M	RAM 26.8GB	CPU 전용	최대 8k	—
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.6GB 필요	—	—	약 155.6GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	182.1GB 필요	—	—	약 182.1GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
gpt-oss-120b	불가Apple M4에서 gpt-oss-120b 판정 보기	—	MXFP4	64.3GB 필요	—	—	약 64.3GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Kolibri 1	불가	—	Q4_K_M	50.5GB 필요	—	—	약 50.5GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Laguna S 2.1	불가	—	Q4_K_M	68.6GB 필요	—	—	약 68.6GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Ling-3.0 Flash	불가	—	Q4_K_M	77.7GB 필요	—	—	약 77.7GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Qwen3.5 122B-A10B	불가Apple M4에서 Qwen3.5 122B-A10B 판정 보기	—	Q4_K_M	79.0GB 필요	—	—	약 79.0GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Solar Open 100B	불가	—	Q4_K_M	64.4GB 필요	—	—	약 64.4GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드
Solar Open 2 250B	불가	—	IQ4_XS	137.2GB 필요	—	—	약 137.2GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB). 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	16GB	24GB	32GB
MiniCPM5 1B	쾌적	쾌적	쾌적
Ling-3.0 Tiny	쾌적	쾌적	쾌적
Llama 3.2 1B	쾌적	쾌적	쾌적
EXAONE 4.0 1.2B	쾌적	쾌적	쾌적
Gemma 4 E2B	쾌적	쾌적	쾌적
Mellum2.1 12B-A2.5B Thinking	쾌적	쾌적	쾌적
LFM2.5 2.6B	쾌적	쾌적	쾌적
HyperCLOVA X SEED 1.5B	쾌적	쾌적	쾌적
MiniCPM5 2B	쾌적	쾌적	쾌적
MiniCPM-V 4.7 35B-A3B	불가	불가	쾌적
gpt-oss-20b	불가	쾌적	쾌적
Spark-X2.5 4B	쾌적	쾌적	쾌적
Llama 3.2 3B	쾌적	쾌적	쾌적
Qwen3 30B-A3B (2507)	불가	겨우 가능	쾌적
Kanana 1.5 15.7B-A3B	겨우 가능	쾌적	쾌적
Qwen3.5 4B	원활	원활	원활
Gemma 4 E4B	원활	원활	원활
Gemma 4 26B-A4B	불가	겨우 가능	원활
DeepSeek R1 Distill Llama 8B	원활	원활	원활
Kanana 1.5 8B	원활	원활	원활
Llama 3.1 8B	원활	원활	원활
Nanbeige4.2 3B	원활	원활	원활
Qwen3.5 9B	원활	원활	원활
DeepSeek R1 0528 Qwen3 8B	원활	원활	원활
Qwen3 8B	원활	원활	원활
K2-Horizon 7B	원활	원활	원활
Gemma 4 12B	원활	원활	원활
Gemma 3 12B	원활	원활	원활
Phi-4	겨우 가능	원활	원활
Qwen3.6 35B-A3B	불가	불가	겨우 가능
Qwen3.5 35B-A3B	불가	불가	겨우 가능
Nemotron 3.5 Lightning 30B-A3B	불가	불가	겨우 가능
K2-Horizon MoVA 36B-A4B	불가	불가	겨우 가능
HyperCLOVA X SEED Think 14B	겨우 가능	겨우 가능	겨우 가능
Qwen3 14B	겨우 가능	겨우 가능	겨우 가능
DeepSeek R1 Distill Qwen 14B	겨우 가능	겨우 가능	겨우 가능
Mistral Small 3.2 24B	불가	겨우 가능	겨우 가능
Gemma 3 27B	불가	겨우 가능	겨우 가능
Qwen3.6 27B	불가	겨우 가능	겨우 가능
Muse Glimmer 30B	불가	겨우 가능	겨우 가능
Qwen3.5 27B	불가	겨우 가능	겨우 가능
Qwen3.8 27B	불가	겨우 가능	겨우 가능
Gemma 4 31B	불가	겨우 가능	겨우 가능
Granite 4.2 30B	불가	겨우 가능	겨우 가능
EXAONE 4.0 32B	불가	겨우 가능	겨우 가능
EXAONE 4.5 33B	불가	불가	겨우 가능
DeepSeek R1 Distill Qwen 32B	불가	불가	불가
Qwen3 32B	불가	불가	불가
Nanbeige4.3 33B	불가	불가	불가
Llama 3.3 70B	불가	불가	불가
DeepSeek V4 Flash 0731	불가	불가	불가
GLM-5.3 Flash	불가	불가	불가
gpt-oss-120b	불가	불가	불가
Kolibri 1	불가	불가	불가
Laguna S 2.1	불가	불가	불가
Ling-3.0 Flash	불가	불가	불가
Qwen3.5 122B-A10B	불가	불가	불가
Solar Open 100B	불가	불가	불가
Solar Open 2 250B	불가	불가	불가

Apple M4 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Apple M4 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
llama-2-7b	Q4_0	llama.cpp	512	221.0	24.1	Metal, b1550 (2023)	github.com	2024-11-10

자주 묻는 질문

Apple M4에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Qwen3.5 35B-A3B IQ4_XS(18.17GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 32GB에 전부 올라가고, 속도는 추정 31.0 tok/s (24.8–37.2, 보정된 추정 ±20%)입니다.

Apple M4에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 32GB 기준으로 등록된 모델 59개를 보면 쾌적 15개, 원활 14개, 겨우 가능 17개, 불가 13개입니다.

Apple M4에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

IQ2_M (품질 손실 큼), CPU 전용 기준 판정: 겨우 가능, 속도: 추정 2.2 tok/s (1.6–2.9, 이론 추정 ±30%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.