Apple M4 Max (32-core GPU, 맥북 프로·맥 스튜디오)에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

사양

메모리 구성: 36GB
메모리 대역폭: 410.0 GB/s
FP16 연산: 12.9 TFLOPS
출시 연도: 2024
이 칩이 들어간 맥: 맥북 프로: 36GB
맥 스튜디오: 36GB
다른 표기: M4 Max 32

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트, 메모리 36GB 기준입니다.

쾌적34개원활14개겨우 가능1개불가10개양자화를 더 낮추면 2개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

Apple M4 Max (32-core GPU) 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순), 메모리 36GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 349.6 tok/s279.7–419.5보정된 추정 ±20%	Q4_K_M	1.5 / 25.2GB	통합 메모리	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 288.9 tok/s231.1–346.7보정된 추정 ±20%	Q4_K_M	1.7 / 25.2GB	통합 메모리	최대 128k	—
EXAONE 4.0 1.2B	쾌적	추정 237.3 tok/s189.8–284.7보정된 추정 ±20%	Q4_K_M	1.9 / 25.2GB	통합 메모리	최대 64k	생각 모드
Ling-3.0 Tiny	쾌적	추정 227.4 tok/s159.2–295.6이론 추정 ±30%	Q4_K_M	5.5 / 25.2GB	통합 메모리	최대 128k	생각 모드
LFM2.5 2.6B	쾌적	추정 172.7 tok/s120.9–224.5이론 추정 ±30%	Q4_K_M	2.4 / 25.2GB	통합 메모리	최대 128k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 171.7 tok/s137.3–206.0보정된 추정 ±20%	Q4_K_M	2.4 / 25.2GB	통합 메모리	최대 16k	—
MiniCPM5 2B	쾌적	추정 162.9 tok/s130.4–195.5보정된 추정 ±20%	Q4_K_M	2.5 / 25.2GB	통합 메모리	최대 128k	생각 모드
Gemma 4 E2B	쾌적	추정 148.7 tok/s104.1–193.3이론 추정 ±30%	Q4_K_M	3.7 / 25.2GB	통합 메모리	최대 128k	생각 모드
Mellum2.1 12B-A2.5B Thinking	쾌적	추정 137.5 tok/s110.0–165.0보정된 추정 ±20%	Q4_K_M	8.8 / 25.2GB	통합 메모리	최대 128k	생각 모드
Spark-X2.5 4B	쾌적	추정 107.4 tok/s85.9–128.8보정된 추정 ±20%	Q4_K_M	3.5 / 25.2GB	통합 메모리	최대 128k	생각 모드
Llama 3.2 3B	쾌적	추정 105.3 tok/s84.2–126.3보정된 추정 ±20%	Q4_K_M	3.5 / 25.2GB	통합 메모리	최대 64k	—
Qwen3.5 4B	쾌적	추정 100.6 tok/s80.5–120.7보정된 추정 ±20%	Q4_K_M	3.7 / 25.2GB	통합 메모리	최대 128k	생각 모드
MiniCPM-V 4.7 35B-A3B	쾌적	추정 99.7 tok/s79.8–119.7보정된 추정 ±20%	Q4_K_M	21.9 / 25.2GB	통합 메모리	최대 64k	생각 모드
Qwen3.6 35B-A3B	쾌적	추정 93.2 tok/s74.5–111.8보정된 추정 ±20%	Q4_K_M	23.0 / 25.2GB	통합 메모리	최대 64k	생각 모드
gpt-oss-20b	쾌적	92.4 tok/s8k 추정 101.6 tok/s (81.3–121.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 25.2GB	통합 메모리	최대 128k	생각 모드
Kanana 1.5 15.7B-A3B	쾌적	추정 84.6 tok/s67.7–101.5보정된 추정 ±20%	Q4_K_M	12.1 / 25.2GB	통합 메모리	최대 32k	—
Gemma 4 E4B	쾌적	추정 83.8 tok/s58.6–108.9이론 추정 ±30%	Q4_K_M	5.7 / 25.2GB	통합 메모리	최대 128k	생각 모드
Qwen3.5 35B-A3B	쾌적	추정 82.8 tok/s66.2–99.3보정된 추정 ±20%	Q4_K_M	23.4 / 25.2GB	통합 메모리	최대 64k	생각 모드
Qwen3 30B-A3B (2507)	쾌적	추정 80.0 tok/s64.0–96.0보정된 추정 ±20%	Q4_K_M	19.9 / 25.2GB	통합 메모리	최대 32k	—
Gemma 4 26B-A4B	쾌적	추정 71.2 tok/s56.9–85.4보정된 추정 ±20%	Q4_K_M	17.7 / 25.2GB	통합 메모리	최대 128k	생각 모드
DeepSeek R1 Distill Llama 8B	쾌적	추정 52.0 tok/s41.6–62.4보정된 추정 ±20%	Q4_K_M	6.6 / 25.2GB	통합 메모리	최대 32k	생각 모드
Kanana 1.5 8B	쾌적	추정 52.0 tok/s41.6–62.4보정된 추정 ±20%	Q4_K_M	6.6 / 25.2GB	통합 메모리	최대 32k	—
Llama 3.1 8B	쾌적	추정 52.0 tok/s41.6–62.4보정된 추정 ±20%	Q4_K_M	6.6 / 25.2GB	통합 메모리	최대 64k	—
K2-Horizon MoVA 36B-A4B	쾌적	추정 51.9 tok/s36.3–67.5이론 추정 ±30%	Q4_K_M	24.6 / 25.2GB	통합 메모리	최대 8k	생각 모드
Nanbeige4.2 3B	쾌적	추정 50.9 tok/s35.6–66.1이론 추정 ±30%	Q4_K_M	4.7 / 25.2GB	통합 메모리	최대 16k	생각 모드
Qwen3.5 9B	쾌적	추정 50.8 tok/s40.6–60.9보정된 추정 ±20%	Q4_K_M	6.7 / 25.2GB	통합 메모리	최대 128k	생각 모드
DeepSeek R1 0528 Qwen3 8B	쾌적	추정 50.0 tok/s40.0–59.9보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	생각 모드
Qwen3 8B	쾌적	추정 50.0 tok/s40.0–59.9보정된 추정 ±20%	Q4_K_M	6.8 / 25.2GB	통합 메모리	최대 32k	생각 모드
K2-Horizon 7B	쾌적	추정 45.8 tok/s36.7–55.0보정된 추정 ±20%	Q4_K_M	7.4 / 25.2GB	통합 메모리	최대 16k	생각 모드
Gemma 4 12B	쾌적	추정 43.0 tok/s34.4–51.5보정된 추정 ±20%	Q4_K_M	7.8 / 25.2GB	통합 메모리	최대 128k	생각 모드
Gemma 3 12B	쾌적	추정 39.8 tok/s31.8–47.7보정된 추정 ±20%	Q4_K_M	8.4 / 25.2GB	통합 메모리	최대 64k	—
HyperCLOVA X SEED Think 14B	쾌적	추정 30.6 tok/s21.4–39.7이론 추정 ±30%	Q4_K_M	10.8 / 25.2GB	통합 메모리	최대 8k	생각 모드
Qwen3 14B	쾌적	추정 30.1 tok/s24.1–36.2보정된 추정 ±20%	Q4_K_M	10.9 / 25.2GB	통합 메모리	최대 8k	생각 모드
Phi-4	쾌적	추정 29.0 tok/s23.2–34.9보정된 추정 ±20%	Q4_K_M	11.3 / 25.2GB	통합 메모리	최대 16k	—
DeepSeek R1 Distill Qwen 14B	원활	추정 29.4 tok/s23.5–35.3보정된 추정 ±20%	Q4_K_M	11.2 / 25.2GB	통합 메모리	최대 64k	IQ4_XS: 쾌적 생각 모드
Mistral Small 3.2 24B	원활	추정 19.9 tok/s15.9–23.9보정된 추정 ±20%	Q4_K_M	16.2 / 25.2GB	통합 메모리	최대 32k	IQ4_XS: 쾌적
Gemma 3 27B	원활	추정 18.1 tok/s14.5–21.7보정된 추정 ±20%	Q4_K_M	17.8 / 25.2GB	통합 메모리	최대 64k	IQ4_XS: 쾌적
Qwen3.6 27B	원활	추정 18.0 tok/s14.4–21.5보정된 추정 ±20%	Q4_K_M	17.9 / 25.2GB	통합 메모리	최대 64k	생각 모드
Muse Glimmer 30B	원활	추정 17.9 tok/s14.3–21.5보정된 추정 ±20%	Q4_K_M	18.0 / 25.2GB	통합 메모리	최대 128k	생각 모드
Qwen3.5 27B	원활	추정 17.7 tok/s14.1–21.2보정된 추정 ±20%	Q4_K_M	18.2 / 25.2GB	통합 메모리	최대 64k	생각 모드
Qwen3.8 27B	원활	추정 17.3 tok/s13.9–20.8보정된 추정 ±20%	Q4_K_M	18.6 / 25.2GB	통합 메모리	최대 64k	생각 모드
Gemma 4 31B	원활	추정 16.4 tok/s13.1–19.7보정된 추정 ±20%	Q4_K_M	19.6 / 25.2GB	통합 메모리	최대 64k	생각 모드
Granite 4.2 30B	원활	추정 15.7 tok/s12.5–18.8보정된 추정 ±20%	Q4_K_M	20.4 / 25.2GB	통합 메모리	최대 16k	생각 모드
EXAONE 4.0 32B	원활	추정 15.7 tok/s12.5–18.8보정된 추정 ±20%	Q4_K_M	20.5 / 25.2GB	통합 메모리	최대 64k	생각 모드
EXAONE 4.5 33B	원활	추정 15.1 tok/s12.1–18.2보정된 추정 ±20%	Q4_K_M	21.2 / 25.2GB	통합 메모리	최대 32k	생각 모드
Qwen3 32B	원활	추정 14.2 tok/s11.4–17.1보정된 추정 ±20%	Q4_K_M	22.5 / 25.2GB	통합 메모리	최대 16k	생각 모드
DeepSeek R1 Distill Qwen 32B	원활	추정 14.2 tok/s11.3–17.0보정된 추정 ±20%	Q4_K_M	22.6 / 25.2GB	통합 메모리	최대 16k	생각 모드
Nanbeige4.3 33B	원활	추정 13.8 tok/s11.1–16.6보정된 추정 ±20%	Q4_K_M	23.1 / 25.2GB	통합 메모리	최대 16k	생각 모드
Nemotron 3.5 Lightning 30B-A3B	겨우 가능	추정 71.4 tok/s49.9–92.8이론 추정 ±30%	Q4_K_M	RAM 25.5GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. IQ4_XS: 쾌적 생각 모드
Kolibri 1	불가Q2_K (품질 손실 큼): 겨우 가능	추정 85.3 tok/s59.7–110.9이론 추정 ±30%	Q2_K	RAM 30.1GB	CPU 전용	최대 64k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다. 생각 모드
Llama 3.3 70B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 7.1 tok/s4.9–9.2이론 추정 ±30%	Q2_K	RAM 29.1GB	CPU 전용	최대 16k	—
DeepSeek V4 Flash 0731	불가	—	MXFP4	155.6GB 필요	—	—	약 155.6GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
GLM-5.3 Flash	불가	—	Q4_K_M	182.1GB 필요	—	—	약 182.1GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
gpt-oss-120b	불가	—	MXFP4	64.3GB 필요	—	—	약 64.3GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
Laguna S 2.1	불가	—	Q4_K_M	68.6GB 필요	—	—	약 68.6GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
Ling-3.0 Flash	불가	—	Q4_K_M	77.7GB 필요	—	—	약 77.7GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
Qwen3.5 122B-A10B	불가	—	Q4_K_M	79.0GB 필요	—	—	약 79.0GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
Solar Open 100B	불가	—	Q4_K_M	64.4GB 필요	—	—	약 64.4GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드
Solar Open 2 250B	불가	—	IQ4_XS	137.2GB 필요	—	—	약 137.2GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB). 생각 모드

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

Apple M4 Max (32-core GPU) 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Apple M4 Max (32-core GPU) 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
gpt-oss-20b	MXFP4	llama.cpp	2k	1,277.0	92.4	—	github.com	2025-08-18

자주 묻는 질문

Apple M4 Max (32-core GPU)에 통째로 올라가는 가장 큰 모델은 무엇인가요?

K2-Horizon MoVA 36B-A4B Q4_K_M(22.37GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 36GB에 전부 올라가고, 속도는 추정 51.9 tok/s (36.3–67.5, 이론 추정 ±30%)입니다.

Apple M4 Max (32-core GPU)에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 36GB 기준으로 등록된 모델 59개를 보면 쾌적 34개, 원활 14개, 겨우 가능 1개, 불가 10개입니다.

Apple M4 Max (32-core GPU)에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

Q2_K (품질 손실 큼), CPU 전용 기준 판정: 겨우 가능, 속도: 추정 7.1 tok/s (4.9–9.2, 이론 추정 ±30%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.

사양