Apple M4 Max (32-core GPU)에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

사양

메모리 구성: 36GB · 48GB
메모리 대역폭: 410.0 GB/s
FP16 연산: 27.2 TFLOPS
출시 연도: 2024

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

36GB쾌적15개원활7개겨우 가능2개불가5개양자화를 더 낮추면 1개가 더 돌아갑니다.
48GB쾌적15개원활7개겨우 가능2개불가5개양자화를 더 낮추면 3개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

Apple M4 Max (32-core GPU) 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 29개(판정·속도 순), 메모리 48GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
EXAONE 4.0 1.2B	쾌적	추정 187.3 tok/s149.8–224.8보정된 추정 ±20%	Q4_K_M	1.9 / 33.6GB	통합 메모리	최대 64k	—
HyperCLOVA X SEED 1.5B	쾌적	추정 135.5 tok/s108.4–162.6보정된 추정 ±20%	Q4_K_M	2.4 / 33.6GB	통합 메모리	최대 16k	—
Qwen3.5 35B-A3B	쾌적	추정 59.8 tok/s47.9–71.8보정된 추정 ±20%	Q4_K_M	23.4 / 33.6GB	통합 메모리	최대 128k	—
gpt-oss-20b	쾌적	추정 53.8 tok/s43.0–64.5보정된 추정 ±20%	MXFP4	12.9 / 33.6GB	통합 메모리	최대 64k	리즈닝 모델
Qwen3 30B-A3B (2507)	쾌적	추정 43.7 tok/s35.0–52.5보정된 추정 ±20%	Q4_K_M	19.9 / 33.6GB	통합 메모리	최대 32k	—
Gemma 4 26B-A4B	쾌적	추정 42.6 tok/s34.0–51.1보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 64k	—
DeepSeek R1 Distill Llama 8B	쾌적	추정 41.0 tok/s32.8–49.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 16k	리즈닝 모델
Kanana 1.5 8B	쾌적	추정 41.0 tok/s32.8–49.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 32k	—
Llama 3.1 8B	쾌적	추정 41.0 tok/s32.8–49.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 32k	—
Kanana 1.5 15.7B-A3B	쾌적	추정 40.1 tok/s32.1–48.1보정된 추정 ±20%	Q4_K_M	12.1 / 33.6GB	통합 메모리	최대 16k	—
Qwen3.5 9B	쾌적	추정 40.1 tok/s32.1–48.1보정된 추정 ±20%	Q4_K_M	6.7 / 33.6GB	통합 메모리	최대 128k	—
Qwen3 8B	쾌적	추정 39.4 tok/s31.5–47.3보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—
Gemma 4 12B	쾌적	추정 32.1 tok/s25.7–38.6보정된 추정 ±20%	Q4_K_M	8.2 / 33.6GB	통합 메모리	최대 64k	—
Gemma 3 12B	쾌적	추정 31.4 tok/s25.1–37.7보정된 추정 ±20%	Q4_K_M	8.4 / 33.6GB	통합 메모리	최대 64k	—
Qwen3 14B	쾌적	추정 23.8 tok/s19.0–28.5보정된 추정 ±20%	Q4_K_M	10.9 / 33.6GB	통합 메모리	최대 16k	—
HyperCLOVA X SEED Think 14B	원활	추정 24.1 tok/s16.9–31.4이론 추정 ±30%	Q4_K_M	10.8 / 33.6GB	통합 메모리	최대 64k	리즈닝 모델
Phi-4	원활	추정 22.9 tok/s18.3–27.5보정된 추정 ±20%	Q4_K_M	11.3 / 33.6GB	통합 메모리	최대 16k	리즈닝 모델
Mistral Small 3.2 24B	원활	추정 15.7 tok/s12.6–18.8보정된 추정 ±20%	Q4_K_M	16.2 / 33.6GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적
Gemma 3 27B	원활	추정 14.3 tok/s11.4–17.1보정된 추정 ±20%	Q4_K_M	17.8 / 33.6GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 쾌적
Qwen3.5 27B	원활	추정 13.9 tok/s11.2–16.7보정된 추정 ±20%	Q4_K_M	18.2 / 33.6GB	통합 메모리	최대 128k	—
EXAONE 4.0 32B	원활	추정 12.4 tok/s9.9–14.9보정된 추정 ±20%	Q4_K_M	20.5 / 33.6GB	통합 메모리	최대 16k	리즈닝 모델
Qwen3 32B	원활	추정 11.2 tok/s9.0–13.5보정된 추정 ±20%	Q4_K_M	22.5 / 33.6GB	통합 메모리	최대 32k	—
EXAONE 4.5 33B	겨우 가능	추정 11.9 tok/s9.6–14.3보정된 추정 ±20%	Q4_K_M	21.2 / 33.6GB	통합 메모리	최대 128k	IQ4_XS: 원활 리즈닝 모델
DeepSeek R1 Distill Qwen 32B	겨우 가능	추정 11.2 tok/s8.9–13.4보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 원활 리즈닝 모델
Qwen3.5 122B-A10B	불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능	추정 33.9 tok/s23.7–44.1이론 추정 ±30%	UD-Q2_K_XL	RAM 43.1GB	CPU 전용	최대 32k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Solar Open 100B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 20.4 tok/s14.3–26.6이론 추정 ±30%	Q2_K	RAM 39.3GB	CPU 전용	최대 16k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Llama 3.3 70B	불가IQ4_XS: 겨우 가능	추정 3.5 tok/s2.5–4.6이론 추정 ±30%	IQ4_XS	RAM 40.6GB	CPU 전용	최대 16k	Q2_K (품질 손실 큼): 원활
gpt-oss-120b	불가	—	MXFP4	64.3GB 필요	—	—	약 64.3GB가 필요한데, 여유 메모리는 44.0GB입니다(GPU가 쓸 수 있는 양 33.6GB). 리즈닝 모델
Solar Open 2 250B	불가	—	IQ4_XS	137.2GB 필요	—	—	약 137.2GB가 필요한데, 여유 메모리는 44.0GB입니다(GPU가 쓸 수 있는 양 33.6GB).

리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	36GB	48GB
EXAONE 4.0 1.2B	쾌적	쾌적
HyperCLOVA X SEED 1.5B	쾌적	쾌적
Qwen3.5 35B-A3B	쾌적	쾌적
gpt-oss-20b	쾌적	쾌적
Qwen3 30B-A3B (2507)	쾌적	쾌적
Gemma 4 26B-A4B	쾌적	쾌적
DeepSeek R1 Distill Llama 8B	쾌적	쾌적
Kanana 1.5 8B	쾌적	쾌적
Llama 3.1 8B	쾌적	쾌적
Kanana 1.5 15.7B-A3B	쾌적	쾌적
Qwen3.5 9B	쾌적	쾌적
Qwen3 8B	쾌적	쾌적
Gemma 4 12B	쾌적	쾌적
Gemma 3 12B	쾌적	쾌적
Qwen3 14B	쾌적	쾌적
HyperCLOVA X SEED Think 14B	원활	원활
Phi-4	원활	원활
Mistral Small 3.2 24B	원활	원활
Gemma 3 27B	원활	원활
Qwen3.5 27B	원활	원활
EXAONE 4.0 32B	원활	원활
Qwen3 32B	원활	원활
EXAONE 4.5 33B	겨우 가능	겨우 가능
DeepSeek R1 Distill Qwen 32B	겨우 가능	겨우 가능
Qwen3.5 122B-A10B	불가	불가
Solar Open 100B	불가	불가
Llama 3.3 70B	불가	불가
gpt-oss-120b	불가	불가
Solar Open 2 250B	불가	불가

Apple M4 Max (32-core GPU) 벤치마크 결과

이 기기로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

Apple M4 Max (32-core GPU)에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Qwen3.5 35B-A3B Q4_K_M(22.63GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 48GB에 전부 올라가고, 속도는 추정 59.8 tok/s (47.9–71.8, 보정된 추정 ±20%)입니다.

Apple M4 Max (32-core GPU)에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 48GB 기준으로 등록된 모델 29개를 보면 쾌적 15개, 원활 7개, 겨우 가능 2개, 불가 5개입니다.

Apple M4 Max (32-core GPU)에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

IQ4_XS, CPU 전용 기준 판정: 겨우 가능, 속도: 추정 3.5 tok/s (2.5–4.6, 이론 추정 ±30%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.