Apple M5 Max (32-core GPU)에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

사양

메모리 구성: 36GB · 48GB
메모리 대역폭: 460.0 GB/s
FP16 연산: 30.0 TFLOPS
출시 연도: 2026

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

36GB쾌적15개원활9개겨우 가능0개불가5개양자화를 더 낮추면 1개가 더 돌아갑니다.
48GB쾌적15개원활9개겨우 가능0개불가5개양자화를 더 낮추면 3개가 더 돌아갑니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

Apple M5 Max (32-core GPU) 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 29개(판정·속도 순), 메모리 48GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
EXAONE 4.0 1.2B	쾌적	추정 210.2 tok/s168.1–252.2보정된 추정 ±20%	Q4_K_M	1.9 / 33.6GB	통합 메모리	최대 64k	—
HyperCLOVA X SEED 1.5B	쾌적	추정 152.0 tok/s121.6–182.4보정된 추정 ±20%	Q4_K_M	2.4 / 33.6GB	통합 메모리	최대 16k	—
Qwen3.5 35B-A3B	쾌적	추정 67.1 tok/s53.7–80.5보정된 추정 ±20%	Q4_K_M	23.4 / 33.6GB	통합 메모리	최대 128k	—
gpt-oss-20b	쾌적	추정 60.3 tok/s48.3–72.4보정된 추정 ±20%	MXFP4	12.9 / 33.6GB	통합 메모리	최대 64k	리즈닝 모델
Qwen3 30B-A3B (2507)	쾌적	추정 49.1 tok/s39.2–58.9보정된 추정 ±20%	Q4_K_M	19.9 / 33.6GB	통합 메모리	최대 32k	—
Gemma 4 26B-A4B	쾌적	추정 47.7 tok/s38.2–57.3보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 64k	—
DeepSeek R1 Distill Llama 8B	쾌적	추정 46.0 tok/s36.8–55.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 16k	리즈닝 모델
Kanana 1.5 8B	쾌적	추정 46.0 tok/s36.8–55.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 32k	—
Llama 3.1 8B	쾌적	추정 46.0 tok/s36.8–55.3보정된 추정 ±20%	Q4_K_M	6.6 / 33.6GB	통합 메모리	최대 64k	—
Kanana 1.5 15.7B-A3B	쾌적	추정 45.0 tok/s36.0–54.0보정된 추정 ±20%	Q4_K_M	12.1 / 33.6GB	통합 메모리	최대 32k	—
Qwen3.5 9B	쾌적	추정 45.0 tok/s36.0–54.0보정된 추정 ±20%	Q4_K_M	6.7 / 33.6GB	통합 메모리	최대 128k	—
Qwen3 8B	쾌적	추정 44.2 tok/s35.4–53.1보정된 추정 ±20%	Q4_K_M	6.8 / 33.6GB	통합 메모리	최대 32k	—
Gemma 4 12B	쾌적	추정 36.0 tok/s28.8–43.3보정된 추정 ±20%	Q4_K_M	8.2 / 33.6GB	통합 메모리	최대 64k	—
Gemma 3 12B	쾌적	추정 35.2 tok/s28.2–42.3보정된 추정 ±20%	Q4_K_M	8.4 / 33.6GB	통합 메모리	최대 64k	—
Qwen3 14B	쾌적	추정 26.7 tok/s21.3–32.0보정된 추정 ±20%	Q4_K_M	10.9 / 33.6GB	통합 메모리	최대 16k	—
HyperCLOVA X SEED Think 14B	원활	추정 27.1 tok/s19.0–35.2이론 추정 ±30%	Q4_K_M	10.8 / 33.6GB	통합 메모리	최대 64k	리즈닝 모델
Phi-4	원활	추정 25.7 tok/s20.6–30.9보정된 추정 ±20%	Q4_K_M	11.3 / 33.6GB	통합 메모리	최대 16k	리즈닝 모델
Mistral Small 3.2 24B	원활	추정 17.6 tok/s14.1–21.1보정된 추정 ±20%	Q4_K_M	16.2 / 33.6GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적
Gemma 3 27B	원활	추정 16.0 tok/s12.8–19.2보정된 추정 ±20%	Q4_K_M	17.8 / 33.6GB	통합 메모리	최대 128k	Q2_K (품질 손실 큼): 쾌적
Qwen3.5 27B	원활	추정 15.6 tok/s12.5–18.8보정된 추정 ±20%	Q4_K_M	18.2 / 33.6GB	통합 메모리	최대 128k	UD-Q2_K_XL (품질 손실 큼): 쾌적
EXAONE 4.0 32B	원활	추정 13.9 tok/s11.1–16.7보정된 추정 ±20%	Q4_K_M	20.5 / 33.6GB	통합 메모리	최대 32k	리즈닝 모델
EXAONE 4.5 33B	원활	추정 13.4 tok/s10.7–16.1보정된 추정 ±20%	Q4_K_M	21.2 / 33.6GB	통합 메모리	최대 32k	리즈닝 모델
Qwen3 32B	원활	추정 12.6 tok/s10.1–15.1보정된 추정 ±20%	Q4_K_M	22.5 / 33.6GB	통합 메모리	최대 32k	—
DeepSeek R1 Distill Qwen 32B	원활	추정 12.5 tok/s10.0–15.1보정된 추정 ±20%	Q4_K_M	22.6 / 33.6GB	통합 메모리	최대 8k	리즈닝 모델
Qwen3.5 122B-A10B	불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능	추정 38.0 tok/s26.6–49.5이론 추정 ±30%	UD-Q2_K_XL	RAM 43.1GB	CPU 전용	최대 32k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Solar Open 100B	불가Q2_K (품질 손실 큼): 겨우 가능	추정 22.9 tok/s16.1–29.8이론 추정 ±30%	Q2_K	RAM 39.3GB	CPU 전용	최대 16k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
Llama 3.3 70B	불가IQ4_XS: 겨우 가능	추정 4.0 tok/s2.8–5.1이론 추정 ±30%	IQ4_XS	RAM 40.6GB	CPU 전용	최대 16k	Q2_K (품질 손실 큼): 원활
gpt-oss-120b	불가	—	MXFP4	64.3GB 필요	—	—	약 64.3GB가 필요한데, 여유 메모리는 44.0GB입니다(GPU가 쓸 수 있는 양 33.6GB). 리즈닝 모델
Solar Open 2 250B	불가	—	IQ4_XS	137.2GB 필요	—	—	약 137.2GB가 필요한데, 여유 메모리는 44.0GB입니다(GPU가 쓸 수 있는 양 33.6GB).

리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	36GB	48GB
EXAONE 4.0 1.2B	쾌적	쾌적
HyperCLOVA X SEED 1.5B	쾌적	쾌적
Qwen3.5 35B-A3B	쾌적	쾌적
gpt-oss-20b	쾌적	쾌적
Qwen3 30B-A3B (2507)	쾌적	쾌적
Gemma 4 26B-A4B	쾌적	쾌적
DeepSeek R1 Distill Llama 8B	쾌적	쾌적
Kanana 1.5 8B	쾌적	쾌적
Llama 3.1 8B	쾌적	쾌적
Kanana 1.5 15.7B-A3B	쾌적	쾌적
Qwen3.5 9B	쾌적	쾌적
Qwen3 8B	쾌적	쾌적
Gemma 4 12B	쾌적	쾌적
Gemma 3 12B	쾌적	쾌적
Qwen3 14B	쾌적	쾌적
HyperCLOVA X SEED Think 14B	원활	원활
Phi-4	원활	원활
Mistral Small 3.2 24B	원활	원활
Gemma 3 27B	원활	원활
Qwen3.5 27B	원활	원활
EXAONE 4.0 32B	원활	원활
EXAONE 4.5 33B	원활	원활
Qwen3 32B	원활	원활
DeepSeek R1 Distill Qwen 32B	원활	원활
Qwen3.5 122B-A10B	불가	불가
Solar Open 100B	불가	불가
Llama 3.3 70B	불가	불가
gpt-oss-120b	불가	불가
Solar Open 2 250B	불가	불가

Apple M5 Max (32-core GPU) 벤치마크 결과

이 기기로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

Apple M5 Max (32-core GPU)에 통째로 올라가는 가장 큰 모델은 무엇인가요?

Qwen3.5 35B-A3B Q4_K_M(22.63GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 48GB에 전부 올라가고, 속도는 추정 67.1 tok/s (53.7–80.5, 보정된 추정 ±20%)입니다.

Apple M5 Max (32-core GPU)에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 48GB 기준으로 등록된 모델 29개를 보면 쾌적 15개, 원활 9개, 겨우 가능 0개, 불가 5개입니다.

Apple M5 Max (32-core GPU)에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

IQ4_XS, CPU 전용 기준 판정: 겨우 가능, 속도: 추정 4.0 tok/s (2.8–5.1, 이론 추정 ±30%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.