Apple M5 Pro에서 돌아가는 로컬 LLM
통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다
8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.
사양
- 메모리 구성
- 24GB · 48GB · 64GB
- 메모리 대역폭
- 307.0 GB/s
- FP16 연산
- 19.0 TFLOPS
- 출시 연도
- 2026
판정 요약
Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.
- 24GB쾌적11개원활4개겨우 가능5개불가9개양자화를 더 낮추면 4개가 더 돌아갑니다.
- 48GB쾌적14개원활7개겨우 가능3개불가5개양자화를 더 낮추면 3개가 더 돌아갑니다.
- 64GB쾌적14개원활7개겨우 가능4개불가4개양자화를 더 낮추면 2개가 더 돌아갑니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
한국 모델
EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.
Apple M5 Pro 전체 모델 판정
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 |
|---|---|---|---|---|---|---|---|
| EXAONE 4.0 1.2B | 쾌적 | 추정 140.3 tok/s112.2–168.3보정된 추정 ±20% | Q4_K_M | 1.9 / 44.8GB | 통합 메모리 | 최대 64k | — |
| HyperCLOVA X SEED 1.5B | 쾌적 | 추정 101.5 tok/s81.2–121.8보정된 추정 ±20% | Q4_K_M | 2.4 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Qwen3.5 35B-A3B | 쾌적 | 추정 44.8 tok/s35.8–53.7보정된 추정 ±20% | Q4_K_M | 23.4 / 44.8GB | 통합 메모리 | 최대 128k | — |
| gpt-oss-20b | 쾌적 | 추정 40.3 tok/s32.2–48.3보정된 추정 ±20% | MXFP4 | 12.9 / 44.8GB | 통합 메모리 | 최대 32k |
|
| Qwen3 30B-A3B (2507) | 쾌적 | 추정 32.7 tok/s26.2–39.3보정된 추정 ±20% | Q4_K_M | 19.9 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Gemma 4 26B-A4B | 쾌적 | 추정 31.9 tok/s25.5–38.2보정된 추정 ±20% | Q4_K_M | 17.9 / 44.8GB | 통합 메모리 | 최대 32k | — |
| DeepSeek R1 Distill Llama 8B | 쾌적 | 추정 30.7 tok/s24.6–36.9보정된 추정 ±20% | Q4_K_M | 6.6 / 44.8GB | 통합 메모리 | 최대 8k |
|
| Kanana 1.5 8B | 쾌적 | 추정 30.7 tok/s24.6–36.9보정된 추정 ±20% | Q4_K_M | 6.6 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Llama 3.1 8B | 쾌적 | 추정 30.7 tok/s24.6–36.9보정된 추정 ±20% | Q4_K_M | 6.6 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Kanana 1.5 15.7B-A3B | 쾌적 | 추정 30.0 tok/s24.0–36.0보정된 추정 ±20% | Q4_K_M | 12.1 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Qwen3.5 9B | 쾌적 | 추정 30.0 tok/s24.0–36.0보정된 추정 ±20% | Q4_K_M | 6.7 / 44.8GB | 통합 메모리 | 최대 64k | — |
| Qwen3 8B | 쾌적 | 추정 29.5 tok/s23.6–35.4보정된 추정 ±20% | Q4_K_M | 6.8 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Gemma 4 12B | 쾌적 | 추정 24.1 tok/s19.2–28.9보정된 추정 ±20% | Q4_K_M | 8.2 / 44.8GB | 통합 메모리 | 최대 16k | — |
| Gemma 3 12B | 쾌적 | 추정 23.5 tok/s18.8–28.2보정된 추정 ±20% | Q4_K_M | 8.4 / 44.8GB | 통합 메모리 | 최대 16k | — |
| HyperCLOVA X SEED Think 14B | 원활 | 추정 18.1 tok/s12.6–23.5이론 추정 ±30% | Q4_K_M | 10.8 / 44.8GB | 통합 메모리 | 최대 32k |
|
| Qwen3 14B | 원활 | 추정 17.8 tok/s14.2–21.4보정된 추정 ±20% | Q4_K_M | 10.9 / 44.8GB | 통합 메모리 | 최대 32k |
|
| Phi-4 | 원활 | 추정 17.2 tok/s13.7–20.6보정된 추정 ±20% | Q4_K_M | 11.3 / 44.8GB | 통합 메모리 | 최대 16k |
|
| Mistral Small 3.2 24B | 원활 | 추정 11.8 tok/s9.4–14.1보정된 추정 ±20% | Q4_K_M | 16.2 / 44.8GB | 통합 메모리 | 최대 32k | — |
| Gemma 3 27B | 원활 | 추정 10.7 tok/s8.6–12.8보정된 추정 ±20% | Q4_K_M | 17.8 / 44.8GB | 통합 메모리 | 최대 64k | — |
| Qwen3.5 27B | 원활 | 추정 10.4 tok/s8.4–12.5보정된 추정 ±20% | Q4_K_M | 18.2 / 44.8GB | 통합 메모리 | 최대 64k | — |
| Qwen3 32B | 원활 | 추정 8.4 tok/s6.7–10.1보정된 추정 ±20% | Q4_K_M | 22.5 / 44.8GB | 통합 메모리 | 최대 8k | — |
| EXAONE 4.0 32B | 겨우 가능 | 추정 9.3 tok/s7.4–11.1보정된 추정 ±20% | Q4_K_M | 20.5 / 44.8GB | 통합 메모리 | 최대 128k |
|
| EXAONE 4.5 33B | 겨우 가능 | 추정 8.9 tok/s7.2–10.7보정된 추정 ±20% | Q4_K_M | 21.2 / 44.8GB | 통합 메모리 | 최대 256k |
|
| DeepSeek R1 Distill Qwen 32B | 겨우 가능 | 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% | Q4_K_M | 22.6 / 44.8GB | 통합 메모리 | 최대 64k |
|
| Llama 3.3 70B | 겨우 가능 | 추정 2.4 tok/s1.7–3.1이론 추정 ±30% | Q4_K_M | RAM 45.2GB | CPU 전용 | 최대 32k | — |
| Qwen3.5 122B-A10B | 불가UD-Q2_K_XL (품질 손실 큼): 쾌적 | 추정 25.4 tok/s20.3–30.5보정된 추정 ±20% | UD-Q2_K_XL | 43.6 / 44.8GB | 통합 메모리 | 최대 32k | — |
| Solar Open 100B | 불가IQ4_XS: 겨우 가능 | 추정 11.4 tok/s8.0–14.8이론 추정 ±30% | IQ4_XS | RAM 57.1GB | CPU 전용 | 최대 16k |
|
| gpt-oss-120b | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
|
| Solar Open 2 250B | 불가 | — | IQ4_XS | 137.2GB 필요 | — | — |
|
리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).
메모리 용량별 판정
| 모델 | 24GB | 48GB | 64GB |
|---|---|---|---|
| EXAONE 4.0 1.2B | 쾌적 | 쾌적 | 쾌적 |
| HyperCLOVA X SEED 1.5B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 35B-A3B | 불가 | 쾌적 | 쾌적 |
| gpt-oss-20b | 쾌적 | 쾌적 | 쾌적 |
| Qwen3 30B-A3B (2507) | 겨우 가능 | 쾌적 | 쾌적 |
| Gemma 4 26B-A4B | 겨우 가능 | 쾌적 | 쾌적 |
| DeepSeek R1 Distill Llama 8B | 쾌적 | 쾌적 | 쾌적 |
| Kanana 1.5 8B | 쾌적 | 쾌적 | 쾌적 |
| Llama 3.1 8B | 쾌적 | 쾌적 | 쾌적 |
| Kanana 1.5 15.7B-A3B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 9B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3 8B | 쾌적 | 쾌적 | 쾌적 |
| Gemma 4 12B | 쾌적 | 쾌적 | 쾌적 |
| Gemma 3 12B | 쾌적 | 쾌적 | 쾌적 |
| HyperCLOVA X SEED Think 14B | 원활 | 원활 | 원활 |
| Qwen3 14B | 원활 | 원활 | 원활 |
| Phi-4 | 원활 | 원활 | 원활 |
| Mistral Small 3.2 24B | 원활 | 원활 | 원활 |
| Gemma 3 27B | 겨우 가능 | 원활 | 원활 |
| Qwen3.5 27B | 겨우 가능 | 원활 | 원활 |
| Qwen3 32B | 불가 | 원활 | 원활 |
| EXAONE 4.0 32B | 겨우 가능 | 겨우 가능 | 겨우 가능 |
| EXAONE 4.5 33B | 불가 | 겨우 가능 | 겨우 가능 |
| DeepSeek R1 Distill Qwen 32B | 불가 | 겨우 가능 | 겨우 가능 |
| Llama 3.3 70B | 불가 | 불가 | 겨우 가능 |
| Qwen3.5 122B-A10B | 불가 | 불가 | 불가 |
| Solar Open 100B | 불가 | 불가 | 불가 |
| gpt-oss-120b | 불가 | 불가 | 불가 |
| Solar Open 2 250B | 불가 | 불가 | 불가 |
Apple M5 Pro 벤치마크 결과
이 기기로 잰 공개 벤치마크 결과는 아직 없습니다.
자주 묻는 질문
Apple M5 Pro에 통째로 올라가는 가장 큰 모델은 무엇인가요?
Llama 3.3 70B IQ4_XS(37.90GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 64GB에 전부 올라가고, 속도는 추정 4.5 tok/s (3.6–5.4, 보정된 추정 ±20%)입니다.
Apple M5 Pro에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?
Q4_K_M·8k 컨텍스트, 메모리 64GB 기준으로 등록된 모델 29개를 보면 쾌적 14개, 원활 7개, 겨우 가능 4개, 불가 4개입니다.
Apple M5 Pro에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?
Q4_K_M, CPU 전용 기준 판정: 겨우 가능, 속도: 추정 2.4 tok/s (1.7–3.1, 이론 추정 ±30%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.