Apple M2 Ultra에서 돌아가는 로컬 LLM
통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다
8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.
사양
- 메모리 구성
- 64GB · 128GB · 192GB
- 메모리 대역폭
- 800.0 GB/s
- FP16 연산
- 54.0 TFLOPS
- 출시 연도
- 2023
판정 요약
Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.
- 64GB쾌적19개원활5개겨우 가능1개불가4개양자화를 더 낮추면 2개가 더 돌아갑니다.
- 128GB쾌적22개원활5개겨우 가능1개불가1개양자화를 더 낮추면 1개가 더 돌아갑니다.
- 192GB쾌적22개원활5개겨우 가능2개불가0개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
한국 모델
EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.
Apple M2 Ultra 전체 모델 판정
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 |
|---|---|---|---|---|---|---|---|
| EXAONE 4.0 1.2B | 쾌적 | 추정 268.0 tok/s214.4–321.6보정된 추정 ±20% | Q4_K_M | 1.9 / 134.4GB | 통합 메모리 | 최대 64k | — |
| HyperCLOVA X SEED 1.5B | 쾌적 | 추정 193.9 tok/s155.1–232.7보정된 추정 ±20% | Q4_K_M | 2.4 / 134.4GB | 통합 메모리 | 최대 16k | — |
| Qwen3.5 35B-A3B | 쾌적 | 추정 112.8 tok/s90.3–135.4보정된 추정 ±20% | Q4_K_M | 23.4 / 134.4GB | 통합 메모리 | 최대 256k | — |
| gpt-oss-20b | 쾌적 | 추정 101.4 tok/s81.1–121.7보정된 추정 ±20% | MXFP4 | 12.9 / 134.4GB | 통합 메모리 | 최대 128k |
|
| Qwen3 30B-A3B (2507) | 쾌적 | 추정 82.5 tok/s66.0–99.0보정된 추정 ±20% | Q4_K_M | 19.9 / 134.4GB | 통합 메모리 | 최대 64k | — |
| Gemma 4 26B-A4B | 쾌적 | 추정 80.3 tok/s64.2–96.3보정된 추정 ±20% | Q4_K_M | 17.9 / 134.4GB | 통합 메모리 | 최대 128k | — |
| gpt-oss-120b | 쾌적 | 79.7 tok/s8k 추정 75.6 tok/s (60.5–90.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | MXFP4 | 64.3 / 134.4GB | 통합 메모리 | 최대 128k |
|
| Kanana 1.5 15.7B-A3B | 쾌적 | 추정 75.6 tok/s60.5–90.7보정된 추정 ±20% | Q4_K_M | 12.1 / 134.4GB | 통합 메모리 | 최대 32k | — |
| DeepSeek R1 Distill Llama 8B | 쾌적 | 추정 58.7 tok/s47.0–70.5보정된 추정 ±20% | Q4_K_M | 6.6 / 134.4GB | 통합 메모리 | 최대 32k |
|
| Kanana 1.5 8B | 쾌적 | 추정 58.7 tok/s47.0–70.5보정된 추정 ±20% | Q4_K_M | 6.6 / 134.4GB | 통합 메모리 | 최대 32k | — |
| Llama 3.1 8B | 쾌적 | 추정 58.7 tok/s47.0–70.5보정된 추정 ±20% | Q4_K_M | 6.6 / 134.4GB | 통합 메모리 | 최대 64k | — |
| Qwen3.5 9B | 쾌적 | 추정 57.3 tok/s45.9–68.8보정된 추정 ±20% | Q4_K_M | 6.7 / 134.4GB | 통합 메모리 | 최대 256k | — |
| Qwen3 8B | 쾌적 | 추정 56.4 tok/s45.1–67.7보정된 추정 ±20% | Q4_K_M | 6.8 / 134.4GB | 통합 메모리 | 최대 32k | — |
| Gemma 4 12B | 쾌적 | 추정 46.0 tok/s36.8–55.2보정된 추정 ±20% | Q4_K_M | 8.2 / 134.4GB | 통합 메모리 | 최대 128k | — |
| Gemma 3 12B | 쾌적 | 추정 44.9 tok/s35.9–53.9보정된 추정 ±20% | Q4_K_M | 8.4 / 134.4GB | 통합 메모리 | 최대 128k | — |
| Qwen3.5 122B-A10B | 쾌적 | 추정 35.9 tok/s28.7–43.1보정된 추정 ±20% | Q4_K_M | 79.0 / 134.4GB | 통합 메모리 | 최대 128k | — |
| HyperCLOVA X SEED Think 14B | 쾌적 | 추정 34.5 tok/s24.2–44.9이론 추정 ±30% | Q4_K_M | 10.8 / 134.4GB | 통합 메모리 | 최대 16k |
|
| Qwen3 14B | 쾌적 | 추정 34.0 tok/s27.2–40.8보정된 추정 ±20% | Q4_K_M | 10.9 / 134.4GB | 통합 메모리 | 최대 32k | — |
| Phi-4 | 쾌적 | 추정 32.8 tok/s26.2–39.4보정된 추정 ±20% | Q4_K_M | 11.3 / 134.4GB | 통합 메모리 | 최대 8k |
|
| Solar Open 100B | 쾌적 | 추정 26.1 tok/s20.9–31.3보정된 추정 ±20% | Q4_K_M | 64.4 / 134.4GB | 통합 메모리 | 최대 16k | — |
| Mistral Small 3.2 24B | 쾌적 | 추정 22.5 tok/s18.0–27.0보정된 추정 ±20% | Q4_K_M | 16.2 / 134.4GB | 통합 메모리 | 최대 16k | — |
| Gemma 3 27B | 쾌적 | 추정 20.4 tok/s16.4–24.5보정된 추정 ±20% | Q4_K_M | 17.8 / 134.4GB | 통합 메모리 | 최대 8k | — |
| Qwen3.5 27B | 원활 | 추정 19.9 tok/s16.0–23.9보정된 추정 ±20% | Q4_K_M | 18.2 / 134.4GB | 통합 메모리 | 최대 256k |
|
| EXAONE 4.0 32B | 원활 | 추정 17.7 tok/s14.2–21.3보정된 추정 ±20% | Q4_K_M | 20.5 / 134.4GB | 통합 메모리 | 최대 128k |
|
| EXAONE 4.5 33B | 원활 | 추정 17.1 tok/s13.7–20.5보정된 추정 ±20% | Q4_K_M | 21.2 / 134.4GB | 통합 메모리 | 최대 128k |
|
| Qwen3 32B | 원활 | 추정 16.1 tok/s12.9–19.3보정된 추정 ±20% | Q4_K_M | 22.5 / 134.4GB | 통합 메모리 | 최대 32k |
|
| DeepSeek R1 Distill Qwen 32B | 원활 | 추정 16.0 tok/s12.8–19.2보정된 추정 ±20% | Q4_K_M | 22.6 / 134.4GB | 통합 메모리 | 최대 32k |
|
| Solar Open 2 250B | 겨우 가능 | 추정 27.1 tok/s19.0–35.2이론 추정 ±30% | IQ4_XS | RAM 136.6GB | CPU 전용 | 최대 256k |
|
| Llama 3.3 70B | 겨우 가능 | 추정 7.8 tok/s6.2–9.3보정된 추정 ±20% | Q4_K_M | 45.8 / 134.4GB | 통합 메모리 | 최대 128k |
|
리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).
메모리 용량별 판정
| 모델 | 64GB | 128GB | 192GB |
|---|---|---|---|
| EXAONE 4.0 1.2B | 쾌적 | 쾌적 | 쾌적 |
| HyperCLOVA X SEED 1.5B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 35B-A3B | 쾌적 | 쾌적 | 쾌적 |
| gpt-oss-20b | 쾌적 | 쾌적 | 쾌적 |
| Qwen3 30B-A3B (2507) | 쾌적 | 쾌적 | 쾌적 |
| Gemma 4 26B-A4B | 쾌적 | 쾌적 | 쾌적 |
| gpt-oss-120b | 불가 | 쾌적 | 쾌적 |
| Kanana 1.5 15.7B-A3B | 쾌적 | 쾌적 | 쾌적 |
| DeepSeek R1 Distill Llama 8B | 쾌적 | 쾌적 | 쾌적 |
| Kanana 1.5 8B | 쾌적 | 쾌적 | 쾌적 |
| Llama 3.1 8B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 9B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3 8B | 쾌적 | 쾌적 | 쾌적 |
| Gemma 4 12B | 쾌적 | 쾌적 | 쾌적 |
| Gemma 3 12B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 122B-A10B | 불가 | 쾌적 | 쾌적 |
| HyperCLOVA X SEED Think 14B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3 14B | 쾌적 | 쾌적 | 쾌적 |
| Phi-4 | 쾌적 | 쾌적 | 쾌적 |
| Solar Open 100B | 불가 | 쾌적 | 쾌적 |
| Mistral Small 3.2 24B | 쾌적 | 쾌적 | 쾌적 |
| Gemma 3 27B | 쾌적 | 쾌적 | 쾌적 |
| Qwen3.5 27B | 원활 | 원활 | 원활 |
| EXAONE 4.0 32B | 원활 | 원활 | 원활 |
| EXAONE 4.5 33B | 원활 | 원활 | 원활 |
| Qwen3 32B | 원활 | 원활 | 원활 |
| DeepSeek R1 Distill Qwen 32B | 원활 | 원활 | 원활 |
| Solar Open 2 250B | 불가 | 불가 | 겨우 가능 |
| Llama 3.3 70B | 겨우 가능 | 겨우 가능 | 겨우 가능 |
Apple M2 Ultra 벤치마크 결과
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| gpt-oss-120b | MXFP4 | llama.cpp | 2k | 1,245.0 | 79.7 | — | github.com | 2025-08-15 |
| llama-2-7b | Q4_0 | llama.cpp | 512 | 1,238.0 | 94.3 | Metal | github.com | 2023-11-15 |
자주 묻는 질문
Apple M2 Ultra에 통째로 올라가는 가장 큰 모델은 무엇인가요?
Qwen3.5 122B-A10B Q4_K_M(78.26GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 192GB에 전부 올라가고, 속도는 추정 35.9 tok/s (28.7–43.1, 보정된 추정 ±20%)입니다.
Apple M2 Ultra에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?
Q4_K_M·8k 컨텍스트, 메모리 192GB 기준으로 등록된 모델 29개를 보면 쾌적 22개, 원활 5개, 겨우 가능 2개, 불가 0개입니다.
Apple M2 Ultra에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?
Q4_K_M, 통합 메모리 기준 판정: 겨우 가능, 속도: 추정 7.8 tok/s (6.2–9.3, 보정된 추정 ±20%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.