Apple M3 Ultra(맥 스튜디오)에서 돌아가는 로컬 LLM

통합 메모리: 기본 설정에서는 GPU가 약 70%까지 쓸 수 있습니다

8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다. 판정은 메모리 용량별로 보여 줍니다.

사양

메모리 구성: 96GB · 256GB · 512GB
메모리 대역폭: 819.0 GB/s
FP16 연산: 28.3 TFLOPS
출시 연도: 2025
이 칩이 들어간 맥: 맥 스튜디오: 96GB · 256GB · 512GB
다른 표기: M3 Ultra

판정 요약

Q4_K_M(없으면 가장 가까운 양자화), 8k 컨텍스트 기준입니다.

96GB쾌적41개원활12개겨우 가능3개불가3개
256GB쾌적46개원활12개겨우 가능1개불가0개
512GB쾌적46개원활13개겨우 가능0개불가0개

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

한국 모델

EXAONE, HyperCLOVA X SEED, Kanana, Solar가 이 기기에서 어떻게 돌아가는지 보여 줍니다.

Apple M3 Ultra 전체 모델 판정

옆으로 밀면 모든 열을 볼 수 있습니다.

모델 59개(판정·속도 순), 메모리 512GB
모델	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고
MiniCPM5 1B	쾌적	추정 523.7 tok/s419.0–628.5보정된 추정 ±20%	Q4_K_M	1.5 / 358.4GB	통합 메모리	최대 128k	생각 모드
Llama 3.2 1B	쾌적	추정 432.9 tok/s346.3–519.5보정된 추정 ±20%	Q4_K_M	1.7 / 358.4GB	통합 메모리	최대 128k	—
EXAONE 4.0 1.2B	쾌적	추정 355.5 tok/s284.4–426.6보정된 추정 ±20%	Q4_K_M	1.9 / 358.4GB	통합 메모리	최대 64k	생각 모드
LFM2.5 2.6B	쾌적	추정 258.7 tok/s181.1–336.4이론 추정 ±30%	Q4_K_M	2.4 / 358.4GB	통합 메모리	최대 128k	생각 모드
HyperCLOVA X SEED 1.5B	쾌적	추정 257.2 tok/s205.7–308.6보정된 추정 ±20%	Q4_K_M	2.4 / 358.4GB	통합 메모리	최대 16k	—
MiniCPM5 2B	쾌적	추정 244.1 tok/s195.3–292.9보정된 추정 ±20%	Q4_K_M	2.5 / 358.4GB	통합 메모리	최대 128k	생각 모드
Ling-3.0 Tiny	쾌적	추정 229.2 tok/s160.4–298.0이론 추정 ±30%	Q4_K_M	5.5 / 358.4GB	통합 메모리	최대 128k	생각 모드
Gemma 4 E2B	쾌적	추정 197.2 tok/s138.0–256.4이론 추정 ±30%	Q4_K_M	3.7 / 358.4GB	통합 메모리	최대 128k	생각 모드
Spark-X2.5 4B	쾌적	추정 160.9 tok/s128.7–193.0보정된 추정 ±20%	Q4_K_M	3.5 / 358.4GB	통합 메모리	최대 256k	생각 모드
Llama 3.2 3B	쾌적	추정 157.7 tok/s126.2–189.3보정된 추정 ±20%	Q4_K_M	3.5 / 358.4GB	통합 메모리	최대 128k	—
Mellum2.1 12B-A2.5B Thinking	쾌적	추정 151.7 tok/s121.3–182.0보정된 추정 ±20%	Q4_K_M	8.8 / 358.4GB	통합 메모리	최대 128k	생각 모드
Qwen3.5 4B	쾌적	추정 150.7 tok/s120.5–180.8보정된 추정 ±20%	Q4_K_M	3.7 / 358.4GB	통합 메모리	최대 256k	생각 모드
Nemotron 3.5 Lightning 30B-A3B	쾌적	추정 126.5 tok/s88.5–164.4이론 추정 ±30%	Q4_K_M	26.1 / 358.4GB	통합 메모리	최대 256k	생각 모드
Gemma 4 E4B	쾌적	추정 117.0 tok/s81.9–152.1이론 추정 ±30%	Q4_K_M	5.7 / 358.4GB	통합 메모리	최대 128k	생각 모드
gpt-oss-20b	쾌적	115.5 tok/s8k 추정 136.7 tok/s (109.4–164.1, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 358.4GB	통합 메모리	최대 128k	생각 모드
MiniCPM-V 4.7 35B-A3B	쾌적	추정 109.0 tok/s87.2–130.8보정된 추정 ±20%	Q4_K_M	21.9 / 358.4GB	통합 메모리	최대 256k	생각 모드
Qwen3.6 35B-A3B	쾌적	추정 103.7 tok/s82.9–124.4보정된 추정 ±20%	Q4_K_M	23.0 / 358.4GB	통합 메모리	최대 256k	생각 모드
Kanana 1.5 15.7B-A3B	쾌적	추정 101.3 tok/s81.0–121.5보정된 추정 ±20%	Q4_K_M	12.1 / 358.4GB	통합 메모리	최대 32k	—
gpt-oss-120b	쾌적	추정 96.0 tok/s76.8–115.2보정된 추정 ±20%	MXFP4	64.3 / 358.4GB	통합 메모리	최대 128k	생각 모드
Qwen3.5 35B-A3B	쾌적	추정 94.8 tok/s75.8–113.8보정된 추정 ±20%	Q4_K_M	23.4 / 358.4GB	통합 메모리	최대 256k	생각 모드
Gemma 4 26B-A4B	쾌적	추정 89.0 tok/s71.2–106.8보정된 추정 ±20%	Q4_K_M	17.7 / 358.4GB	통합 메모리	최대 256k	생각 모드
Qwen3 30B-A3B (2507)	쾌적	추정 88.3 tok/s70.7–106.0보정된 추정 ±20%	Q4_K_M	19.9 / 358.4GB	통합 메모리	최대 128k	—
Kolibri 1	쾌적	추정 85.3 tok/s68.2–102.4보정된 추정 ±20%	Q4_K_M	50.5 / 358.4GB	통합 메모리	최대 256k	생각 모드
Ling-3.0 Flash	쾌적	추정 84.6 tok/s59.2–110.0이론 추정 ±30%	Q4_K_M	77.7 / 358.4GB	통합 메모리	최대 256k	생각 모드
DeepSeek R1 Distill Llama 8B	쾌적	추정 77.9 tok/s62.3–93.5보정된 추정 ±20%	Q4_K_M	6.6 / 358.4GB	통합 메모리	최대 64k	생각 모드
Kanana 1.5 8B	쾌적	추정 77.9 tok/s62.3–93.5보정된 추정 ±20%	Q4_K_M	6.6 / 358.4GB	통합 메모리	최대 32k	—
Llama 3.1 8B	쾌적	추정 77.9 tok/s62.3–93.5보정된 추정 ±20%	Q4_K_M	6.6 / 358.4GB	통합 메모리	최대 128k	—
Nanbeige4.2 3B	쾌적	추정 76.2 tok/s53.3–99.1이론 추정 ±30%	Q4_K_M	4.7 / 358.4GB	통합 메모리	최대 32k	생각 모드
Qwen3.5 9B	쾌적	추정 76.1 tok/s60.8–91.3보정된 추정 ±20%	Q4_K_M	6.7 / 358.4GB	통합 메모리	최대 256k	생각 모드
DeepSeek R1 0528 Qwen3 8B	쾌적	추정 74.8 tok/s59.9–89.8보정된 추정 ±20%	Q4_K_M	6.8 / 358.4GB	통합 메모리	최대 64k	생각 모드
Qwen3 8B	쾌적	추정 74.8 tok/s59.9–89.8보정된 추정 ±20%	Q4_K_M	6.8 / 358.4GB	통합 메모리	최대 32k	생각 모드
K2-Horizon 7B	쾌적	추정 68.7 tok/s54.9–82.4보정된 추정 ±20%	Q4_K_M	7.4 / 358.4GB	통합 메모리	최대 64k	생각 모드
Gemma 4 12B	쾌적	추정 64.4 tok/s51.5–77.2보정된 추정 ±20%	Q4_K_M	7.8 / 358.4GB	통합 메모리	최대 256k	생각 모드
K2-Horizon MoVA 36B-A4B	쾌적	추정 63.9 tok/s44.7–83.0이론 추정 ±30%	Q4_K_M	24.6 / 358.4GB	통합 메모리	최대 32k	생각 모드
Gemma 3 12B	쾌적	추정 59.6 tok/s47.7–71.5보정된 추정 ±20%	Q4_K_M	8.4 / 358.4GB	통합 메모리	최대 128k	—
Laguna S 2.1	쾌적	추정 48.1 tok/s38.5–57.7보정된 추정 ±20%	Q4_K_M	68.6 / 358.4GB	통합 메모리	최대 64k	생각 모드
HyperCLOVA X SEED Think 14B	쾌적	추정 45.8 tok/s32.1–59.5이론 추정 ±30%	Q4_K_M	10.8 / 358.4GB	통합 메모리	최대 32k	생각 모드
Qwen3 14B	쾌적	추정 45.1 tok/s36.1–54.2보정된 추정 ±20%	Q4_K_M	10.9 / 358.4GB	통합 메모리	최대 32k	생각 모드
DeepSeek R1 Distill Qwen 14B	쾌적	추정 44.0 tok/s35.2–52.8보정된 추정 ±20%	Q4_K_M	11.2 / 358.4GB	통합 메모리	최대 32k	생각 모드
Qwen3.5 122B-A10B	쾌적	추정 43.8 tok/s35.0–52.6보정된 추정 ±20%	Q4_K_M	79.0 / 358.4GB	통합 메모리	최대 128k	생각 모드
Phi-4	쾌적	추정 43.5 tok/s34.8–52.2보정된 추정 ±20%	Q4_K_M	11.3 / 358.4GB	통합 메모리	최대 16k	—
Solar Open 100B	쾌적	추정 42.0 tok/s33.6–50.4보정된 추정 ±20%	Q4_K_M	64.4 / 358.4GB	통합 메모리	최대 16k	생각 모드
DeepSeek V4 Flash 0731	쾌적	추정 37.4 tok/s26.2–48.6이론 추정 ±30%	MXFP4	155.6 / 358.4GB	통합 메모리	최대 32k	생각 모드
Solar Open 2 250B	쾌적	추정 37.0 tok/s29.6–44.4보정된 추정 ±20%	IQ4_XS	137.2 / 358.4GB	통합 메모리	최대 64k	생각 모드
Mistral Small 3.2 24B	쾌적	추정 29.8 tok/s23.8–35.7보정된 추정 ±20%	Q4_K_M	16.2 / 358.4GB	통합 메모리	최대 32k	—
Gemma 3 27B	쾌적	추정 27.1 tok/s21.7–32.5보정된 추정 ±20%	Q4_K_M	17.8 / 358.4GB	통합 메모리	최대 64k	—
GLM-5.3 Flash	원활	추정 28.1 tok/s19.7–36.5이론 추정 ±30%	Q4_K_M	182.1 / 358.4GB	통합 메모리	최대 256k	생각 모드
Qwen3.6 27B	원활	추정 26.9 tok/s21.5–32.3보정된 추정 ±20%	Q4_K_M	17.9 / 358.4GB	통합 메모리	최대 256k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Muse Glimmer 30B	원활	추정 26.8 tok/s21.4–32.2보정된 추정 ±20%	Q4_K_M	18.0 / 358.4GB	통합 메모리	최대 128k	IQ4_XS: 쾌적 생각 모드
Qwen3 32B	원활	26.7 tok/s8k 추정 21.3 tok/s (17.0–25.6, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	22.5 / 358.4GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적 생각 모드
Qwen3.5 27B	원활	추정 26.5 tok/s21.2–31.7보정된 추정 ±20%	Q4_K_M	18.2 / 358.4GB	통합 메모리	최대 256k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Qwen3.8 27B	원활	추정 26.0 tok/s20.8–31.2보정된 추정 ±20%	Q4_K_M	18.6 / 358.4GB	통합 메모리	최대 256k	Q2_K (품질 손실 큼): 쾌적 생각 모드
Gemma 4 31B	원활	추정 24.6 tok/s19.7–29.5보정된 추정 ±20%	Q4_K_M	19.6 / 358.4GB	통합 메모리	최대 128k	UD-Q2_K_XL (품질 손실 큼): 쾌적 생각 모드
Granite 4.2 30B	원활	추정 23.5 tok/s18.8–28.2보정된 추정 ±20%	Q4_K_M	20.4 / 358.4GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적 생각 모드
EXAONE 4.0 32B	원활	추정 23.5 tok/s18.8–28.2보정된 추정 ±20%	Q4_K_M	20.5 / 358.4GB	통합 메모리	최대 128k	생각 모드
EXAONE 4.5 33B	원활	추정 22.7 tok/s18.1–27.2보정된 추정 ±20%	Q4_K_M	21.2 / 358.4GB	통합 메모리	최대 256k	생각 모드
DeepSeek R1 Distill Qwen 32B	원활	추정 21.2 tok/s17.0–25.5보정된 추정 ±20%	Q4_K_M	22.6 / 358.4GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적 생각 모드
Nanbeige4.3 33B	원활	추정 20.7 tok/s16.6–24.9보정된 추정 ±20%	Q4_K_M	23.1 / 358.4GB	통합 메모리	최대 64k	Q2_K (품질 손실 큼): 쾌적 생각 모드
Llama 3.3 70B	원활	14.4 tok/s8k 추정 10.3 tok/s (8.3–12.4, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	Q4_K_M	45.8 / 358.4GB	통합 메모리	최대 32k	—

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

메모리 용량별 판정

메모리 구성별 Q4_K_M 판정입니다. 속도는 모델 페이지에서 확인하세요.
모델	96GB	256GB	512GB
MiniCPM5 1B	쾌적	쾌적	쾌적
Llama 3.2 1B	쾌적	쾌적	쾌적
EXAONE 4.0 1.2B	쾌적	쾌적	쾌적
LFM2.5 2.6B	쾌적	쾌적	쾌적
HyperCLOVA X SEED 1.5B	쾌적	쾌적	쾌적
MiniCPM5 2B	쾌적	쾌적	쾌적
Ling-3.0 Tiny	쾌적	쾌적	쾌적
Gemma 4 E2B	쾌적	쾌적	쾌적
Spark-X2.5 4B	쾌적	쾌적	쾌적
Llama 3.2 3B	쾌적	쾌적	쾌적
Mellum2.1 12B-A2.5B Thinking	쾌적	쾌적	쾌적
Qwen3.5 4B	쾌적	쾌적	쾌적
Nemotron 3.5 Lightning 30B-A3B	쾌적	쾌적	쾌적
Gemma 4 E4B	쾌적	쾌적	쾌적
gpt-oss-20b	쾌적	쾌적	쾌적
MiniCPM-V 4.7 35B-A3B	쾌적	쾌적	쾌적
Qwen3.6 35B-A3B	쾌적	쾌적	쾌적
Kanana 1.5 15.7B-A3B	쾌적	쾌적	쾌적
gpt-oss-120b	쾌적	쾌적	쾌적
Qwen3.5 35B-A3B	쾌적	쾌적	쾌적
Gemma 4 26B-A4B	쾌적	쾌적	쾌적
Qwen3 30B-A3B (2507)	쾌적	쾌적	쾌적
Kolibri 1	쾌적	쾌적	쾌적
Ling-3.0 Flash	겨우 가능	쾌적	쾌적
DeepSeek R1 Distill Llama 8B	쾌적	쾌적	쾌적
Kanana 1.5 8B	쾌적	쾌적	쾌적
Llama 3.1 8B	쾌적	쾌적	쾌적
Nanbeige4.2 3B	쾌적	쾌적	쾌적
Qwen3.5 9B	쾌적	쾌적	쾌적
DeepSeek R1 0528 Qwen3 8B	쾌적	쾌적	쾌적
Qwen3 8B	쾌적	쾌적	쾌적
K2-Horizon 7B	쾌적	쾌적	쾌적
Gemma 4 12B	쾌적	쾌적	쾌적
K2-Horizon MoVA 36B-A4B	쾌적	쾌적	쾌적
Gemma 3 12B	쾌적	쾌적	쾌적
Laguna S 2.1	겨우 가능	쾌적	쾌적
HyperCLOVA X SEED Think 14B	쾌적	쾌적	쾌적
Qwen3 14B	쾌적	쾌적	쾌적
DeepSeek R1 Distill Qwen 14B	쾌적	쾌적	쾌적
Qwen3.5 122B-A10B	겨우 가능	쾌적	쾌적
Phi-4	쾌적	쾌적	쾌적
Solar Open 100B	쾌적	쾌적	쾌적
DeepSeek V4 Flash 0731	불가	쾌적	쾌적
Solar Open 2 250B	불가	쾌적	쾌적
Mistral Small 3.2 24B	쾌적	쾌적	쾌적
Gemma 3 27B	쾌적	쾌적	쾌적
GLM-5.3 Flash	불가	겨우 가능	원활
Qwen3.6 27B	원활	원활	원활
Muse Glimmer 30B	원활	원활	원활
Qwen3 32B	원활	원활	원활
Qwen3.5 27B	원활	원활	원활
Qwen3.8 27B	원활	원활	원활
Gemma 4 31B	원활	원활	원활
Granite 4.2 30B	원활	원활	원활
EXAONE 4.0 32B	원활	원활	원활
EXAONE 4.5 33B	원활	원활	원활
DeepSeek R1 Distill Qwen 32B	원활	원활	원활
Nanbeige4.3 33B	원활	원활	원활
Llama 3.3 70B	원활	원활	원활

Apple M3 Ultra 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Apple M3 Ultra 벤치마크 결과
모델	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
gpt-oss-20b	MXFP4	llama.cpp	2k	2,816.0	115.5	—	github.com	2025-08-28
llama-2-7b	Q4_0	llama.cpp	512	1,471.0	92.1	Metal, b1550 (2023)	github.com	2025-03-23
Qwen3.5 27B	Q8_0	llama.cpp	32k	—	19.6	—	github.com	2026-09-23
Llama 3.3 70B	Q4_K_M	llama.cpp	512	162.0	14.4	Metal	github.com	2025-12-10
Qwen3 32B	Q4_K_M	llama.cpp	512	335.0	26.7	Metal	github.com	2025-12-08

자주 묻는 질문

Apple M3 Ultra에 통째로 올라가는 가장 큰 모델은 무엇인가요?

GLM-5.3 Flash Q4_K_M(181.37GB 파일)입니다. 8k 컨텍스트에서 통합 메모리 512GB에 전부 올라가고, 속도는 추정 28.1 tok/s (19.7–36.5, 이론 추정 ±30%)입니다.

Apple M3 Ultra에서 원활하게 돌아가는 로컬 LLM은 몇 개인가요?

Q4_K_M·8k 컨텍스트, 메모리 512GB 기준으로 등록된 모델 59개를 보면 쾌적 46개, 원활 13개, 겨우 가능 0개, 불가 0개입니다.

Apple M3 Ultra에서 Llama 3.3 70B 같은 70B 모델을 돌릴 수 있나요?

Q4_K_M, 통합 메모리 기준 판정: 원활, 속도: 실측 14.4 tok/s (512 컨텍스트, 1건; 8k 추정 10.3 tok/s, 8.3–12.4, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.

사양