M4 Pro 64GB vs RTX 5060 Ti 16GB 로컬 LLM 비교
- M4 Pro 64GB: 메모리는 가장 큰 구성인 64GB로 잡고, 8k 컨텍스트와 f16 KV 캐시를 기준으로 계산했습니다.
- RTX 5060 Ti 16GB: 시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다.
고르기 전에 알아 둘 점
CanRun은 64GB M4 Pro에서 메모리의 약 70%인 44.8GB를 GPU 몫으로 계산합니다. RTX 5060 Ti 16GB에서 모델에 쓰는 VRAM은 15.4GB입니다. Gemma 3 27B는 M4 Pro에 다 올라가 원활하게 돌아갑니다. RTX 5060 Ti 16GB에서는 일부가 RAM으로 넘어가 느리게 돌아갑니다. 추정 속도는 비슷하지만, GPU에 올라간 몫이 90%에 못 미치면 CanRun이 판정 상한을 낮춥니다.
64GB M4 Pro는 Mac mini에만 있고, MacBook Pro용은 48GB까지입니다. 48GB에서도 Qwen3.5 35B-A3B는 쾌적하게 돌아가지만, Llama 3.3 70B Q4_K_M은 올라가지 않습니다. 24GB 구성은 GPU 몫이 16GB 카드와 비슷하지만, Qwen3.5 35B-A3B가 올라가지 않습니다. RTX 5060 Ti 16GB에서는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다(이론 추정 ±30%). gpt-oss-120b는 64GB M4 Pro에 올라가지 않습니다. 시스템 RAM이 64GB인 RTX 5060 Ti 16GB PC에서는 느리게 돌아갑니다(이론 추정 ±30%). 실행 명령은 GeForce RTX 5060 Ti 16GB에서 gpt-oss-120b 페이지에 있습니다. 메모리는 돌릴 모델에 맞추세요.
생성 속도는 메모리 대역폭을, 프롬프트를 읽는 속도는 FP16 연산 성능을 따릅니다. 차이는 FP16 쪽이 훨씬 큽니다. 긴 문서나 코딩 에이전트처럼 컨텍스트가 크면 M4 Pro에서 첫 토큰이 한참 늦게 나온다고 CanRun은 추정합니다.
속도 비교
글 생성 속도는 RTX 5060 Ti 16GB 쪽이 M4 Pro 64GB보다 약 1.5배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다.
gpt-oss-20b에서는 두 추정 범위가 겹칩니다. 실제 차이는 이보다 작을 수 있습니다.
- 기준 모델
- gpt-oss-20b MXFP4(Q4_K_M 또는 가장 가까운 양자화로 둘 다 메모리에 전부 올라가는 가장 큰 모델)
- M4 Pro 64GB
- 추정 69.9 tok/s (55.9–83.9, 보정된 추정 ±20%)
- RTX 5060 Ti 16GB
- 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 104.3 tok/s, 83.5–125.2, 보정된 추정 ±20%)
- gpt-oss-20b 프롬프트 처리
- M4 Pro 64GB: 약 454 tok/s (272–636, 대략적 추정 ±40%) · RTX 5060 Ti 16GB: 약 3,599 tok/s (2,159–5,039, 대략적 추정 ±40%)
사양 비교
| 항목 | M4 Pro 64GB | RTX 5060 Ti 16GB | 차이 |
|---|---|---|---|
| 메모리 | 통합 메모리 64GB | 16GB | — |
| 메모리 대역폭 | 273.0 GB/s | 448.0 GB/s | RTX 5060 Ti 16GB 쪽 1.64배 |
| FP16 연산 | 8.1 TFLOPS | 23.7 TFLOPS | RTX 5060 Ti 16GB 쪽 2.93배 |
| 출시 연도 | 2024 | 2025 | — |
| 가격 | — | 2026-08-09 기준 실거래가 US$569(약 75만 원) | — |
| 공개 벤치마크 결과 | 3건 | 4건 | — |
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
판정 요약
모델 58개를 Q4_K_M(없으면 가장 가까운 양자화)·8k 컨텍스트로 판정했습니다.
- M4 Pro 64GB쾌적31개원활7개겨우 가능12개불가8개
- RTX 5060 Ti 16GB쾌적28개원활9개겨우 가능11개불가10개
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
판정이 갈리는 모델
두 기기에서 판정이 다르게 나오는 모델 14개를 모았습니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | M4 Pro 64GB 판정 | M4 Pro 64GB 속도 | RTX 5060 Ti 16GB 판정 | RTX 5060 Ti 16GB 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 쾌적 | 추정 36.8 tok/s25.8–47.8이론 추정 ±30% | 원활 | 추정 30.7 tok/s21.5–39.9이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 추정 60.3 tok/s48.3–72.4보정된 추정 ±20% | 원활 | 추정 62.4 tok/s43.7–81.1이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 추정 68.8 tok/s55.0–82.5보정된 추정 ±20% | 원활 | 추정 69.5 tok/s48.7–90.4이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 74.2 tok/s59.3–89.0보정된 추정 ±20% | 원활 | 추정 74.7 tok/s52.3–97.1이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 쾌적 | 추정 68.0 tok/s47.6–88.4이론 추정 ±30% | 원활 | 추정 50.8 tok/s35.6–66.0이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 추정 59.2 tok/s47.4–71.1보정된 추정 ±20% | 추정 57.7 tok/s40.4–75.1이론 추정 ±30% | ||
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 추정 50.2 tok/s40.2–60.2보정된 추정 ±20% | 원활 | 추정 59.2 tok/s41.4–76.9이론 추정 ±30% |
| Qwen3 14BQ4_K_M | 추정 20.1 tok/s16.0–24.1보정된 추정 ±20% | 추정 30.3 tok/s26.7–34.0보정된 추정 ±12% | ||
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.4 tok/s14.2–26.5이론 추정 ±30% | 쾌적 | 추정 30.8 tok/s21.5–40.0이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.3 tok/s15.5–23.2보정된 추정 ±20% | 쾌적 | 추정 29.2 tok/s25.7–32.7보정된 추정 ±12% |
| Gemma 4 12BQ4_K_M | 원활 | 추정 28.6 tok/s22.9–34.3보정된 추정 ±20% | 쾌적 | 추정 43.2 tok/s38.0–48.4보정된 추정 ±12% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.0 tok/s9.6–14.5보정된 추정 ±20% | 겨우 가능 | 추정 9.7 tok/s7.8–11.7보정된 추정 ±20% |
| Kolibri 1Q4_K_M | 겨우 가능 | 추정 49.5 tok/s34.6–64.3이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 원활 | 추정 63.3 tok/s44.3–82.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 추정 3.0 tok/s2.1–3.9이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.5 tok/s2.0–3.1보정된 추정 ±20% |
전체 모델 판정 비교
옆으로 밀면 모든 열을 볼 수 있습니다.
| 모델 | M4 Pro 64GB 판정 | M4 Pro 64GB 속도 | RTX 5060 Ti 16GB 판정 | RTX 5060 Ti 16GB 속도 |
|---|---|---|---|---|
| K2-Horizon MoVA 36B-A4BQ4_K_M | 쾌적 | 추정 36.8 tok/s25.8–47.8이론 추정 ±30% | 원활 | 추정 30.7 tok/s21.5–39.9이론 추정 ±30% |
| Qwen3.5 35B-A3BQ4_K_M | 쾌적 | 추정 60.3 tok/s48.3–72.4보정된 추정 ±20% | 원활 | 추정 62.4 tok/s43.7–81.1이론 추정 ±30% |
| Qwen3.6 35B-A3BQ4_K_M | 쾌적 | 추정 68.8 tok/s55.0–82.5보정된 추정 ±20% | 원활 | 추정 69.5 tok/s48.7–90.4이론 추정 ±30% |
| MiniCPM-V 4.7 35B-A3BQ4_K_M | 쾌적 | 추정 74.2 tok/s59.3–89.0보정된 추정 ±20% | 원활 | 추정 74.7 tok/s52.3–97.1이론 추정 ±30% |
| Nemotron 3.5 Lightning 30B-A3BQ4_K_M | 쾌적 | 추정 68.0 tok/s47.6–88.4이론 추정 ±30% | 원활 | 추정 50.8 tok/s35.6–66.0이론 추정 ±30% |
| Qwen3 30B-A3B (2507)Q4_K_M | 추정 59.2 tok/s47.4–71.1보정된 추정 ±20% | 추정 57.7 tok/s40.4–75.1이론 추정 ±30% | ||
| Gemma 4 26B-A4BQ4_K_M | 쾌적 | 추정 50.2 tok/s40.2–60.2보정된 추정 ±20% | 원활 | 추정 59.2 tok/s41.4–76.9이론 추정 ±30% |
| gpt-oss-20bMXFP4 | 추정 69.9 tok/s55.9–83.9보정된 추정 ±20% | 111.6 tok/s8k 추정 104.3 tok/s (83.5–125.2, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | ||
| Kanana 1.5 15.7B-A3BQ4_K_M | 쾌적 | 추정 60.6 tok/s48.5–72.8보정된 추정 ±20% | 쾌적 | 추정 89.1 tok/s71.3–106.9보정된 추정 ±20% |
| Qwen3 14BQ4_K_M | 추정 20.1 tok/s16.0–24.1보정된 추정 ±20% | 추정 30.3 tok/s26.7–34.0보정된 추정 ±12% | ||
| HyperCLOVA X SEED Think 14BQ4_K_M | 원활 | 추정 20.4 tok/s14.2–26.5이론 추정 ±30% | 쾌적 | 추정 30.8 tok/s21.5–40.0이론 추정 ±30% |
| Phi-4Q4_K_M | 원활 | 추정 19.3 tok/s15.5–23.2보정된 추정 ±20% | 쾌적 | 추정 29.2 tok/s25.7–32.7보정된 추정 ±12% |
| Gemma 3 12BQ4_K_M | 추정 26.5 tok/s21.2–31.8보정된 추정 ±20% | 추정 40.0 tok/s35.2–44.8보정된 추정 ±12% | ||
| Mellum2.1 12B-A2.5B ThinkingQ4_K_M | 쾌적 | 추정 101.8 tok/s81.4–122.2보정된 추정 ±20% | 쾌적 | 추정 147.7 tok/s118.2–177.2보정된 추정 ±20% |
| Gemma 4 12BQ4_K_M | 원활 | 추정 28.6 tok/s22.9–34.3보정된 추정 ±20% | 쾌적 | 추정 43.2 tok/s38.0–48.4보정된 추정 ±12% |
| Qwen3.5 9BQ4_K_M | 쾌적 | 37.0 tok/s8k 추정 33.8 tok/s (27.0–40.6, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트) | 쾌적 | 추정 51.1 tok/s45.0–57.2보정된 추정 ±12% |
| K2-Horizon 7BQ4_K_M | 쾌적 | 추정 30.5 tok/s24.4–36.6보정된 추정 ±20% | 쾌적 | 추정 46.1 tok/s40.6–51.7보정된 추정 ±12% |
| Qwen3 8BQ4_K_M | 쾌적 | 추정 33.3 tok/s26.6–39.9보정된 추정 ±20% | 쾌적 | 추정 50.3 tok/s44.2–56.3보정된 추정 ±12% |
| DeepSeek R1 0528 Qwen3 8BQ4_K_M | 쾌적 | 추정 33.3 tok/s26.6–39.9보정된 추정 ±20% | 쾌적 | 추정 50.3 tok/s44.2–56.3보정된 추정 ±12% |
| DeepSeek R1 Distill Llama 8BQ4_K_M | 쾌적 | 추정 34.6 tok/s27.7–41.5보정된 추정 ±20% | 쾌적 | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% |
| Kanana 1.5 8BQ4_K_M | 쾌적 | 추정 34.6 tok/s27.7–41.5보정된 추정 ±20% | 쾌적 | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% |
| Llama 3.1 8BQ4_K_M | 추정 34.6 tok/s27.7–41.5보정된 추정 ±20% | 추정 52.3 tok/s46.0–58.6보정된 추정 ±12% | ||
| Gemma 4 E4BQ4_K_M | 쾌적 | 추정 58.7 tok/s41.1–76.3이론 추정 ±30% | 쾌적 | 추정 87.2 tok/s61.0–113.3이론 추정 ±30% |
| Ling-3.0 TinyQ4_K_M | 쾌적 | 추정 175.4 tok/s122.8–228.1이론 추정 ±30% | 쾌적 | 추정 250.3 tok/s175.2–325.4이론 추정 ±30% |
| Gemma 4 E2BQ4_K_M | 쾌적 | 추정 108.4 tok/s75.9–141.0이론 추정 ±30% | 쾌적 | 추정 158.9 tok/s111.2–206.6이론 추정 ±30% |
| Qwen3.5 4BQ4_K_M | 쾌적 | 추정 67.0 tok/s53.6–80.4보정된 추정 ±20% | 쾌적 | 추정 101.2 tok/s89.1–113.4보정된 추정 ±12% |
| Nanbeige4.2 3BQ4_K_M | 쾌적 | 추정 33.9 tok/s23.7–44.0이론 추정 ±30% | 쾌적 | 추정 51.2 tok/s35.8–66.5이론 추정 ±30% |
| Spark-X2.5 4BQ4_K_M | 쾌적 | 추정 71.5 tok/s57.2–85.8보정된 추정 ±20% | 쾌적 | 추정 108.1 tok/s95.1–121.0보정된 추정 ±12% |
| Llama 3.2 3BQ4_K_M | 쾌적 | 추정 70.1 tok/s56.1–84.1보정된 추정 ±20% | 쾌적 | 추정 106.0 tok/s93.2–118.7보정된 추정 ±12% |
| LFM2.5 2.6BQ4_K_M | 쾌적 | 추정 115.0 tok/s80.5–149.5이론 추정 ±30% | 쾌적 | 추정 173.8 tok/s121.7–226.0이론 추정 ±30% |
| MiniCPM5 2BQ4_K_M | 쾌적 | 추정 108.5 tok/s86.8–130.2보정된 추정 ±20% | 쾌적 | 추정 164.0 tok/s144.3–183.7보정된 추정 ±12% |
| HyperCLOVA X SEED 1.5BQ4_K_M | 쾌적 | 추정 114.3 tok/s91.4–137.2보정된 추정 ±20% | 쾌적 | 추정 172.8 tok/s152.0–193.5보정된 추정 ±12% |
| EXAONE 4.0 1.2BQ4_K_M | 쾌적 | 추정 158.0 tok/s126.4–189.6보정된 추정 ±20% | 쾌적 | 추정 238.8 tok/s210.1–267.4보정된 추정 ±12% |
| Llama 3.2 1BQ4_K_M | 쾌적 | 추정 192.4 tok/s153.9–230.9보정된 추정 ±20% | 쾌적 | 추정 290.8 tok/s255.9–325.7보정된 추정 ±12% |
| MiniCPM5 1BQ4_K_M | 쾌적 | 추정 232.8 tok/s186.2–279.3보정된 추정 ±20% | 쾌적 | 추정 351.8 tok/s309.6–394.1보정된 추정 ±12% |
| Gemma 3 27BQ4_K_M | 원활 | 추정 12.0 tok/s9.6–14.5보정된 추정 ±20% | 겨우 가능 | 추정 9.7 tok/s7.8–11.7보정된 추정 ±20% |
| Mistral Small 3.2 24BQ4_K_M | 원활 | 추정 13.2 tok/s10.6–15.9보정된 추정 ±20% | 원활 | 추정 14.8 tok/s11.8–17.7보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 14BQ4_K_M | 원활 | 추정 19.6 tok/s15.7–23.5보정된 추정 ±20% | 원활 | 추정 29.6 tok/s26.0–33.1보정된 추정 ±12% |
| Kolibri 1Q4_K_M | 겨우 가능 | 추정 49.5 tok/s34.6–64.3이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 원활 | 추정 63.3 tok/s44.3–82.3이론 추정 ±30% |
| Llama 3.3 70BQ4_K_M | 겨우 가능 | 추정 3.0 tok/s2.1–3.9이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 2.5 tok/s2.0–3.1보정된 추정 ±20% |
| EXAONE 4.5 33BQ4_K_M | 겨우 가능 | 추정 10.1 tok/s8.1–12.1보정된 추정 ±20% | 겨우 가능 | 추정 5.6 tok/s4.5–6.7보정된 추정 ±20% |
| DeepSeek R1 Distill Qwen 32BQ4_K_M | 겨우 가능 | 추정 9.4 tok/s7.5–11.3보정된 추정 ±20% | 겨우 가능 | 추정 4.5 tok/s3.6–5.4보정된 추정 ±20% |
| Qwen3 32BQ4_K_M | 겨우 가능 | 추정 9.5 tok/s7.6–11.4보정된 추정 ±20% | 겨우 가능 | 추정 4.5 tok/s3.6–5.5보정된 추정 ±20% |
| EXAONE 4.0 32BQ4_K_M | 겨우 가능 | 추정 10.4 tok/s8.4–12.5보정된 추정 ±20% | 겨우 가능 | 추정 6.1 tok/s4.9–7.4보정된 추정 ±20% |
| Gemma 4 31BQ4_K_M | 겨우 가능 | 추정 10.9 tok/s8.7–13.1보정된 추정 ±20% | 겨우 가능 | 추정 7.0 tok/s5.6–8.4보정된 추정 ±20% |
| Muse Glimmer 30BQ4_K_M | 겨우 가능 | 추정 11.9 tok/s9.5–14.3보정된 추정 ±20% | 겨우 가능 | 추정 9.5 tok/s7.6–11.4보정된 추정 ±20% |
| Granite 4.2 30BQ4_K_M | 겨우 가능 | 추정 10.4 tok/s8.4–12.5보정된 추정 ±20% | 겨우 가능 | 추정 5.8 tok/s4.7–7.0보정된 추정 ±20% |
| Qwen3.5 27BQ4_K_M | 겨우 가능 | 9.9 tok/s8k 추정 11.8 tok/s (9.4–14.1, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | 겨우 가능 | 추정 8.9 tok/s7.1–10.7보정된 추정 ±20% |
| Qwen3.6 27BQ4_K_M | 겨우 가능 | 추정 12.0 tok/s9.6–14.3보정된 추정 ±20% | 겨우 가능 | 추정 9.5 tok/s7.6–11.4보정된 추정 ±20% |
| Qwen3.8 27BQ4_K_M | 겨우 가능 | 추정 11.5 tok/s9.2–13.8보정된 추정 ±20% | 겨우 가능 | 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% |
| GLM-5.3 FlashQ4_K_M | 불가 | — | 불가 | — |
| DeepSeek V4 Flash 0731MXFP4 | 불가 | — | 불가 | — |
| Solar Open 2 250BIQ4_XS | 불가 | — | 불가 | — |
| Ling-3.0 FlashQ4_K_M | 불가 | — | 불가 | — |
| Qwen3.5 122B-A10BQ4_K_M | 불가UD-Q2_K_XL (품질 손실 큼): 쾌적 | 추정 34.1 tok/s27.2–40.9보정된 추정 ±20% | 불가 | — |
| Laguna S 2.1Q4_K_M | 불가 | — | 불가 | — |
| gpt-oss-120bMXFP4 | — | — | ||
| Solar Open 100BQ4_K_M | 불가IQ4_XS: 겨우 가능 | 추정 14.5 tok/s10.1–18.8이론 추정 ±30% | 불가Q2_K (품질 손실 큼): 겨우 가능 | 추정 18.7 tok/s13.1–24.4이론 추정 ±30% |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
공개 벤치마크
M4 Pro 64GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 440.0 | 50.7 | Metal, b1550 (2023) | github.com | 2024-11-08 |
| Qwen3.5 27B | Q4_K_M | llama.cpp | 512 | 115.0 | 9.9 | Metal | github.com | 2026-07-18 |
| Qwen3.5 9B | Q4_K_M | llama.cpp | 4k | — | 37.0 | — | github.com | 2026-07-29 |
RTX 5060 Ti 16GB 벤치마크 결과
| 모델 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| llama-2-7b | Q4_0 | llama.cpp | 512 | 3,737.0 | 90.9 | — | github.com | 2025-08-02 |
| gpt-oss-20b | MXFP4 | llama.cpp | 2k | 3,821.0 | 111.6 | — | github.com | 2025-08-20 |
| Qwen3.8 27B | UD-IQ4_XS | llama.cpp | 8k | — | 27.6 | KV q8_0 | github.com | 2026-10-11 |
| Qwen3 8B | Q4_K_XL | llama.cpp | 4k | 2,965.0 | 69.2 | CUDA | hardware-corner.net | 2025-12-09 |
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
자주 묻는 질문
로컬 LLM은 M4 Pro 64GB·RTX 5060 Ti 16GB 중 어느 쪽이 더 빠른가요?
글 생성 속도는 RTX 5060 Ti 16GB 쪽이 M4 Pro 64GB보다 약 1.5배 빠릅니다. Q4_K_M(없으면 가장 가까운 양자화) 기준으로 둘 다 메모리에 전부 올라가는 모델 29개의 추정치로 중앙값을 냈습니다. gpt-oss-20b MXFP4 기준 예상 속도는 M4 Pro 64GB 추정 69.9 tok/s (55.9–83.9, 보정된 추정 ±20%), RTX 5060 Ti 16GB 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 104.3 tok/s, 83.5–125.2, 보정된 추정 ±20%)입니다.
두 기기에 각각 통째로 올라가는 가장 큰 모델은 무엇인가요?
M4 Pro 64GB에서는 Kolibri 1 IQ4_XS(43.63GB 파일)까지 통합 메모리 64GB에 전부 올라가고, 속도는 추정 52.1 tok/s (41.7–62.5, 보정된 추정 ±20%)입니다. RTX 5060 Ti 16GB에서는 Muse Glimmer 30B IQ4_XS(15.44GB 파일)까지 16GB에 전부 올라가고, 속도는 추정 20.2 tok/s (17.7–22.6, 보정된 추정 ±12%)입니다.
두 기기에서 원활하게 돌아가는 로컬 LLM은 각각 몇 개인가요?
Q4_K_M·8k 컨텍스트 기준으로 등록된 모델 58개를 보면 M4 Pro 64GB: 쾌적 31개·원활 7개·겨우 가능 12개·불가 8개, RTX 5060 Ti 16GB: 쾌적 28개·원활 9개·겨우 가능 11개·불가 10개입니다. 판정이 갈리는 모델은 14개입니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.