Apple M4에서 Qwen3.5 122B-A10B 돌릴 수 있을까?

메모리 용량별 판정

이 페이지는 32GB 구성 기준입니다. 다른 용량은 아래와 같습니다.

• 16GB불가Q4_K_M: 메모리에 안 들어감
• 24GB불가Q4_K_M: 메모리에 안 들어감
• 32GB불가Q4_K_M: 메모리에 안 들어감(이 페이지 기준)

Apple M4에서 Qwen3.5 122B-A10B: 양자화별 판정

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

Q4_K_M 기준 메모리 사용 내역

Q4_K_M 파일은 들어가지 않습니다. 79.0GB가 필요한데 쓸 수 있는 메모리는 22.4GB라서, 나눠 보여 줄 내역이 없습니다.

컨텍스트 길이와 KV 캐시

S = 쾌적 · A = 원활 · B = 겨우 가능 · F = 불가

Q4_K_M 기준으로는 컨텍스트를 얼마로 잡아도 들어가지 않습니다. 4k에서도 78.9GB가 필요한데, 쓸 수 있는 메모리는 22.4GB입니다.

예상 속도

생성

—

프롬프트 처리

프롬프트 처리 속도는 모델 전체가 GPU에서 돌 때만 추정합니다.

이 조합의 벤치마크 결과

이 조합으로 잰 공개 벤치마크 결과는 아직 없습니다. 위 수치는 모두 추정치입니다.

다른 선택지

• Apple M4에서 원활하게 도는 더 작은 모델

  쾌적

  MiniCPM-V 4.7 35B-A3B: 쾌적, 추정 37.5 tok/s (30.0–45.0, 보정된 추정 ±20%)

• Apple M4 Max (40-core GPU)에서 Qwen3.5 122B-A10B

  쾌적

  Q4_K_M: 쾌적, 추정 43.0 tok/s (34.4–51.6, 보정된 추정 ±20%)

실행 방법

이 파일은 통합 메모리 중 GPU가 쓸 수 있는 22.4GB에 들어가지 않아서 실행 명령이 없습니다.

관련 페이지

자주 묻는 질문