EXAONE 4.0 32B 필요 사양: VRAM과 돌아가는 GPU
모델 정보
- 파라미터
- 32B
- 어텐션
- 슬라이딩 윈도 어텐션
- 최대 컨텍스트
- 131,072 토큰
- 공개일
- 2025-07-11
GGUF 파일
| 양자화 | 파일 크기 | 품질 | 배포처 |
|---|---|---|---|
| IQ4_XS | 17.39GB | 균형 | 공식 GGUF · LGAI-EXAONE |
| Q4_K_M기준 | 19.34GB | 균형 | 공식 GGUF · LGAI-EXAONE |
| Q6_K | 26.26GB | 준무손실 | 공식 GGUF · LGAI-EXAONE |
| Q8_0 | 34.01GB | 준무손실 | 공식 GGUF · LGAI-EXAONE |
양자화·컨텍스트별 필요 메모리
| 양자화 | 4k | 8k | 16k | 32k | 64k | 128k |
|---|---|---|---|---|---|---|
| IQ4_XS | 18.2 | 18.5 | 19.1 | 20.3 | 22.8 | 27.7 |
| Q4_K_M | 20.1 | 20.5 | 21.1 | 22.3 | 24.7 | 29.6 |
| Q6_K | 27.1 | 27.4 | 28.0 | 29.2 | 31.7 | 36.5 |
| Q8_0 | 34.8 | 35.1 | 35.7 | 37.0 | 39.4 | 44.3 |
EXAONE 4.0 32B, 어떤 GPU에서 돌아갈까?
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 하드웨어 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 | 가격 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 쾌적 | 추정 63.1 tok/s55.5–70.7보정된 추정 ±12% | Q4_K_M | 21.1 / 32.0GB | 풀 GPU | 최대 128k | — | 실거래가 US$4,200 (2026-08-09 기준) |
| Radeon RX 7900 XTX | 쾌적 | 추정 37.7 tok/s33.2–42.2보정된 추정 ±12% | Q4_K_M | 21.1 / 24.0GB | 풀 GPU | 최대 32k | — | 출시가 US$999 |
| GeForce RTX 3090 Ti | 쾌적 | 추정 35.5 tok/s31.2–39.8보정된 추정 ±12% | Q4_K_M | 21.1 / 24.0GB | 풀 GPU | 최대 32k | — | 출시가 US$1,999 |
| GeForce RTX 4090 | 쾌적 | 추정 35.5 tok/s31.2–39.8보정된 추정 ±12% | Q4_K_M | 21.1 / 24.0GB | 풀 GPU | 최대 32k | — | 실거래가 US$2,755 (2026-08-09 기준) |
| GeForce RTX 3090 | 쾌적 | 추정 33.0 tok/s29.0–36.9보정된 추정 ±12% | Q4_K_M | 21.1 / 24.0GB | 풀 GPU | 최대 32k | — | 실거래가 US$1,050 (2026-08-09 기준) |
| GeForce RTX 5090 Laptop | 쾌적 | 추정 31.6 tok/s27.8–35.3보정된 추정 ±12% | Q4_K_M | 21.1 / 24.0GB | 풀 GPU | 최대 16k | — | — |
| Apple M5 Max (40-core GPU) · 48GB | 원활 | 추정 18.5 tok/s14.8–22.2보정된 추정 ±20% | Q4_K_M | 20.5 / 33.6GB | 통합 메모리 | 최대 128k | — | — |
| Radeon RX 7900 XT | 원활 | 추정 18.4 tok/s14.7–22.1보정된 추정 ±20% | Q4_K_M | 20.0 / 20.0GB + RAM 1.1GB | 부분 오프로드 | 최대 16k |
| 출시가 US$899 |
| Apple M3 Ultra · 96GB | 원활 | 추정 18.1 tok/s14.5–21.8보정된 추정 ±20% | Q4_K_M | 20.5 / 67.2GB | 통합 메모리 | 최대 128k | — | — |
| Apple M2 Ultra · 64GB | 원활 | 추정 17.7 tok/s14.2–21.3보정된 추정 ±20% | Q4_K_M | 20.5 / 44.8GB | 통합 메모리 | 최대 128k | — | — |
| Apple M4 Max (40-core GPU) · 48GB | 원활 | 추정 16.5 tok/s13.2–19.8보정된 추정 ±20% | Q4_K_M | 20.5 / 33.6GB | 통합 메모리 | 최대 64k | — | — |
| Apple M5 Max (32-core GPU) · 36GB | 원활 | 추정 13.9 tok/s11.1–16.7보정된 추정 ±20% | Q4_K_M | 20.5 / 25.2GB | 통합 메모리 | 최대 32k | — | — |
| Apple M4 Max (32-core GPU) · 36GB | 원활 | 추정 12.4 tok/s9.9–14.9보정된 추정 ±20% | Q4_K_M | 20.5 / 25.2GB | 통합 메모리 | 최대 16k | — | — |
| Ryzen AI Max+ 395 (Strix Halo) · 32GB | 겨우 가능 | 추정 8.4 tok/s6.7–10.0보정된 추정 ±20% | Q4_K_M | 20.5 / 22.4GB | 통합 메모리 | 최대 32k | — | 출시가 US$1,999 |
| GeForce RTX 5080 | 겨우 가능 | 추정 7.3 tok/s5.8–8.7보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$1,256 (2026-08-09 기준) |
| GeForce RTX 5070 Ti | 겨우 가능 | 추정 7.2 tok/s5.7–8.6보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$949 (2026-08-09 기준) |
| GeForce RTX 5080 Laptop | 겨우 가능 | 추정 7.2 tok/s5.7–8.6보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | — |
| GeForce RTX 4080 Super | 겨우 가능 | 추정 6.9 tok/s5.5–8.3보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 출시가 US$999 |
| Radeon RX 9070 | 겨우 가능 | 추정 6.9 tok/s5.5–8.3보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$639 (2026-08-09 기준) |
| Radeon RX 9070 XT | 겨우 가능 | 추정 6.9 tok/s5.5–8.3보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$689 (2026-08-09 기준) |
| GeForce RTX 4080 | 겨우 가능 | 추정 6.9 tok/s5.5–8.3보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 출시가 US$1,199 |
| Radeon RX 7800 XT | 겨우 가능 | 추정 6.8 tok/s5.5–8.2보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 출시가 US$499 |
| GeForce RTX 4070 Ti Super | 겨우 가능 | 추정 6.8 tok/s5.4–8.2보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 출시가 US$799 |
| GeForce RTX 4090 Laptop | 겨우 가능 | 추정 6.6 tok/s5.3–7.9보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | — |
| GeForce RTX 5060 Ti 16GB | 겨우 가능 | 추정 6.1 tok/s4.9–7.4보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$569 (2026-08-09 기준) |
| Radeon RX 9060 XT 16GB | 겨우 가능 | 추정 5.7 tok/s4.6–6.9보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 실거래가 US$449 (2026-08-09 기준) |
| NVIDIA DGX Spark · 128GB | 겨우 가능 | 추정 5.5 tok/s4.4–6.6보정된 추정 ±20% | Q4_K_M | 20.5 / 89.6GB | 통합 메모리 | 최대 128k | — | 출시가 US$3,999 |
| Apple M5 Pro · 24GB | 겨우 가능 | 추정 5.4 tok/s3.8–7.0이론 추정 ±30% | Q4_K_M | RAM 19.9GB | CPU 전용 | 최대 8k | — | — |
| GeForce RTX 4060 Ti 16GB | 겨우 가능 | 추정 5.3 tok/s4.2–6.4보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 5.1GB | 부분 오프로드 | 최대 64k | — | 출시가 US$499 |
| Apple M4 Pro · 24GB | 겨우 가능 | 추정 4.8 tok/s3.4–6.2이론 추정 ±30% | Q4_K_M | RAM 19.9GB | CPU 전용 | 최대 8k | — | — |
| Apple M5 · 32GB | 겨우 가능 | 추정 4.6 tok/s3.7–5.6보정된 추정 ±20% | Q4_K_M | 20.5 / 22.4GB | 통합 메모리 | 최대 32k | — | — |
| GeForce RTX 3080 12GB | 겨우 가능 | 추정 4.5 tok/s3.6–5.4보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$799 |
| GeForce RTX 5070 | 겨우 가능 | 추정 4.3 tok/s3.5–5.2보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 실거래가 US$629 (2026-08-09 기준) |
| GeForce RTX 5070 Ti Laptop | 겨우 가능 | 추정 4.3 tok/s3.5–5.2보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | — |
| GeForce RTX 4070 | 겨우 가능 | 추정 4.2 tok/s3.4–5.0보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$599 |
| GeForce RTX 4070 Super | 겨우 가능 | 추정 4.2 tok/s3.4–5.0보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$599 |
| GeForce RTX 4080 Laptop | 겨우 가능 | 추정 4.1 tok/s3.3–4.9보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | — |
| Intel Arc B580 | 겨우 가능 | 추정 4.0 tok/s3.2–4.9보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 실거래가 US$290 (2026-08-09 기준) |
| GeForce RTX 3060 12GB | 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 9.1GB | 부분 오프로드 | 최대 32k | — | 실거래가 US$250 (2026-08-09 기준) |
| GeForce RTX 2080 Ti | 겨우 가능 | 추정 4.0 tok/s3.2–4.7보정된 추정 ±20% | Q4_K_M | 11.0 / 11.0GB + RAM 10.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$999 |
| GeForce GTX 1080 Ti | 겨우 가능 | 추정 3.9 tok/s2.7–5.0이론 추정 ±30% | Q4_K_M | 11.0 / 11.0GB + RAM 10.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$699 |
| GeForce RTX 3080 10GB | 겨우 가능 | 추정 3.7 tok/s3.0–4.5보정된 추정 ±20% | Q4_K_M | 10.0 / 10.0GB + RAM 11.1GB | 부분 오프로드 | 최대 32k | — | 출시가 US$699 |
| Apple M4 · 32GB | 겨우 가능 | 추정 3.6 tok/s2.9–4.3보정된 추정 ±20% | Q4_K_M | 20.5 / 22.4GB | 통합 메모리 | 최대 32k | — | — |
| GeForce RTX 3070 | 겨우 가능 | 추정 3.1 tok/s2.5–3.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 13.1GB | 부분 오프로드 | 최대 8k | — | 출시가 US$499 |
| GeForce RTX 5060 | 겨우 가능 | 추정 3.1 tok/s2.5–3.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 13.1GB | 부분 오프로드 | 최대 8k | — | 실거래가 US$339 (2026-08-09 기준) |
| GeForce RTX 5060 Ti 8GB | 겨우 가능 | 추정 3.1 tok/s2.5–3.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 13.1GB | 부분 오프로드 | 최대 8k | — | 실거래가 US$429 (2026-08-09 기준) |
| GeForce RTX 4060 Ti 8GB | 겨우 가능 | 추정 3.0 tok/s2.4–3.6보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 13.1GB | 부분 오프로드 | 최대 8k | — | 출시가 US$399 |
| GeForce RTX 4060 | 불가IQ4_XS: 겨우 가능 | 추정 3.5 tok/s2.8–4.1보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.1GB | 부분 오프로드 | 최대 16k | — | 출시가 US$299 |
| GeForce RTX 4060 Laptop | 불가IQ4_XS: 겨우 가능 | 추정 3.4 tok/s2.7–4.1보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.1GB | 부분 오프로드 | 최대 16k | — | — |
| GeForce RTX 4070 Laptop | 불가IQ4_XS: 겨우 가능 | 추정 3.4 tok/s2.7–4.1보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.1GB | 부분 오프로드 | 최대 16k | — | — |
| GeForce RTX 3050 8GB | 불가IQ4_XS: 겨우 가능 | 추정 3.4 tok/s2.7–4.0보정된 추정 ±20% | IQ4_XS | 8.0 / 8.0GB + RAM 11.1GB | 부분 오프로드 | 최대 16k | — | 출시가 US$249 |
| DDR5-6000 듀얼채널 CPU · 96GB | 불가 | 추정 2.4 tok/s1.9–2.9보정된 추정 ±20% | Q4_K_M | RAM 19.9GB | CPU 전용 | — |
| — |
| DDR5-5600 듀얼채널 CPU · 96GB | 불가 | 추정 2.3 tok/s1.8–2.7보정된 추정 ±20% | Q4_K_M | RAM 19.9GB | CPU 전용 | — |
| — |
| DDR4-3200 듀얼채널 CPU · 64GB | 불가 | 추정 1.3 tok/s1.0–1.5보정된 추정 ±20% | Q4_K_M | RAM 19.9GB | CPU 전용 | — |
| — |
리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).
가장 싸게 돌릴 수 있는 GPU
- 쾌적GeForce RTX 3090실거래가 US$1,050 (2026-08-09 기준), 속도 추정 33.0 tok/s (29.0–36.9, 보정된 추정 ±12%)
EXAONE 4.0 32B 벤치마크 결과
이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.
자주 묻는 질문
EXAONE 4.0 32B 실행에 VRAM이 얼마나 필요한가요?
Q4_K_M 기준으로 가중치가 19.34GB이고, 8k 컨텍스트까지 더하면 약 20.5GB가 필요합니다(KV 캐시 0.5GB, 연산 버퍼 0.6GB). 가장 작은 파일(IQ4_XS)은 약 18.5GB가 필요합니다.
EXAONE 4.0 32B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?
쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3090입니다. 실거래가는 US$1,050(2026-08-09 기준)이고, 속도는 추정 33.0 tok/s (29.0–36.9, 보정된 추정 ±12%)입니다.
EXAONE 4.0 32B, 8GB·16GB·24GB GPU에서 돌아가나요?
Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 불가, 추정 3.0 tok/s (2.4–3.6, 보정된 추정 ±20%); GeForce RTX 5060 Ti 16GB: 겨우 가능, 추정 6.1 tok/s (4.9–7.4, 보정된 추정 ±20%); GeForce RTX 3090: 쾌적, 추정 33.0 tok/s (29.0–36.9, 보정된 추정 ±12%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.