Gemma 4 31B(젬마 4) 필요 사양: VRAM과 돌아가는 GPU
Gemma 4 31B, 어떤 모델인가요
Gemma 4 31B는 구글 딥마인드가 2026년 4월 공개한 Gemma 4 계열에서 가장 큰 dense 모델입니다. 텍스트와 이미지를 읽고 컨텍스트는 256k까지이며, 리즈닝·코딩과 함수 호출을 쓰는 에이전트 작업에 맞춰 만들었습니다. 생각 모드는 기본으로 꺼져 있고, Gemma 3 때와 달리 라이선스가 Apache 2.0입니다.
Gemma 4 31B, 돌리기 전에 알아 둘 점
Gemma 4 31B는 dense 모델이라 토큰마다 가중치 전체를 읽습니다. Q4_K_M으로 8k 컨텍스트를 쓰면 19.5GB가 필요해서 전부 올리려면 VRAM 24GB가 있어야 합니다. GeForce RTX 3090, GeForce RTX 4090, Radeon RX 7900 XTX에서 모두 쾌적하게 돌아갑니다. 16GB 카드에서는 일부가 시스템 RAM에서 돌아 느립니다. IQ4_XS 파일로 낮춰도 16GB에는 다 들어가지 않습니다.
VRAM이 24GB보다 적다면 같은 계열의 MoE 모델 Gemma 4 26B-A4B가 훨씬 잘 맞습니다. 토큰마다 4B 정도만 써서 GeForce RTX 5060 Ti 16GB에서도 원활하게 돌아간다고 CanRun은 추정합니다(이론 추정 ±30%). Gemma 4 31B는 이미지도 읽을 수 있습니다. 생각 모드는 기본으로 꺼져 있지만, CanRun은 생각 모드가 있는 모델이면 속도 기준을 1.5배 엄격하게 잡습니다. 끈 채로 쓰면 판정이 한 단계 올라갈 수 있습니다. 맥에서는 Apple M4 Pro의 48GB 구성부터 GPU에 올라가지만 느리게 돌아갑니다. 더 빠른 Apple M4 Max (40-core GPU)에서는 원활하게 돌아갑니다.
모델 정보
- 파라미터
- 31.27B
- 어텐션
- 슬라이딩 윈도 어텐션
- 최대 컨텍스트
- 262,144 토큰
- 공개일
- 2026-03-11
같은 계열의 다른 크기
| 모델 | 파라미터 | 기준 양자화 | 필요 메모리(8k) | GeForce RTX 4060 | GeForce RTX 5060 Ti 16GB | GeForce RTX 3090 |
|---|---|---|---|---|---|---|
| Gemma 4 E2B | 5.12B | Q4_K_M | 2.1GB | 쾌적 | 쾌적 | 쾌적 |
| Gemma 4 E4B | 8B | Q4_K_M | 3.7GB | 쾌적 | 쾌적 | 쾌적 |
| Gemma 4 12B | 11.96B | Q4_K_M | 7.8GB | 원활 | 쾌적 | 쾌적 |
| Gemma 4 26B-A4B | 총 26.54B · 활성 4B (MoE) | Q4_K_M | 17.7GB | 원활 | 원활 | 쾌적 |
| Gemma 4 31B지금 보는 모델 | 31.27B | Q4_K_M | 19.5GB | 겨우 가능 | 겨우 가능 | 쾌적 |
GGUF 파일
| 양자화 | 파일 크기 | 품질 | 배포처 |
|---|---|---|---|
| UD-Q2_K_XL | 11.77GB | 손실 큼 | 커뮤니티 GGUF · unsloth |
| IQ4_XS | 16.37GB | 균형 | 커뮤니티 GGUF · unsloth |
| Q4_K_M기준 | 18.32GB | 균형 | 커뮤니티 GGUF · unsloth |
| Q8_0 | 32.64GB | 준무손실 | 커뮤니티 GGUF · unsloth |
파일 크기에는 이미지 입력에 필요한 비전 프로젝터(mmproj)가 들어 있지 않습니다.
일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.
양자화·컨텍스트별 필요 메모리
| 양자화 | 4k | 8k | 16k | 32k | 64k | 128k | 256k |
|---|---|---|---|---|---|---|---|
| UD-Q2_K_XL | 12.6 | 13.0 | 13.7 | 15.2 | 18.2 | 24.2 | 36.1 |
| IQ4_XS | 17.2 | 17.6 | 18.3 | 19.8 | 22.8 | 28.8 | 40.7 |
| Q4_K_M | 19.2 | 19.5 | 20.3 | 21.8 | 24.8 | 30.7 | 42.7 |
| Q8_0 | 33.5 | 33.9 | 34.6 | 36.1 | 39.1 | 45.1 | 57.0 |
Gemma 4 31B, 어떤 GPU에서 돌아갈까?
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.
옆으로 밀면 모든 열을 볼 수 있습니다.
| 하드웨어 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 | 가격 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% | Q4_K_M | 20.1 / 32.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$4,200(약 557만 원) | |
| NVIDIA RTX PRO 6000 Blackwell | 쾌적 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% | Q4_K_M | 20.1 / 96.0GB | 풀 GPU | 최대 256k | — | — |
| NVIDIA RTX PRO 6000 Blackwell Max-Q | 쾌적 | 추정 66.1 tok/s58.1–74.0보정된 추정 ±12% | Q4_K_M | 20.1 / 96.0GB | 풀 GPU | 최대 256k | — | — |
| Radeon RX 7900 XTX | 쾌적 | 추정 38.4 tok/s33.8–43.0보정된 추정 ±12% | Q4_K_M | 20.1 / 24.0GB | 풀 GPU | 최대 32k | — | 출시가 US$999(약 132만 원) |
| GeForce RTX 3090 Ti | 쾌적 | 추정 37.2 tok/s32.7–41.6보정된 추정 ±12% | Q4_K_M | 20.1 / 24.0GB | 풀 GPU | 최대 32k | — | 출시가 US$1,999(약 265만 원) |
| GeForce RTX 4090 | 추정 37.2 tok/s32.7–41.6보정된 추정 ±12% | Q4_K_M | 20.1 / 24.0GB | 풀 GPU | 최대 32k | — | 2026-08-09 기준 실거래가 US$2,755(약 365만 원) | |
| Apple M5 Ultra · 96GB | 쾌적 | 추정 36.9 tok/s29.5–44.2보정된 추정 ±20% | Q4_K_M | 19.6 / 67.2GB | 통합 메모리 | 최대 32k | — | — |
| GeForce RTX 3090 | 추정 34.5 tok/s30.4–38.6보정된 추정 ±12% | Q4_K_M | 20.1 / 24.0GB | 풀 GPU | 최대 32k | — | 2026-08-09 기준 실거래가 US$1,050(약 139만 원) | |
| GeForce RTX 5090 Laptop | 쾌적 | 추정 33.0 tok/s29.1–37.0보정된 추정 ±12% | Q4_K_M | 20.1 / 24.0GB | 풀 GPU | 최대 16k | — | — |
| Radeon RX 7900 XT | 원활 | 추정 28.7 tok/s23.0–34.5보정된 추정 ±20% | Q4_K_M | 20.0 / 20.0GB + RAM 0.2GB | 부분 오프로드 | 최대 16k |
| 출시가 US$899(약 119만 원) |
| Apple M3 Ultra · 96GB | 원활 | 추정 24.6 tok/s19.7–29.5보정된 추정 ±20% | Q4_K_M | 19.6 / 67.2GB | 통합 메모리 | 최대 128k |
| — |
| Apple M5 Max (40-core GPU) · 48GB | 원활 | 추정 24.6 tok/s19.7–29.5보정된 추정 ±20% | Q4_K_M | 19.6 / 33.6GB | 통합 메모리 | 최대 128k |
| — |
| Apple M2 Ultra · 64GB | 원활 | 추정 24.0 tok/s19.2–28.8보정된 추정 ±20% | Q4_K_M | 19.6 / 44.8GB | 통합 메모리 | 최대 128k |
| — |
| Apple M4 Max (40-core GPU) · 48GB | 원활 | 추정 21.9 tok/s17.5–26.2보정된 추정 ±20% | Q4_K_M | 19.6 / 33.6GB | 통합 메모리 | 최대 128k |
| — |
| Apple M5 Max (32-core GPU) · 36GB | 원활 | 추정 18.4 tok/s14.7–22.1보정된 추정 ±20% | Q4_K_M | 19.6 / 25.2GB | 통합 메모리 | 최대 64k | — | — |
| Apple M4 Max (32-core GPU) · 36GB | 원활 | 추정 16.4 tok/s13.1–19.7보정된 추정 ±20% | Q4_K_M | 19.6 / 25.2GB | 통합 메모리 | 최대 64k | — | — |
| Apple M5 Pro · 48GB | 원활 | 추정 12.3 tok/s9.8–14.7보정된 추정 ±20% | Q4_K_M | 19.6 / 33.6GB | 통합 메모리 | 최대 8k | — | — |
| Ryzen AI Max+ 395 (Strix Halo) · 32GB | 겨우 가능 | 추정 11.1 tok/s8.8–13.3보정된 추정 ±20% | Q4_K_M | 19.6 / 22.4GB | 통합 메모리 | 최대 32k |
| 128GB 구성 출시가 US$1,999(약 265만 원) |
| NVIDIA DGX Spark · 128GB | 겨우 가능 | 10.1 tok/s8k 추정 11.2 tok/s (9.0–13.5, 보정된 추정 ±20%)실측 1건 (512 컨텍스트) | Q4_K_M | 19.6 / 116.9GB | 통합 메모리 | 최대 256k |
| 128GB 구성 출시가 US$3,999(약 530만 원) |
| GeForce RTX 5080 | 겨우 가능 | 추정 8.5 tok/s6.8–10.1보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$1,256(약 166만 원) |
| GeForce RTX 5070 Ti | 겨우 가능 | 추정 8.3 tok/s6.7–10.0보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$949(약 126만 원) |
| GeForce RTX 5080 Laptop | 겨우 가능 | 추정 8.3 tok/s6.7–10.0보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| — |
| GeForce RTX 4080 Super | 겨우 가능 | 추정 8.0 tok/s6.4–9.6보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 출시가 US$999(약 132만 원) |
| GeForce RTX 4080 | 겨우 가능 | 추정 8.0 tok/s6.4–9.6보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 출시가 US$1,199(약 159만 원) |
| Radeon RX 9070 | 겨우 가능 | 추정 7.9 tok/s6.3–9.5보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$639(약 85만 원) |
| Radeon RX 9070 XT | 겨우 가능 | 추정 7.9 tok/s6.3–9.5보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$689(약 91만 원) |
| Radeon RX 7800 XT | 겨우 가능 | 추정 7.9 tok/s6.3–9.4보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 4070 Ti Super | 겨우 가능 | 추정 7.8 tok/s6.3–9.4보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 출시가 US$799(약 106만 원) |
| GeForce RTX 4090 Laptop | 겨우 가능 | 추정 7.5 tok/s6.0–9.0보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| — |
| Apple M4 Pro · 24GB | 추정 7.2 tok/s5.0–9.3이론 추정 ±30% | Q4_K_M | RAM 19.0GB | CPU 전용 | 최대 16k |
| — | |
| GeForce RTX 5060 Ti 16GB | 추정 7.0 tok/s5.6–8.4보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$569(약 75만 원) | |
| Radeon RX 9060 XT 16GB | 겨우 가능 | 추정 6.4 tok/s5.1–7.7보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 2026-08-09 기준 실거래가 US$449(약 60만 원) |
| GeForce RTX 4060 Ti 16GB | 겨우 가능 | 추정 5.9 tok/s4.7–7.1보정된 추정 ±20% | Q4_K_M | 16.0 / 16.0GB + RAM 4.2GB | 부분 오프로드 | 최대 64k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 3080 12GB | 겨우 가능 | 추정 4.9 tok/s3.9–5.8보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$799(약 106만 원) |
| GeForce RTX 5070 | 추정 4.7 tok/s3.8–5.7보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 2026-08-09 기준 실거래가 US$629(약 83만 원) | |
| GeForce RTX 5070 Ti Laptop | 겨우 가능 | 추정 4.7 tok/s3.8–5.7보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | — |
| GeForce RTX 4070 | 추정 4.6 tok/s3.7–5.5보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$599(약 79만 원) | |
| GeForce RTX 4070 Super | 겨우 가능 | 추정 4.6 tok/s3.7–5.5보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$599(약 79만 원) |
| Apple M6 · 24GB | 겨우 가능 | 추정 4.5 tok/s3.1–5.8이론 추정 ±30% | Q4_K_M | RAM 19.0GB | CPU 전용 | 최대 16k | — | — |
| GeForce RTX 4080 Laptop | 겨우 가능 | 추정 4.5 tok/s3.6–5.4보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | — |
| Intel Arc B580 | 겨우 가능 | 추정 4.4 tok/s3.5–5.3보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 2026-08-09 기준 실거래가 US$290(약 38만 원) |
| GeForce RTX 3060 12GB | 추정 4.3 tok/s3.5–5.2보정된 추정 ±20% | Q4_K_M | 12.0 / 12.0GB + RAM 8.2GB | 부분 오프로드 | 최대 32k | — | 2026-08-09 기준 실거래가 US$250(약 33만 원) | |
| GeForce RTX 2080 Ti | 겨우 가능 | 추정 4.3 tok/s3.4–5.1보정된 추정 ±20% | Q4_K_M | 11.0 / 11.0GB + RAM 9.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$999(약 132만 원) |
| GeForce GTX 1080 Ti | 겨우 가능 | 추정 4.2 tok/s2.9–5.4이론 추정 ±30% | Q4_K_M | 11.0 / 11.0GB + RAM 9.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$699(약 93만 원) |
| Apple M5 · 24GB | 겨우 가능 | 추정 4.0 tok/s2.8–5.3이론 추정 ±30% | Q4_K_M | RAM 19.0GB | CPU 전용 | 최대 16k | — | — |
| GeForce RTX 3080 10GB | 겨우 가능 | 추정 4.0 tok/s3.2–4.8보정된 추정 ±20% | Q4_K_M | 10.0 / 10.0GB + RAM 10.2GB | 부분 오프로드 | 최대 32k | — | 출시가 US$699(약 93만 원) |
| GeForce RTX 3070 | 겨우 가능 | 추정 3.3 tok/s2.7–4.0보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 16k | — | 출시가 US$499(약 66만 원) |
| GeForce RTX 5060 | 겨우 가능 | 추정 3.3 tok/s2.7–4.0보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 16k | — | 2026-08-09 기준 실거래가 US$339(약 45만 원) |
| GeForce RTX 5060 Ti 8GB | 겨우 가능 | 추정 3.3 tok/s2.7–4.0보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 16k | — | 2026-08-09 기준 실거래가 US$429(약 57만 원) |
| GeForce RTX 4060 Ti 8GB | 겨우 가능 | 추정 3.2 tok/s2.6–3.8보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k | — | 출시가 US$399(약 53만 원) |
| GeForce RTX 4060 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k | — | 출시가 US$299(약 40만 원) | |
| Apple M4 · 24GB | 추정 3.2 tok/s2.2–4.1이론 추정 ±30% | Q4_K_M | RAM 19.0GB | CPU 전용 | 최대 16k | — | — | |
| GeForce RTX 4060 Laptop | 겨우 가능 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k | — | — |
| GeForce RTX 4070 Laptop | 겨우 가능 | 추정 3.2 tok/s2.5–3.8보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k | — | — |
| GeForce RTX 3050 8GB | 겨우 가능 | 추정 3.1 tok/s2.5–3.7보정된 추정 ±20% | Q4_K_M | 8.0 / 8.0GB + RAM 12.2GB | 부분 오프로드 | 최대 8k | — | 출시가 US$249(약 33만 원) |
| DDR5-6000 듀얼채널 CPU · 96GB | 불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능 | 추정 3.9 tok/s3.1–4.6보정된 추정 ±20% | UD-Q2_K_XL | RAM 12.4GB | CPU 전용 | 최대 32k | — | — |
| DDR5-5600 듀얼채널 CPU · 96GB | 불가UD-Q2_K_XL (품질 손실 큼): 겨우 가능 | 추정 3.6 tok/s2.9–4.3보정된 추정 ±20% | UD-Q2_K_XL | RAM 12.4GB | CPU 전용 | 최대 32k | — | — |
| DDR4-3200 듀얼채널 CPU · 64GB | 불가 | 추정 1.3 tok/s1.1–1.6보정된 추정 ±20% | Q4_K_M | RAM 19.0GB | CPU 전용 | — |
| — |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
가장 싸게 돌릴 수 있는 GPU
- 쾌적GeForce RTX 30902026-08-09 기준 실거래가 US$1,050(약 139만 원), 속도 추정 34.5 tok/s (30.4–38.6, 보정된 추정 ±12%)
Gemma 4 31B 벤치마크 결과
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
| 하드웨어 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| Ryzen AI Max+ 395 (Strix Halo) | UD-Q4_K_XL | llama.cpp | 512 | 302.0 | 11.5 | Vulkan | github.com | 2026-05-18 |
| NVIDIA DGX Spark | Q4_K_M | llama.cpp | 512 | 687.0 | 10.1 | CUDA | github.com | 2026-04-14 |
자주 묻는 질문
Gemma 4 31B 실행에 VRAM이 얼마나 필요한가요?
Q4_K_M 파일은 18.32GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 19.5GB가 필요합니다(가중치 18.30GB, KV 캐시 0.7GB, 연산 버퍼 0.6GB). 가장 작은 파일(UD-Q2_K_XL (품질 손실 큼))은 약 13.0GB가 필요합니다.
Gemma 4 31B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?
쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3090입니다. 실거래가는 2026-08-09 기준 US$1,050(약 139만 원)이고, 속도는 추정 34.5 tok/s (30.4–38.6, 보정된 추정 ±12%)입니다.
Gemma 4 31B, 8GB·16GB·24GB GPU에서 돌아가나요?
Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 3.2 tok/s (2.5–3.8, 보정된 추정 ±20%); GeForce RTX 5060 Ti 16GB: 겨우 가능, 추정 7.0 tok/s (5.6–8.4, 보정된 추정 ±20%); GeForce RTX 3090: 쾌적, 추정 34.5 tok/s (30.4–38.6, 보정된 추정 ±12%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.