Gemma 4 26B-A4B 필요 사양: VRAM과 돌아가는 GPU

모델 정보

파라미터: 총 26.54B · 활성 4B (MoE)
어텐션: 슬라이딩 윈도 어텐션
최대 컨텍스트: 262,144 토큰
공개일: 2026-04-01
모델 카드: Hugging Face의 Gemma 4 26B-A4B 모델 카드

GGUF 파일

등록된 Gemma 4 26B-A4B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
UD-Q2_K_XL	10.55GB	손실 큼	커뮤니티 GGUF · unsloth
Q4_K_M기준	16.95GB	균형	커뮤니티 GGUF · unsloth
Q8_0	26.86GB	준무손실	커뮤니티 GGUF · unsloth

파일 크기에는 이미지 입력에 필요한 비전 프로젝터(mmproj)가 들어 있지 않습니다.

일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.

양자화·컨텍스트별 필요 메모리

가중치 + f16 KV 캐시 + 연산 버퍼(GB). Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화	4k	8k	16k	32k	64k	128k	256k
UD-Q2_K_XL	11.3	11.5	11.9	12.7	14.3	17.6	24.2
Q4_K_M	17.7	17.9	18.3	19.1	20.7	24.0	30.6
Q8_0	27.6	27.8	28.2	29.0	30.6	33.9	40.5

Gemma 4 26B-A4B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

정렬

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 54종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적	추정 235.0 tok/s188.0–282.0보정된 추정 ±20%	Q4_K_M	18.5 / 32.0GB	풀 GPU	최대 256k	—	실거래가 US$4,200 (2026-08-09 기준)
Radeon RX 7900 XTX	쾌적	추정 166.1 tok/s132.9–199.3보정된 추정 ±20%	Q4_K_M	18.5 / 24.0GB	풀 GPU	최대 64k	—	출시가 US$999
GeForce RTX 3090 Ti	쾌적	추정 156.9 tok/s125.6–188.3보정된 추정 ±20%	Q4_K_M	18.5 / 24.0GB	풀 GPU	최대 64k	—	출시가 US$1,999
GeForce RTX 4090	쾌적	추정 156.9 tok/s125.6–188.3보정된 추정 ±20%	Q4_K_M	18.5 / 24.0GB	풀 GPU	최대 64k	—	실거래가 US$2,755 (2026-08-09 기준)
GeForce RTX 3090	쾌적	추정 145.7 tok/s116.6–174.9보정된 추정 ±20%	Q4_K_M	18.5 / 24.0GB	풀 GPU	최대 64k	—	실거래가 US$1,050 (2026-08-09 기준)
GeForce RTX 5090 Laptop	쾌적	추정 139.5 tok/s111.6–167.4보정된 추정 ±20%	Q4_K_M	18.5 / 24.0GB	풀 GPU	최대 64k	—	—
Radeon RX 7900 XT	쾌적	추정 138.4 tok/s110.7–166.1보정된 추정 ±20%	Q4_K_M	18.5 / 20.0GB	풀 GPU	최대 32k	—	출시가 US$899
Apple M3 Ultra · 96GB	쾌적	추정 82.2 tok/s65.7–98.6보정된 추정 ±20%	Q4_K_M	17.9 / 67.2GB	통합 메모리	최대 128k	—	—
Apple M2 Ultra · 64GB	쾌적	추정 80.3 tok/s64.2–96.3보정된 추정 ±20%	Q4_K_M	17.9 / 44.8GB	통합 메모리	최대 128k	—	—
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 63.7 tok/s51.0–76.5보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 128k	—	—
Apple M4 Max (40-core GPU) · 48GB	쾌적	추정 56.7 tok/s45.3–68.0보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 128k	—	—
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 47.7 tok/s38.2–57.3보정된 추정 ±20%	Q4_K_M	17.9 / 25.2GB	통합 메모리	최대 64k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	추정 46.9 tok/s37.6–56.3보정된 추정 ±20%	Q4_K_M	17.9 / 22.4GB	통합 메모리	최대 64k	—	출시가 US$1,999
Apple M4 Max (32-core GPU) · 36GB	쾌적	추정 42.6 tok/s34.0–51.1보정된 추정 ±20%	Q4_K_M	17.9 / 25.2GB	통합 메모리	최대 64k	—	—
NVIDIA DGX Spark · 128GB	쾌적	추정 37.8 tok/s30.2–45.3보정된 추정 ±20%	Q4_K_M	17.9 / 89.6GB	통합 메모리	최대 64k	—	출시가 US$3,999
Apple M5 Pro · 48GB	쾌적	추정 31.9 tok/s25.5–38.2보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 32k	—	—
Apple M4 Pro · 48GB	쾌적	추정 28.3 tok/s22.7–34.0보정된 추정 ±20%	Q4_K_M	17.9 / 33.6GB	통합 메모리	최대 32k	—	—
Apple M5 · 32GB	원활	추정 15.9 tok/s12.8–19.1보정된 추정 ±20%	Q4_K_M	17.9 / 22.4GB	통합 메모리	최대 64k	UD-Q2_K_XL (품질 손실 큼): 쾌적	—
Apple M4 · 32GB	원활	추정 12.5 tok/s10.0–14.9보정된 추정 ±20%	Q4_K_M	17.9 / 22.4GB	통합 메모리	최대 32k	—	—
GeForce RTX 5080	겨우 가능	추정 60.2 tok/s42.1–78.3이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$1,256 (2026-08-09 기준)
GeForce RTX 5070 Ti	겨우 가능	추정 58.8 tok/s41.1–76.4이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$949 (2026-08-09 기준)
GeForce RTX 5080 Laptop	겨우 가능	추정 58.8 tok/s41.1–76.4이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	—
GeForce RTX 4080 Super	겨우 가능	추정 54.5 tok/s38.1–70.8이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	출시가 US$999
GeForce RTX 4080	겨우 가능	추정 53.9 tok/s37.7–70.1이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	출시가 US$1,199
Radeon RX 9070	겨우 가능	추정 53.9 tok/s37.7–70.1이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$639 (2026-08-09 기준)
Radeon RX 9070 XT	겨우 가능	추정 53.9 tok/s37.7–70.1이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$689 (2026-08-09 기준)
Radeon RX 7800 XT	겨우 가능	추정 53.2 tok/s37.2–69.1이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	출시가 US$499
GeForce RTX 4070 Ti Super	겨우 가능	추정 52.5 tok/s36.7–68.2이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	출시가 US$799
GeForce RTX 4090 Laptop	겨우 가능	추정 49.0 tok/s34.3–63.7이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	—
GeForce RTX 5060 Ti 16GB	겨우 가능	추정 43.2 tok/s30.2–56.2이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$569 (2026-08-09 기준)
Radeon RX 9060 XT 16GB	겨우 가능	추정 38.1 tok/s26.7–49.6이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	실거래가 US$449 (2026-08-09 기준)
GeForce RTX 4060 Ti 16GB	겨우 가능	추정 33.4 tok/s23.4–43.4이론 추정 ±30%	Q4_K_M	16.0 / 16.0GB + RAM 2.5GB	부분 오프로드	최대 256k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 쾌적	출시가 US$499
GeForce RTX 3080 12GB	겨우 가능	추정 30.3 tok/s21.2–39.5이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	출시가 US$799
GeForce RTX 5070	겨우 가능	추정 29.0 tok/s20.3–37.7이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	실거래가 US$629 (2026-08-09 기준)
GeForce RTX 5070 Ti Laptop	겨우 가능	추정 29.0 tok/s20.3–37.7이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	—
Intel Arc B580	겨우 가능	추정 28.4 tok/s19.9–36.9이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	실거래가 US$290 (2026-08-09 기준)
GeForce RTX 4070	겨우 가능	추정 27.4 tok/s19.2–35.6이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	출시가 US$599
GeForce RTX 4070 Super	겨우 가능	추정 27.4 tok/s19.2–35.6이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	출시가 US$599
GeForce RTX 4080 Laptop	겨우 가능	추정 26.5 tok/s18.5–34.4이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	—
GeForce RTX 2080 Ti	겨우 가능	추정 25.7 tok/s18.0–33.5이론 추정 ±30%	Q4_K_M	11.0 / 11.0GB + RAM 7.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$999
GeForce RTX 3060 12GB	겨우 가능	추정 25.2 tok/s17.7–32.8이론 추정 ±30%	Q4_K_M	12.0 / 12.0GB + RAM 6.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. UD-Q2_K_XL (품질 손실 큼): 원활	실거래가 US$250 (2026-08-09 기준)
GeForce GTX 1080 Ti	겨우 가능	추정 24.7 tok/s17.3–32.1이론 추정 ±30%	Q4_K_M	11.0 / 11.0GB + RAM 7.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$699
GeForce RTX 3080 10GB	겨우 가능	추정 24.0 tok/s16.8–31.2이론 추정 ±30%	Q4_K_M	10.0 / 10.0GB + RAM 8.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$699
GeForce RTX 3070	겨우 가능	추정 19.3 tok/s13.5–25.1이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$499
GeForce RTX 5060	겨우 가능	추정 19.3 tok/s13.5–25.1이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	실거래가 US$339 (2026-08-09 기준)
GeForce RTX 5060 Ti 8GB	겨우 가능	추정 19.3 tok/s13.5–25.1이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	실거래가 US$429 (2026-08-09 기준)
GeForce RTX 4060 Ti 8GB	겨우 가능	추정 18.2 tok/s12.8–23.7이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$399
GeForce RTX 4060	겨우 가능	추정 18.1 tok/s12.7–23.5이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$299
GeForce RTX 4060 Laptop	겨우 가능	추정 17.9 tok/s12.5–23.3이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	—
GeForce RTX 4070 Laptop	겨우 가능	추정 17.9 tok/s12.5–23.3이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	—
GeForce RTX 3050 8GB	겨우 가능	추정 17.5 tok/s12.2–22.7이론 추정 ±30%	Q4_K_M	8.0 / 8.0GB + RAM 10.5GB	부분 오프로드	최대 128k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다.	출시가 US$249
DDR5-6000 듀얼채널 CPU · 32GB	겨우 가능	추정 14.3 tok/s11.4–17.1보정된 추정 ±20%	Q4_K_M	RAM 17.3GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR5-5600 듀얼채널 CPU · 32GB	겨우 가능	추정 13.3 tok/s10.7–16.0보정된 추정 ±20%	Q4_K_M	RAM 17.3GB	CPU 전용	최대 256k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR4-3200 듀얼채널 CPU · 32GB	겨우 가능	추정 7.6 tok/s6.1–9.1보정된 추정 ±20%	Q4_K_M	RAM 17.3GB	CPU 전용	최대 128k	—	—

가장 싸게 돌릴 수 있는 GPU

쾌적GeForce RTX 3090실거래가 US$1,050 (2026-08-09 기준), 속도 추정 145.7 tok/s (116.6–174.9, 보정된 추정 ±20%)

Gemma 4 26B-A4B 벤치마크 결과

이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

Gemma 4 26B-A4B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 기준으로 가중치가 16.95GB이고, 8k 컨텍스트까지 더하면 약 17.9GB가 필요합니다(KV 캐시 0.3GB, 연산 버퍼 0.6GB). 가장 작은 파일(UD-Q2_K_XL (품질 손실 큼))은 약 11.5GB가 필요합니다.

Gemma 4 26B-A4B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3090입니다. 실거래가는 US$1,050(2026-08-09 기준)이고, 속도는 추정 145.7 tok/s (116.6–174.9, 보정된 추정 ±20%)입니다.

Gemma 4 26B-A4B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 18.1 tok/s (12.7–23.5, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 겨우 가능, 추정 43.2 tok/s (30.2–56.2, 이론 추정 ±30%); GeForce RTX 3090: 쾌적, 추정 145.7 tok/s (116.6–174.9, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.