Gemma 3 12B(젬마 3) 필요 사양: VRAM과 돌아가는 GPU

Gemma 3 12B, 어떤 모델인가요

Gemma 3 12B는 구글 딥마인드가 2025년 3월 1B·4B·27B와 함께 공개한 오픈 모델입니다. 텍스트와 이미지를 읽어 요약이나 이미지 속 정보 추출에 쓸 수 있습니다. 구글은 35개가 넘는 언어를 바로 지원하고, 140개가 넘는 언어로 사전 학습했다고 설명합니다. 라이선스는 금지 용도 정책이 붙은 Gemma 이용 약관이고, Hugging Face에서 받으려면 이 약관에 동의해야 합니다.

모델 카드 · 출시 글

모델 정보

파라미터: 12.2B
어텐션: 슬라이딩 윈도 어텐션
최대 컨텍스트: 131,072 토큰
공개일: 2025-03-12
모델 카드: Hugging Face의 Gemma 3 12B 모델 카드

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델	파라미터	기준 양자화	필요 메모리(8k)	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
Gemma 3 12B지금 보는 모델	12.2B	Q4_K_M	8.4GB	겨우 가능	쾌적	쾌적
Gemma 3 27B	27.4B	Q4_K_M	17.8GB	겨우 가능	겨우 가능	쾌적

GGUF 파일

등록된 Gemma 3 12B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
Q2_K	4.77GB	손실 큼	커뮤니티 GGUF · bartowski
IQ4_XS	6.55GB	균형	커뮤니티 GGUF · bartowski
Q4_K_M기준	7.30GB	균형	커뮤니티 GGUF · bartowski
Q8_0	12.51GB	준무손실	커뮤니티 GGUF · bartowski

파일 크기에는 이미지 입력에 필요한 비전 프로젝터(mmproj)가 들어 있지 않습니다.

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화	4k	8k	16k	32k	64k	128k
Q2_K	5.6	5.9	6.5	7.7	10.2	15.0
IQ4_XS	7.3	7.7	8.3	9.5	11.9	16.8
Q4_K_M	8.1	8.4	9.0	10.2	12.7	17.6
Q8_0	13.3	13.6	14.2	15.4	17.9	22.8

Gemma 3 12B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

정렬

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 58종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적GeForce RTX 5090에서 Gemma 3 12B 판정 보기	추정 160.1 tok/s140.9–179.3보정된 추정 ±12%	Q4_K_M	9.0 / 32.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$4,200(약 557만 원)
NVIDIA RTX PRO 6000 Blackwell	쾌적	추정 160.1 tok/s140.9–179.3보정된 추정 ±12%	Q4_K_M	9.0 / 96.0GB	풀 GPU	최대 128k	—	—
NVIDIA RTX PRO 6000 Blackwell Max-Q	쾌적	추정 160.1 tok/s140.9–179.3보정된 추정 ±12%	Q4_K_M	9.0 / 96.0GB	풀 GPU	최대 128k	—	—
Radeon RX 7900 XTX	쾌적	추정 93.1 tok/s81.9–104.3보정된 추정 ±12%	Q4_K_M	9.0 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$999(약 132만 원)
GeForce RTX 3090 Ti	쾌적	추정 90.0 tok/s79.2–100.8보정된 추정 ±12%	Q4_K_M	9.0 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$1,999(약 265만 원)
GeForce RTX 4090	쾌적GeForce RTX 4090에서 Gemma 3 12B 판정 보기	추정 90.0 tok/s79.2–100.8보정된 추정 ±12%	Q4_K_M	9.0 / 24.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$2,755(약 365만 원)
Apple M5 Ultra · 96GB	쾌적	추정 89.3 tok/s71.5–107.2보정된 추정 ±20%	Q4_K_M	8.4 / 67.2GB	통합 메모리	최대 128k	—	—
GeForce RTX 5080	쾌적	추정 85.7 tok/s75.5–96.0보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 3090	쾌적GeForce RTX 3090에서 Gemma 3 12B 판정 보기	추정 83.6 tok/s73.6–93.6보정된 추정 ±12%	Q4_K_M	9.0 / 24.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 3080 12GB	쾌적	추정 81.5 tok/s71.7–91.2보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$799(약 106만 원)
GeForce RTX 5070 Ti	쾌적	추정 80.0 tok/s70.4–89.6보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$949(약 126만 원)
GeForce RTX 5080 Laptop	쾌적	추정 80.0 tok/s70.4–89.6보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	—
GeForce RTX 5090 Laptop	쾌적	추정 80.0 tok/s70.4–89.6보정된 추정 ±12%	Q4_K_M	9.0 / 24.0GB	풀 GPU	최대 128k	—	—
Radeon RX 7900 XT	쾌적	추정 77.6 tok/s68.3–86.9보정된 추정 ±12%	Q4_K_M	9.0 / 20.0GB	풀 GPU	최대 128k	—	출시가 US$899(약 119만 원)
GeForce RTX 3080 10GB	쾌적	추정 67.9 tok/s59.7–76.0보정된 추정 ±12%	Q4_K_M	9.0 / 10.0GB	풀 GPU	최대 16k	—	출시가 US$699(약 93만 원)
GeForce RTX 4080 Super	쾌적	추정 65.7 tok/s57.9–73.6보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$999(약 132만 원)
GeForce RTX 4080	쾌적	추정 64.0 tok/s56.4–71.7보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$1,199(약 159만 원)
Radeon RX 9070	쾌적	추정 62.6 tok/s55.0–70.1보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 9070 XT	쾌적	추정 62.6 tok/s55.0–70.1보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$689(약 91만 원)
Radeon RX 7800 XT	쾌적	추정 60.5 tok/s53.3–67.8보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$499(약 66만 원)
GeForce RTX 4070 Ti Super	쾌적	추정 60.0 tok/s52.8–67.2보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$799(약 106만 원)
GeForce RTX 5070	쾌적GeForce RTX 5070에서 Gemma 3 12B 판정 보기	추정 60.0 tok/s52.8–67.2보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti Laptop	쾌적	추정 60.0 tok/s52.8–67.2보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	—
Apple M3 Ultra · 96GB	쾌적	추정 59.6 tok/s47.7–71.5보정된 추정 ±20%	Q4_K_M	8.4 / 67.2GB	통합 메모리	최대 128k	—	—
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 59.5 tok/s47.6–71.5보정된 추정 ±20%	Q4_K_M	8.4 / 33.6GB	통합 메모리	최대 128k	—	—
Apple M2 Ultra · 64GB	쾌적	추정 58.2 tok/s46.5–69.8보정된 추정 ±20%	Q4_K_M	8.4 / 44.8GB	통합 메모리	최대 128k	—	—
GeForce RTX 2080 Ti	쾌적	추정 55.0 tok/s48.4–61.6보정된 추정 ±12%	Q4_K_M	9.0 / 11.0GB	풀 GPU	최대 32k	—	출시가 US$999(약 132만 원)
Apple M4 Max (40-core GPU) · 48GB	쾌적	추정 52.9 tok/s42.4–63.5보정된 추정 ±20%	Q4_K_M	8.4 / 33.6GB	통합 메모리	최대 128k	—	—
GeForce RTX 4090 Laptop	쾌적	추정 51.4 tok/s45.3–57.6보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	—
GeForce RTX 5060 Ti 16GB	쾌적GeForce RTX 5060 Ti 16GB에서 Gemma 3 12B 판정 보기	50.3 tok/s8k 추정 40.0 tok/s (35.2–44.8, 보정된 추정 ±12%)실측 1건 (512 컨텍스트)	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$569(약 75만 원)
GeForce RTX 4070	쾌적GeForce RTX 4070에서 Gemma 3 12B 판정 보기	추정 45.0 tok/s39.6–50.4보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599(약 79만 원)
GeForce RTX 4070 Super	쾌적	추정 45.0 tok/s39.6–50.4보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	출시가 US$599(약 79만 원)
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 44.6 tok/s35.7–53.5보정된 추정 ±20%	Q4_K_M	8.4 / 25.2GB	통합 메모리	최대 128k	—	—
GeForce GTX 1080 Ti	쾌적	추정 43.2 tok/s30.3–56.2이론 추정 ±30%	Q4_K_M	9.0 / 11.0GB	풀 GPU	최대 32k	—	출시가 US$699(약 93만 원)
Apple M4 Max (32-core GPU) · 36GB	쾌적	추정 39.8 tok/s31.8–47.7보정된 추정 ±20%	Q4_K_M	8.4 / 25.2GB	통합 메모리	최대 64k	—	—
GeForce RTX 4080 Laptop	쾌적	추정 38.6 tok/s34.0–43.2보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	—
Intel Arc B580	쾌적	추정 34.3 tok/s27.5–41.2보정된 추정 ±20%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$290(약 38만 원)
GeForce RTX 3060 12GB	쾌적GeForce RTX 3060 12GB에서 Gemma 3 12B 판정 보기	추정 32.2 tok/s28.3–36.0보정된 추정 ±12%	Q4_K_M	9.0 / 12.0GB	풀 GPU	최대 32k	—	2026-08-09 기준 실거래가 US$250(약 33만 원)
Radeon RX 9060 XT 16GB	쾌적	추정 31.2 tok/s27.5–35.0보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$449(약 60만 원)
Apple M5 Pro · 24GB	쾌적	추정 29.8 tok/s23.8–35.7보정된 추정 ±20%	Q4_K_M	8.4 / 16.8GB	통합 메모리	최대 64k	—	—
NVIDIA DGX Spark · 128GB	쾌적	추정 27.2 tok/s21.7–32.6보정된 추정 ±20%	Q4_K_M	8.4 / 116.9GB	통합 메모리	최대 32k	—	128GB 구성 출시가 US$3,999(약 530만 원)
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	추정 26.8 tok/s21.4–32.1보정된 추정 ±20%	Q4_K_M	8.4 / 22.4GB	통합 메모리	최대 32k	—	128GB 구성 출시가 US$1,999(약 265만 원)
Apple M4 Pro · 24GB	쾌적Apple M4 Pro에서 Gemma 3 12B 판정 보기	추정 26.5 tok/s21.2–31.8보정된 추정 ±20%	Q4_K_M	8.4 / 16.8GB	통합 메모리	최대 32k	—	—
GeForce RTX 4060 Ti 16GB	쾌적	추정 25.7 tok/s22.6–28.8보정된 추정 ±12%	Q4_K_M	9.0 / 16.0GB	풀 GPU	최대 32k	—	출시가 US$499(약 66만 원)
Apple M5 · 16GB	원활	추정 14.9 tok/s11.9–17.9보정된 추정 ±20%	Q4_K_M	8.4 / 11.2GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적	—
Apple M6 · 16GB	원활	추정 14.9 tok/s11.9–17.9보정된 추정 ±20%	Q4_K_M	8.4 / 11.2GB	통합 메모리	최대 32k	Q2_K (품질 손실 큼): 쾌적	—
Apple M4 · 16GB	원활Apple M4에서 Gemma 3 12B 판정 보기	추정 11.6 tok/s9.3–14.0보정된 추정 ±20%	Q4_K_M	8.4 / 11.2GB	통합 메모리	최대 32k	—	—
GeForce RTX 3070	겨우 가능	추정 21.8 tok/s17.5–26.2보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	출시가 US$499(약 66만 원)
GeForce RTX 5060	겨우 가능	추정 21.8 tok/s17.5–26.2보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 8GB	겨우 가능	추정 21.8 tok/s17.5–26.2보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	2026-08-09 기준 실거래가 US$429(약 57만 원)
GeForce RTX 4060 Ti 8GB	겨우 가능	추정 17.3 tok/s13.9–20.8보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	출시가 US$399(약 53만 원)
GeForce RTX 4060	겨우 가능GeForce RTX 4060에서 Gemma 3 12B 판정 보기	추정 16.7 tok/s13.4–20.1보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop	겨우 가능	추정 16.2 tok/s12.9–19.4보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	—
GeForce RTX 4070 Laptop	겨우 가능	추정 16.2 tok/s12.9–19.4보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	—
GeForce RTX 3050 8GB	겨우 가능	추정 14.9 tok/s11.9–17.8보정된 추정 ±20%	Q4_K_M	8.0 / 8.0GB + RAM 1.0GB	부분 오프로드	최대 64k	GPU에 90%도 올라가지 않습니다. 이렇게 GPU와 CPU에 나눠 돌리면 겨우 돌아가는 수준에 그칩니다. IQ4_XS: 원활 Q2_K (품질 손실 큼): 쾌적	출시가 US$249(약 33만 원)
DDR5-6000 듀얼채널 CPU · 16GB	겨우 가능	추정 6.1 tok/s4.9–7.3보정된 추정 ±20%	Q4_K_M	RAM 7.8GB	CPU 전용	최대 64k	—	—
DDR5-5600 듀얼채널 CPU · 16GB	겨우 가능	추정 5.7 tok/s4.6–6.9보정된 추정 ±20%	Q4_K_M	RAM 7.8GB	CPU 전용	최대 64k	—	—
DDR4-3200 듀얼채널 CPU · 16GB	겨우 가능	추정 3.3 tok/s2.6–3.9보정된 추정 ±20%	Q4_K_M	RAM 7.8GB	CPU 전용	최대 64k	—	—

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

쾌적GeForce RTX 3060 12GB2026-08-09 기준 실거래가 US$250(약 33만 원), 속도 추정 32.2 tok/s (28.3–36.0, 보정된 추정 ±12%)

Gemma 3 12B 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Gemma 3 12B 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
GeForce RTX 5060 Ti 16GB	Q4_K_M	ollama	512	1,692.0	50.3	CUDA, Windows 11, num_ctx 8192	github.com	2026-10-25

자주 묻는 질문

Gemma 3 12B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 파일은 7.30GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 8.4GB가 필요합니다(가중치 7.29GB, KV 캐시 0.5GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 5.9GB가 필요합니다.

Gemma 3 12B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 2026-08-09 기준 US$250(약 33만 원)이고, 속도는 추정 32.2 tok/s (28.3–36.0, 보정된 추정 ±12%)입니다.

Gemma 3 12B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 16.7 tok/s (13.4–20.1, 보정된 추정 ±20%); GeForce RTX 5060 Ti 16GB: 쾌적, 실측 50.3 tok/s (512 컨텍스트, 1건; 8k 추정 40.0 tok/s, 35.2–44.8, 보정된 추정 ±12%); GeForce RTX 3090: 쾌적, 추정 83.6 tok/s (73.6–93.6, 보정된 추정 ±12%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.