로컬 LLM 사양 — 그래픽카드 VRAM 8~32GB별로 돌릴 수 있는 모델 (2026)

로컬 LLM을 돌릴 때 가장 먼저 볼 사양은 VRAM입니다. 4비트 양자화(Q4_K_M)와 8k 컨텍스트를 기준으로 하면, 8GB 카드에는 8B급 모델이 GPU에 전부 올라갑니다. 12GB에는 12B~14B급, 16GB에는 gpt-oss-20b(MXFP4), 24GB에는 30B급 모델 대부분이 올라갑니다. IQ4_XS로 받은 Gemma 4 26B-A4B는 16GB에, Qwen3.6 27B는 24GB에 전부 들어갑니다. 그래픽카드에 올라가는 가중치, 컨텍스트를 담는 KV 캐시, 계산 중간값을 담는 연산 버퍼를 합친 양이 카드에서 쓸 수 있는 메모리 안에 들어가야 합니다. RTX 4060에서 Llama 3.1 8B는 필요량 6.3GB가 사용 가능 메모리 7.4GB 안에 들어가 쾌적하게 돌아갑니다. RTX 3060 12GB에서 Qwen3 14B는 아슬아슬하게 들어가고, 원활하게 돌아갑니다. RTX 5060 Ti 16GB에서 gpt-oss-20b, RTX 3090에서 Qwen3 30B-A3B는 여유 있게 들어가 쾌적하게 돌아갑니다. gpt-oss-120b는 시스템 RAM이 32GB면 이 글에서 다루는 8~32GB 카드 어디에도 들어가지 않습니다. CanRun 계산으로는 12GB 이상 카드라면 시스템 RAM 64GB, 8GB 카드라면 96GB가 있어야 들어갑니다.

필요한 VRAM 계산법: 가중치 + KV 캐시 + 연산 버퍼

모델을 GPU에서만 돌리려면 세 가지가 모두 VRAM에 들어가야 합니다. 양자화한 GGUF 파일의 가중치, 컨텍스트의 토큰마다 키(key)와 값(value)을 저장하는 KV 캐시, 계산 중간값을 담는 연산 버퍼입니다. 연산 버퍼는 작지만 컨텍스트가 길수록 조금씩 커집니다.

그래픽카드에 올라가는 가중치는 모델 파일보다 조금 작습니다. llama.cpp가 파일의 두 부분을 그래픽카드에 올리지 않기 때문입니다. 토큰을 벡터로 바꾸는 입력 임베딩 표는 늘 시스템 RAM에 둡니다. Qwen3.5 같은 일부 최신 모델에는 MTP(다중 토큰 예측) 블록이 들어 있는데, 이 블록은 MTP를 켤 때만 불러옵니다. EXAONE 4.5에도 이 블록이 있지만, llama.cpp가 아직 쓰지 않아 아예 불러오지 않습니다. CanRun은 두 부분의 크기를 GGUF 파일 헤더에서 읽어 뺍니다. 대부분의 모델에서는 수백 MB이고, Qwen3.5 계열은 1GB 안팎입니다. 가장 큰 Qwen3.5 122B는 Q4_K_M에서도 2GB가 넘습니다. Gemma 3처럼 입력 임베딩 표를 출력층으로도 쓰는 모델은 그래픽카드에 사본을 두므로, 가중치가 파일 크기와 같습니다.

CanRun은 Q4_K_M 양자화, 8k 컨텍스트, f16 KV 캐시를 기준으로 판정합니다. Q4_K_M은 흔히 기본값으로 쓰는 4비트 GGUF 양자화입니다. gpt-oss만은 원래 배포 형식인 MXFP4를 기준으로 삼습니다.

이 합계는 제품 사양에 적힌 VRAM이 아니라 실제로 쓸 수 있는 메모리와 비교합니다. Windows에서 화면 출력을 맡은 카드는 OS가 VRAM 일부를 가져가기 때문입니다. 자세한 설명은 표 아래에 있습니다. CanRun 계산으로 사용 가능 메모리는 8GB인 RTX 4060이 7.4GB, RTX 3060 12GB가 11.4GB, RTX 5060 Ti 16GB가 15.4GB입니다. 24GB인 RTX 3090은 23.4GB, 32GB인 RTX 5090은 31.4GB입니다.

파일 크기는 Hugging Face에 올라온 실제 GGUF 파일에서 가져옵니다. 대략적인 크기는 어림할 수도 있습니다. llama.cpp 양자화 표를 보면 Q4_K_M 파일의 GB 수는 파라미터 수(B, 10억 개 단위)의 절반을 조금 넘습니다. 실제로 Llama 3.1 8B는 4.9GB이고, 그중 4.6GB가 그래픽카드에 올라갑니다. Qwen3 14B는 9.0GB입니다. Q8_0은 파라미터 10억 개당 대략 1GB여서, Qwen3 14B의 Q8_0 파일은 15.7GB입니다.

KV 캐시는 8k에서는 파일보다 훨씬 작습니다. Llama 3.1 8B가 1.1GB, Qwen3 14B가 1.3GB입니다. 다만 컨텍스트 길이에 비례해 커지는데, 이 내용은 아래 ‘양자화와 컨텍스트 길이’에서 다룹니다. 12GB 카드에 Qwen3 14B를 올리면 메모리는 아래처럼 나뉩니다.

가중치, KV 캐시, 연산 버퍼에 OS 몫까지 더하면 12GB가 거의 다 찹니다. 필요량 10.5GB와 사용 가능 메모리 11.4GB의 차이가 1GB도 안 됩니다. GeForce RTX 3060 12GB에서 Qwen3 14B는 8k 컨텍스트와 f16 KV 캐시에서 원활하게 돌아갑니다. 다만 여유가 적으니 ollama ps의 PROCESSOR 열이 100% GPU로 나오는지 확인하세요. PowerShell에서도 명령은 같습니다. 다른 카드에서의 결과는 Qwen3 14B 모델 페이지에서 볼 수 있습니다.

MoE(전문가 혼합) 모델은 조금 다르게 봐야 합니다. gpt-oss-20b나 Qwen3 30B-A3B는 토큰마다 파라미터 일부만 쓰지만, 메모리에는 가중치 전체가 올라가 있어야 합니다. 그래서 표의 파라미터 열에는 전체 파라미터 수와, 토큰마다 실제로 쓰는 활성 파라미터 수를 함께 적었습니다.

맥은 CPU와 GPU가 통합 메모리를 나눠 씁니다. CanRun 계산으로는 기본 설정에서 GPU가 그중 약 70%를 씁니다. 이 글은 그래픽카드를 다루니, 맥을 쓴다면 ‘맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까’ 가이드를 참고하세요.

VRAM 8·12·16·24·32GB에 들어가는 모델

아래 표는 많이 쓰는 모델 6개가 NVIDIA 카드 8종에서 어떻게 돌아갈지 판정한 결과입니다. 8k 컨텍스트, f16 KV 캐시, 시스템 RAM 32GB(DDR5), Windows를 가정했습니다. 칸마다 판정과 예상 속도 범위, 신뢰 라벨이 들어 있습니다. 이론 추정 칸이 무슨 뜻인지는 표 아래에 설명했습니다.

두 번째 표는 같은 카드와 같은 조건으로, 많이 찾는 최근 모델과 큰 모델 열두 개를 판정한 결과입니다. Gemma 4, Qwen3.5, Qwen3.6, Qwen3.8, Qwen3 8B·32B, Llama 3.3 70B가 들어 있습니다.

8GB: RTX 4060

GeForce RTX 4060은 많이 쓰는 8GB 카드로, 사용 가능 메모리는 7.4GB입니다. Llama 3.1 8B는 필요량이 6.3GB라 GPU에 전부 들어가고, 쾌적하게 돌아갑니다. 이 조합의 속도는 추정치가 아니라 공개 벤치마크에서 실제로 잰 값입니다. 여유는 1GB 남짓이니, ollama ps의 PROCESSOR 열이 100% GPU인지 확인해 보세요.

Gemma 4 12B는 필요량 7.8GB가 사용 가능 메모리를 넘지만, 90% 넘게 GPU에 남아 원활하게 돌아갑니다. IQ4_XS로 받으면 7.1GB로 줄어 GPU에 아슬아슬하게 전부 들어가고, 역시 원활하게 돌아갑니다. 이때는 ollama ps로 확인하세요.

Gemma 3 12B(8.4GB)와 Qwen3 14B(10.5GB)는 사용 가능 메모리를 더 많이 넘습니다. 그래서 가중치 일부를 시스템 RAM에 두는 부분 오프로드가 되고, 보정된 추정으로는 둘 다 겨우 돌아갑니다. 2026년 dense 모델인 Qwen3.6 27B·Qwen3.8 27B·Gemma 4 31B도 부분 오프로드로 겨우 돌아갑니다.

MoE 모델인 gpt-oss-20b와 Qwen3 30B-A3B는 CanRun 계산으로는 전문가 가중치 일부를 시스템 RAM에 둡니다. 늘 생각한 뒤 답하는 gpt-oss-20b는 더 엄격한 기준을 아슬아슬하게 넘겨 원활하게 돌아갑니다. Qwen3 30B-A3B도 원활하게 돌아갑니다. 2026년 MoE 모델인 Gemma 4 26B-A4B와 Qwen3.6 35B-A3B도 같은 방식으로 원활하게 돌아갑니다. 네 모델의 속도는 모두 이론 추정입니다. 자세한 내용은 아래 ‘MoE 모델과 시스템 RAM’에서 설명합니다. gpt-oss-120b는 돌릴 수 없습니다.

RTX 5060 Ti는 8GB 모델과 16GB 모델이 따로 나오니, 제품명과 사양표에서 VRAM 용량부터 확인하세요.

RTX 5060 Ti 8GB는 사용 가능 메모리가 7.4GB로 RTX 4060과 같습니다. 메모리 대역폭은 448 GB/s로, RTX 4060의 272 GB/s보다 높습니다. Gemma 4 12B를 IQ4_XS로 받으면 이 카드에서도 GPU에 전부 들어가고, 쾌적하게 돌아갑니다. Gemma 4는 생각 모드가 기본으로 꺼져 있지만 켤 수 있어서, CanRun이 속도 기준을 1.5배 엄격하게 잡습니다. RTX 5060 Ti 8GB는 이 기준을 넘고, RTX 4060은 추정 속도가 기준에 조금 못 미쳐 한 단계 낮게 나옵니다.

CanRun 계산에서 모델이 들어가는지는 사용 가능 메모리로만 정해집니다. 등록된 8GB 카드는 노트북용까지 모두 7.4GB를 쓸 수 있어 들어가는 모델이 같습니다. 아래 표에서 판정 개수가 갈리는 것은 속도 때문입니다.

12GB: RTX 3060 12GB·RTX 4070·RTX 5070

GeForce RTX 3060 12GB, GeForce RTX 4070, GeForce RTX 5070은 모두 사용 가능 메모리가 11.4GB입니다.

RTX 3060 12GB에서 Gemma 3 12B는 필요량이 8.4GB라 여유 있게 들어가고, 쾌적하게 돌아갑니다. Gemma 4 12B도 7.8GB라 여유 있게 들어가 쾌적하게 돌아갑니다. Qwen3 14B도 8k에서는 10.5GB로 들어갑니다. 다만 여유가 1GB도 안 되니 ollama ps로 확인하세요. 컨텍스트를 16k로 늘리면 f16 KV 캐시에서는 부분 오프로드로 넘어갑니다. 자세한 값은 아래 컨텍스트 표에 있습니다. 반면 Gemma 4 12B는 KV 캐시가 작아, f16 KV 캐시로 32k를 써도 8.4GB라 GPU에 전부 들어갑니다.

gpt-oss-20b는 12.3GB가 필요해 다 들어가지 않습니다. CanRun 계산으로는 VRAM에 들어가지 않는 전문가 가중치를 시스템 RAM에 두고 원활하게 돌아갑니다. 2026년 MoE 모델인 Gemma 4 26B-A4B와 Qwen3.6 35B-A3B도 같은 방식으로 원활하게 돌아갑니다. 세 모델의 속도는 모두 이론 추정입니다.

dense 모델인 Qwen3.6 27B와 Gemma 4 31B는 필요량이 17.2GB, 19.5GB입니다. 그래서 RTX 3060 12GB와 RTX 5070 모두에서 부분 오프로드로 겨우 돌아갑니다.

세 카드에 들어가는 모델은 같고, 속도 차이는 메모리 대역폭에서 납니다. 대역폭은 RTX 3060 12GB가 360 GB/s, RTX 4070이 504 GB/s, RTX 5070이 672 GB/s입니다. 속도가 판정 기준의 경계에 걸친 모델은 카드마다 판정이 달라집니다. 예를 들어 Qwen3 14B는 RTX 3060 12GB에서는 원활하게, RTX 4070·RTX 5070에서는 쾌적하게 돌아갑니다. Qwen3 14B는 생각 모드가 있는 모델이라 CanRun이 속도 기준을 1.5배 엄격하게 잡습니다. 생각 모드를 켜면 답 하나에 토큰을 훨씬 많이 쓰기 때문입니다. 더 빠른 두 카드는 이 기준을 넘고, RTX 3060 12GB는 넘지 못합니다. 생각 모드가 없는 Phi-4는 추정 속도가 Qwen3 14B와 비슷하지만 세 카드 모두에서 쾌적하게 돌아갑니다. 다만 Phi-4는 필요량이 11.0GB라 세 카드 모두에 아슬아슬하게 들어가니, ollama ps로 확인해 보세요.

그 밖에도 RTX 4070 Super, RTX 3080 12GB, Intel Arc B580 같은 12GB 카드가 있습니다. 모두 사용 가능 메모리가 11.4GB로 같아, 들어가는 모델도 같습니다. 판정 개수는 아래 표에서 대역폭 순으로 비교해 보세요.

16GB: RTX 5060 Ti 16GB

GeForce RTX 5060 Ti 16GB에는 gpt-oss-20b(12.3GB)가 사용 가능 메모리 15.4GB 안에 전부 들어갑니다. 모델 카드에 적힌 ‘16GB 메모리 안에서 구동’이라는 설명과도 맞습니다. 쾌적하게 돌아가고, 이 조합의 속도도 추정치가 아니라 공개 벤치마크에서 실제로 잰 값입니다.

Qwen3 14B는 8k에서 쾌적하게 돌아갑니다. f16 KV 캐시로 32k까지 늘려도 필요량이 14.7GB라 사용 가능 메모리에 아슬아슬하게 들어갑니다. 이때는 ollama ps의 PROCESSOR 열이 100% GPU인지 확인하세요.

Gemma 4 12B는 이 카드에서 쾌적하게 돌아갑니다. Q8_0으로 받아도 필요량이 13.4GB라 GPU에 전부 들어가고, 원활하게 돌아갑니다. Gemma 4 26B-A4B는 Q4_K_M에서 17.7GB가 필요해 사용 가능 메모리를 넘습니다. CanRun 계산으로는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. 이 구성의 속도는 이론 추정입니다. IQ4_XS로 받으면 14.3GB로 줄어, 1GB 남짓 여유를 두고 GPU에 전부 들어갑니다. 이때는 보정된 추정으로 쾌적하게 돌아갑니다. Gemma 4 31B는 19.5GB가 필요해 부분 오프로드로 겨우 돌아갑니다. IQ4_XS로 낮춰도 17.6GB라 일부가 시스템 RAM에 남고, 역시 겨우 돌아갑니다. 세 크기의 비교는 ‘젬마 4(Gemma 4) 모델별 차이 — 12B·26B-A4B·31B 사양과 VRAM 비교’ 가이드에 있습니다.

dense 모델인 Qwen3.6 27B와 Qwen3.8 27B는 Q4_K_M에서 필요량이 17.2GB, 17.6GB입니다. 둘 다 부분 오프로드로 겨우 돌아갑니다. IQ4_XS로 받으면 15.8GB, 15.7GB로 줄지만 여전히 사용 가능 메모리를 넘습니다. 그래도 대부분이 GPU에 남아 둘 다 원활하게 돌아갑니다. 이때 ollama ps에는 CPU/GPU 분할로 나올 것입니다. 두 버전의 차이는 ‘Qwen3.6·Qwen3.8 비교 — 27B와 35B-A3B 차이, VRAM과 속도’ 가이드에서 자세히 다룹니다.

MoE 모델인 Qwen3 30B-A3B(19.8GB)와 Qwen3.6 35B-A3B(21.8GB)는 다 들어가지 않습니다. CanRun 계산으로는 들어가지 않는 전문가를 시스템 RAM에 두고, 둘 다 원활하게 돌아갑니다. Qwen3.6 35B-A3B는 IQ4_XS로 낮춰도 다 들어가지 않아, 같은 방식으로 원활하게 돌아갑니다. 이 구성들의 속도는 모두 이론 추정입니다.

CanRun에 등록된 16GB 그래픽카드는 모두 사용 가능 메모리가 15.4GB라, 들어가는 모델이 같습니다. AMD 카드인 Radeon RX 9060 XT 16GB에서도 gpt-oss-20b가 쾌적하게 돌아갑니다. 카드끼리 다른 것은 속도뿐입니다.

표에는 노트북 GPU도 자기 VRAM 용량대로 들어 있습니다. GeForce RTX 4090 Laptop은 16GB라, 데스크톱 카드와 달리 이 16GB 표에 있습니다. GeForce RTX 5090 Laptop은 24GB라 24GB 표에 있습니다. 노트북이라면 노트북 GPU 항목을 확인하세요.

24GB: RTX 3090·RTX 4090

GeForce RTX 3090과 GeForce RTX 4090은 둘 다 사용 가능 메모리가 23.4GB입니다.

dense 모델인 Qwen3.6 27B·Qwen3.8 27B·Gemma 4 31B는 필요량이 17.2GB, 17.6GB, 19.5GB입니다. 셋 다 GPU에 전부 들어가고, RTX 3090과 RTX 4090 모두에서 쾌적하게 돌아갑니다. MoE 모델인 Gemma 4 26B-A4B와 Qwen3.6 35B-A3B도 두 카드에 전부 들어가 쾌적하게 돌아갑니다. 다만 Qwen3.6 35B-A3B는 여유가 2GB가 채 안 됩니다.

Qwen3 30B-A3B (2507)은 필요량이 19.8GB라 GPU에 전부 들어가고, RTX 3090과 RTX 4090 모두에서 쾌적하게 돌아갑니다. dense 모델인 Qwen3 32B는 8k에서 22.0GB가 필요하고, RTX 3090에서 원활하게 돌아갑니다. 하지만 f16 KV 캐시로 16k 이상을 쓰면 사용 가능 메모리를 넘습니다. 반면 Gemma 4 31B와 Qwen3.6 27B는 32k를 써도 21.8GB, 19.0GB라 GPU에 전부 들어갑니다. Qwen3.6 35B-A3B는 32k에서 22.6GB가 필요해 아슬아슬하게 들어갑니다. 이때는 ollama ps로 확인하세요.

같은 Qwen3 32B라도 더 빠른 RTX 4090에서는 쾌적하게 돌아갑니다. DeepSeek R1 Distill Qwen 32B도 마찬가지로 RTX 3090에서는 원활하게, RTX 4090에서는 쾌적하게 돌아갑니다. 두 모델 모두 생각 모드가 있어서, CanRun은 속도 기준을 1.5배 엄격하게 잡습니다. RTX 4090은 이 기준을 넘고, RTX 3090은 넘지 못합니다. Qwen3 32B와 DeepSeek R1 Distill Qwen 32B는 둘 다 8k에서 여유가 1GB 남짓이니 ollama ps로 확인하세요. gpt-oss-120b는 두 카드 모두 돌릴 수 없습니다.

24GB인 RTX 3090 Ti, RX 7900 XTX, RTX 5090 Laptop도 사용 가능 메모리가 23.4GB로 같습니다. 그래서 들어가는 모델도 같고, 아래 표는 이 카드들을 대역폭 순으로 보여 줍니다.

32GB: RTX 5090

GeForce RTX 5090의 사용 가능 메모리는 31.4GB입니다. 위 표의 모델 6개는 8k에서 24GB 카드와 판정이 같습니다. 늘어난 메모리는 주로 더 긴 컨텍스트를 담는 데 쓰입니다.

RTX 5090에서 Qwen3 32B는 8k 컨텍스트라면 쾌적하게 돌아갑니다. 컨텍스트를 32k로 늘리면 f16 KV 캐시에서 28.7GB가 필요합니다. 이 양은 RTX 5090에는 들어가지만 RTX 3090의 23.4GB는 넘습니다.

Qwen3.6 27B와 Qwen3.8 27B를 Q8_0으로 받으면 필요량이 28.4GB, 28.4GB입니다. RTX 5090에는 전부 들어가 쾌적하게 돌아가고, RTX 3090에서는 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. Gemma 4 31B는 f16 KV 캐시로 128k를 써도 필요량이 30.7GB입니다. RTX 5090의 31.4GB 안에 아슬아슬하게 들어가니, ollama ps로 확인하세요. Qwen3.6 35B-A3B는 원래 지원하는 256k까지 f16 KV 캐시로 늘려도 GPU에 전부 남습니다.

Q4_K_M으로는 dense 70B 모델이 32GB 카드에도 다 들어가지 않습니다. Llama 3.3 70B는 45.2GB가 필요해, RTX 5090에서도 부분 오프로드로 겨우 돌아갑니다. RTX 4090에서는 Q4_K_M으로 돌릴 수 없고, IQ4_XS로 낮추면 겨우 돌아갑니다. 이때 돌릴 수 없는 이유는 메모리가 모자라서가 아닙니다. 시스템 RAM까지 나눠 쓰면 너무 느려지기 때문입니다.

반대로 메모리가 모자라서 돌릴 수 없는 조합도 있습니다. GeForce RTX 5090에서 gpt-oss-120b는 시스템 RAM이 32GB면 GPU와 RAM을 합쳐도 들어가지 않아 돌릴 수 없습니다. 자세한 내용은 아래 ‘MoE 모델과 시스템 RAM’에서 다룹니다.

단계별로 정리하면

아래 표는 CanRun 카탈로그의 모든 모델을 카드별로 판정해, 판정마다 몇 개인지 센 것입니다. GPU만으로 돌릴 수 있는 가장 큰 모델도 함께 보여 줍니다. 전체 모델 수는 표 제목에 있습니다.

8GB에서 24GB까지는 VRAM이 한 단계 오를 때마다 GPU만으로 돌릴 수 있는 가장 큰 모델도 커집니다. 하지만 32GB인 RTX 5090은 그 모델이 24GB 카드와 같습니다.

메모리는 다음을 목표로 잡으면 됩니다. 따로 밝히지 않았다면 Q4_K_M과 8k 컨텍스트 기준입니다.

• 8B급 모델: VRAM 8GB 이상(Gemma 4 12B는 IQ4_XS면 8GB에도 아슬아슬하게 들어갑니다)
• 12B~14B급 모델: 12GB 이상, 컨텍스트를 길게 쓰려면 16GB 이상
• gpt-oss-20b나 IQ4_XS로 받은 Gemma 4 26B-A4B를 GPU에서만 돌리려면: 16GB 이상
• Qwen3.6 27B·Qwen3.8 27B·Gemma 4 31B 같은 dense 27B~31B 모델: 24GB 이상
• Qwen3 30B-A3B·Qwen3.6 35B-A3B 같은 30B급 모델: 24GB 이상(모델마다 여유가 다르니 위 표를 확인하세요)
• 32GB: 더 큰 모델보다는 더 긴 컨텍스트를 쓰기 위한 여유

한국 모델도 계산 방법은 같습니다. Kanana 1.5 8B는 RTX 4060에서 쾌적하게 돌아갑니다. 여유는 1GB 남짓이니 ollama ps로 확인해 보세요. EXAONE 4.0 32B는 RTX 3090에서 쾌적하게 돌아갑니다. RTX 4060에서는 Q4_K_M으로 부분 오프로드를 하면 너무 느려서 돌릴 수 없고, IQ4_XS로 낮추면 겨우 돌아갑니다. 자세한 내용은 ‘한국 오픈 LLM 정리 — 엑사원·카나나·하이퍼클로바X·솔라 구동 사양’ 가이드에 있습니다.

MoE 모델과 시스템 RAM

MoE(Mixture of Experts, 전문가 혼합) 모델은 ‘전문가’라고 부르는 가중치 묶음을 여러 개 둡니다. 그리고 토큰마다 그중 몇 개만 골라 계산합니다. 모델 카드에 따르면 Qwen3 30B-A3B (2507)은 층이 48개이고, 전문가 128개 가운데 8개를 씁니다. gpt-oss-20b·gpt-oss-120b와 Gemma 4 26B-A4B·Qwen3.6 35B-A3B도 토큰마다 파라미터 일부만 씁니다. 전체 파라미터 수와 활성 파라미터 수는 위 메모리 표에 있습니다. 메모리에 들어가는지는 파일 전체 크기로 정해지고, 속도는 주로 실제로 계산하는 활성 부분에 달려 있습니다.

가중치가 VRAM에 다 들어가지 않으면, CanRun 계산은 공유 가중치와 어텐션 가중치, KV 캐시, 연산 버퍼를 먼저 GPU에 둡니다. 남은 VRAM에는 들어가는 만큼 전문가를 층 단위로 올리되, 한 층 분량은 여유로 비워 둡니다. 나머지 층의 전문가만 시스템 RAM에 둡니다. 전문가와 나머지 가중치의 크기는 GGUF 파일 헤더에서 읽은 실제 값을 씁니다. llama.cpp에서는 --n-cpu-moe N이 이런 배치를 만듭니다. 앞쪽 N개 층의 전문가를 CPU 쪽에 두는 옵션이고, CanRun 조합 페이지의 명령에는 CanRun이 계산한 N이 들어갑니다. 예를 들어 GeForce RTX 3060 12GB에서 Qwen3 30B-A3B (2507)은 19.8GB가 필요한데, 사용 가능 메모리는 11.4GB입니다. 그래서 아래 막대처럼 GPU를 꽉 채우고, 남은 전문가는 시스템 RAM에 둡니다.

이 조합은 이론 추정으로 원활하게 돌아갑니다. 판정 기준표를 보면, 전문가를 RAM에 둔 구성은 ‘쾌적’ 기준 속도를 넘어야 ‘원활’이 되고, ‘쾌적’은 받지 못합니다. gpt-oss-20b처럼 생각 모드가 있는 모델은 이 기준이 1.5배 더 엄격해집니다.

이 방식의 속도는 이렇게 계산합니다. 토큰마다 고른 전문가 가운데 RAM에 있는 층의 몫은 RAM 속도로 읽습니다. GPU에 둔 전문가와 어텐션·공유 가중치, KV 캐시는 GPU 속도로 읽습니다. NVIDIA 그래픽카드 공개 벤치마크 35건과 비교하면 평균 오차가 약 10%였고, 89%가 ±20% 안에 들었습니다. 그래도 신뢰 라벨은 이론 추정(±30%)으로 둡니다. 운영체제·백엔드·RAM 구성에 따라 40% 가까이 벌어진 경우도 있었기 때문입니다.

모델이 더 커지면 이번에는 시스템 RAM이 모자랍니다. gpt-oss-120b는 파일만 63.4GB여서, 시스템 RAM이 32GB면 VRAM에 들어가지 않는 전문가 가중치를 둘 자리가 부족합니다. 그래서 RTX 3060 12GB는 물론이고 32GB인 RTX 5090에도 들어가지 않습니다. CanRun은 RAM 64GB·96GB·128GB 구성도 확인합니다. 표의 12GB 이상 카드는 64GB면 들어가고, 8GB인 RTX 4060은 96GB가 있어야 들어갑니다. 판정표 칸 아래의 ‘RAM 64GB라면’, ‘RAM 96GB라면’ 줄이 이 결과이고, 역시 이론 추정입니다. 참고로 모델 카드는 80GB GPU 한 장에서 돌리는 것을 기준으로 합니다.

최신 llama.cpp와 Ollama는 MoE 모델을 이런 방식으로 자동으로 나눠 올립니다. llama.cpp는 b7410(2025년 12월)부터 --fit 옵션이 기본으로 켜져 있습니다. 전문가가 아닌 가중치를 먼저 GPU에 두고, 모자라는 만큼만 전문가를 CPU 쪽으로 옮깁니다. Ollama는 0.30부터 llama.cpp로 모델을 돌리며, 같은 방식으로 전문가 일부를 GPU에 둡니다. 그보다 오래된 Ollama는 층을 통째로 나눠 올려서 훨씬 느립니다. 실제로 어떻게 올라갔는지는 Ollama FAQ에 안내된 대로 ollama ps의 PROCESSOR 열에서 확인하세요.

양자화와 컨텍스트 길이

양자화: 파일 크기와 품질을 맞바꾼다

양자화는 가중치를 더 적은 비트로 저장해 파일 크기를 줄이는 방법입니다. Q4_K_M은 흔히 기본값으로 쓰는 4비트 GGUF 양자화입니다. CanRun은 양자화를 품질에 따라 네 등급으로 나눕니다. 준무손실(Q8_0·Q6_K·Q5_K_M, gpt-oss 원래 형식인 MXFP4), 균형(Q4_K_M·IQ4_XS), 손실 체감(Q3_K_M·IQ3_XS), 손실 큼(Q2_K·IQ2_M)입니다. Q8_0 파일은 Q4_K_M의 1.7배쯤 됩니다. Gemma 3 12B라면 Q8_0이 12.5GB, Q4_K_M이 7.3GB입니다. 아래 표는 GeForce RTX 4060에서 Gemma 3 12B를 양자화별로 판정한 결과이며, 모두 보정된 추정입니다.

기본 양자화인 Q4_K_M은 부분 오프로드로 겨우 돌아갑니다. 표를 보면 Q8_0도 겨우 돌아갑니다. IQ4_XS는 7.7GB로 여전히 사용 가능 메모리 7.4GB를 넘습니다. 그래도 90% 이상이 GPU에 남아 원활하게 돌아갑니다. Q2_K는 GPU에 전부 들어가 쾌적하게 돌아가지만, 품질은 손실 큼 등급입니다. CanRun은 다른 양자화로는 모두 돌릴 수 없을 때만 손실 큼 등급을 권합니다. 그러니 양자화를 낮춘다면 같은 균형 등급인 IQ4_XS부터 써 보세요. 자세한 내용은 ‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’ 가이드와 Gemma 3 12B 모델 페이지에 있습니다.

반대로 VRAM이 넉넉하면 품질 등급이 더 높은 양자화를 쓸 수 있습니다. Qwen3 14B를 Q8_0으로 받으면 16.8GB가 필요합니다. RTX 5060 Ti 16GB의 15.4GB는 넘지만 RTX 3090의 23.4GB에는 들어갑니다. 그래서 CanRun 계산으로는 RTX 3090에서 GPU에 전부 올라갑니다.

컨텍스트 길이: KV 캐시가 커진다

KV 캐시 크기는 모델 구조와 컨텍스트 길이로 정해집니다.

Llama 3.1 8B, Qwen3 14B·32B, Qwen3 30B-A3B는 모든 층이 전체 어텐션(full attention)입니다. 그래서 KV 캐시가 컨텍스트 길이에 비례해 커집니다. Gemma 3·Gemma 4와 gpt-oss는 최근 토큰만 보는 슬라이딩 윈도(sliding window) 층을 섞어 씁니다. 그래서 모델 크기에 비해 토큰당 KV 캐시가 작습니다. Gemma 3 기술 보고서에 따르면 로컬 층을 글로벌 층보다 많이 두고, 로컬 층이 보는 범위를 짧게 잡았습니다. Qwen3.6 27B와 Qwen3.8 27B는 네 층 중 세 층이 선형 어텐션(Gated DeltaNet) 층입니다. KV 캐시는 나머지 전체 어텐션 층에만 쌓여서, 토큰당 크기가 Llama 3.1 8B의 절반, Qwen3 32B의 4분의 1입니다. 32k에서 KV 캐시는 Llama 3.1 8B가 4.3GB, gpt-oss-20b가 0.8GB입니다.

Qwen3 14B·32B는 모델이 원래 지원하는 컨텍스트가 32k라서 위 표의 128k 칸에 대시가 표시됩니다. 아래 표는 GeForce RTX 3060 12GB에서 Qwen3 14B를 컨텍스트 길이와 KV 캐시 종류별로 판정한 결과이며, 모두 보정된 추정입니다.

8k 컨텍스트와 f16 KV 캐시에서는 GPU에 전부 올라가 원활하게 돌아갑니다. 16k로 늘리면 f16 KV 캐시에서는 11.9GB가 필요해 사용 가능 메모리 11.4GB를 넘고, 부분 오프로드로 넘어갑니다. 이때 KV 캐시를 q8_0으로 양자화하면 10.6GB로 줄어, 아슬아슬하게 다시 GPU에 전부 올라갑니다. 32k에서는 f16과 q8_0 모두 부분 오프로드가 되고, q4_0만 10.9GB로 GPU에 남습니다. 16k의 q8_0과 32k의 q4_0은 여유가 1GB도 안 되니 ollama ps로 확인하세요. 8k가 아닌 컨텍스트의 판정은 표에서 확인할 수 있습니다.

Ollama를 쓴다면 기본값도 확인해야 합니다. Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). 그래서 8GB·12GB·16GB 카드는 4k, 24GB·32GB 카드는 32k 컨텍스트로 시작합니다. CanRun이 기준으로 삼는 8k와는 다릅니다. Ollama는 서버를 띄울 때 OLLAMA_KV_CACHE_TYPE(f16·q8_0·q4_0)을 지정하고 플래시 어텐션을 켜야만 KV 캐시를 양자화합니다. 이 설정은 그 서버가 돌리는 모든 모델에 적용됩니다 (Ollama 문서, 2026-09-29 확인). Ollama FAQ는 q8_0 캐시가 f16의 약 절반, q4_0이 약 4분의 1 크기라고 설명합니다. CanRun 표는 이를 약 54%와 29%로 계산합니다. 또 Ollama FAQ에 따르면 동시 요청 수(OLLAMA_NUM_PARALLEL)만큼 컨텍스트 메모리도 늘어납니다. CanRun 표는 한 번에 요청 하나만 처리한다고 가정합니다.

더 읽을거리

• Ollama 컨텍스트 설정 방법: 올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값
• KV 캐시가 커지는 원리: KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까
• 양자화 등급과 파일 크기: GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까
• 맥의 통합 메모리: 맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까
• Gemma 4 세 크기 중 내 카드에 맞는 모델: 젬마 4(Gemma 4) 모델별 차이 — 12B·26B-A4B·31B 사양과 VRAM 비교
• 버전별 차이와 16GB에 들어가는 양자화: Qwen3.6·Qwen3.8 비교 — 27B와 35B-A3B 차이, VRAM과 속도
• 모델·카드별 전체 결과: Llama 3.1 8B 같은 모델 페이지와 GeForce RTX 3060 12GB 같은 GPU 페이지

이 숫자는 얼마나 확실한가

메모리 수치는 실제 GGUF 파일 크기와 파일 헤더로 그래픽카드에 올라가는 가중치를 구하고, 여기에 KV 캐시와 연산 버퍼를 더해 공식으로 계산한 값이라 오차 범위를 붙이지 않습니다. 파일 헤더에서는 llama.cpp가 그래픽카드에 올리지 않는 부분의 크기를 읽습니다. KV 캐시는 모델 설정 파일(config)로 계산합니다. 실제 파일 크기를 모를 때는 ‘파라미터 수 × 가중치당 비트 수 ÷ 8’로 어림합니다. 이 공식은 실제 파일 11종과 비교해 평균 0.7% 차이가 났습니다. KV 캐시 공식도 7가지 구조에서 일치했습니다.

속도는 추정치라서 오차 범위와 신뢰 라벨을 함께 붙입니다. ‘실측’은 공개된 측정값입니다. ‘보정된 추정’의 오차 범위는 NVIDIA·AMD 카드에서 dense 모델을 GPU에만 올릴 때 ±12%입니다. MoE나 부분 오프로드, 그 밖의 하드웨어에서는 ±20%입니다. ‘이론 추정’은 MoE 전문가를 RAM에 두는 경우처럼 공개 벤치마크가 적거나 환경에 따른 편차가 큰 구성에 붙이며, 오차 범위는 ±30%입니다. MoE 전문가를 RAM에 두는 경우는 VRAM에 들어가는 만큼 전문가를 GPU에 두고, 나머지만 RAM에 둔다고 보고 계산합니다. 속도 공식을 공개 측정 12건과 비교하면 평균 오차는 4.2%, 최대 오차는 10.5%였습니다.

이 글의 판정표는 대부분 보정된 추정입니다. ‘실측’ 라벨이 붙은 조합은 Llama 3.1 8B의 RTX 4060·RTX 3060 12GB·RTX 4090입니다. gpt-oss-20b도 RTX 5060 Ti 16GB·RTX 3090·RTX 4090·RTX 5090에서는 ‘실측’ 라벨이 붙습니다. ‘이론 추정’ 라벨이 붙은 조합은 8GB·12GB 카드의 gpt-oss-20b와 8~16GB 카드의 Qwen3 30B-A3B입니다. 양자화 표와 컨텍스트 표는 모두 보정된 추정입니다.

아래는 GeForce RTX 5060 Ti 16GB에서 gpt-oss-20b를 실제로 잰 결과입니다.

이 값은 llama.cpp의 gpt-oss 실행 안내 토론 글에 올라온 공개 측정 한 건입니다. 2k 컨텍스트에서 llama-bench로 잰 값이고, CanRun이 직접 잰 것은 아닙니다. 위 측정 결과에는 CanRun이 8k 기준으로 추정한 범위도 함께 나옵니다. 이 카드의 다른 결과는 GeForce RTX 5060 Ti 16GB 페이지에서 볼 수 있습니다.

표의 값은 다음 조건을 가정합니다. Windows에서 그 카드가 화면 출력도 맡고, 시스템 RAM은 32GB(DDR5-5600 듀얼 채널)입니다. 8k 컨텍스트와 f16 KV 캐시로 모델 하나를 띄워 한 번에 요청 하나만 처리하며, 런타임은 llama.cpp 계열입니다. Ollama와 llama.cpp는 메모리를 스스로 추정해 모델을 나눠 올립니다. llama.cpp의 자동 배치(--fit, 기본으로 켜짐)는 GPU마다 VRAM을 조금 비워 두고, Ollama 0.30 이후 버전은 llama.cpp로 모델을 돌립니다. 그래서 이 글에서 아슬아슬하게 들어가는 모델은 일부가 시스템 RAM으로 넘어갈 수 있습니다. 내 PC에서 실제로 어떻게 올라갔는지는 직접 확인해야 합니다. Ollama라면 ollama ps의 PROCESSOR 열이 100% GPU인지 CPU/GPU 분할인지 보세요. llama.cpp라면 시작할 때 나오는 로그를 보면 됩니다.

본문에서 말한 판정은 따로 밝히지 않았다면 Q4_K_M(gpt-oss는 MXFP4), 8k 컨텍스트, f16 KV 캐시 기준입니다. 생각 모드가 있는 모델에는 속도 기준을 1.5배 엄격하게 적용합니다. 생각 모드를 켜면 답 하나에 토큰을 훨씬 많이 쓰기 때문입니다. 기본으로 꺼져 있는 모델도, 켜고 쓰면 그만큼 기다려야 하니 똑같이 적용합니다. 이 글에 나온 모델 가운데 gpt-oss-20b·gpt-oss-120b·DeepSeek R1 Distill Qwen 32B는 늘 생각합니다. Qwen3 14B·32B, Qwen3.6·Qwen3.8, EXAONE 4.0 32B, Gemma 4는 생각 모드를 켜고 끌 수 있습니다. 이 가운데 Qwen 모델은 생각 모드가 기본으로 켜져 있고, Gemma 4와 EXAONE 4.0 32B는 꺼져 있습니다. Llama 3.1 8B, Gemma 3, Phi-4, Qwen3 30B-A3B, Kanana 1.5 8B에는 생각 모드가 없습니다. 아래 기준표에는 이 내용이 빠져 있으니 참고하세요.

자주 묻는 질문

VRAM 8GB로 로컬 LLM을 돌릴 수 있나요?

8B급 모델이라면 Q4_K_M·8k 컨텍스트에서 돌릴 수 있습니다. GeForce RTX 4060에서 Llama 3.1 8B는 필요량 6.3GB가 사용 가능 메모리 7.4GB 안에 들어가 쾌적하게 돌아갑니다. 여유는 1GB 남짓입니다. 컨텍스트를 16k로 늘리면 f16 KV 캐시에서는 필요량이 7.4GB로 늘어 사용 가능 메모리와 거의 같아집니다. CanRun 계산으로는 사용 가능 메모리를 넘어 일부가 시스템 RAM으로 넘어갑니다. 이때 GPU에만 올리려면 KV 캐시를 q8_0으로 양자화하거나 컨텍스트를 줄여야 합니다. 같은 카드에서 Qwen3 14B는 10.5GB가 필요해 일부를 시스템 RAM에서 돌려야 하고, 겨우 돌아갑니다.

VRAM 16GB로 Gemma 4나 Qwen3.6을 돌릴 수 있나요?

Gemma 4 12B와, IQ4_XS로 받은 Gemma 4 26B-A4B는 RTX 5060 Ti 16GB에 전부 들어갑니다. 둘 다 쾌적하게 돌아갑니다. Qwen3.6 27B와 Qwen3.6 35B-A3B는 IQ4_XS로 받아도 일부를 시스템 RAM에 둬야 합니다. Gemma 4 26B-A4B를 Q4_K_M으로 받으면 17.7GB가 필요해, 전문가 일부를 시스템 RAM에 둡니다. Gemma 4 31B는 IQ4_XS로 낮춰도 겨우 돌아갑니다. Qwen3.6 27B와 Qwen3.8 27B는 Q4_K_M에서 겨우 돌아가고, IQ4_XS면 보정된 추정으로 원활하게 돌아갑니다. Qwen3.6 35B-A3B(21.8GB)처럼 전문가를 RAM에 두는 구성의 속도는 이론 추정입니다.

VRAM 12GB와 16GB는 무엇이 다른가요?

16GB에서는 gpt-oss-20b와, IQ4_XS로 받은 Gemma 4 26B-A4B가 GPU에 전부 들어갑니다. 12GB 카드에서는 둘 다 전문가 일부를 시스템 RAM에 둬야 합니다. Qwen3 14B를 f16 KV 캐시로 16k까지 쓰면 필요량이 11.9GB로 늘어납니다. 이 양은 12GB 카드의 11.4GB는 넘지만, 16GB 카드의 15.4GB에는 들어갑니다. Qwen3.6 27B는 Q4_K_M으로는 두 용량 모두 GPU에 다 들어가지 않습니다. GPU에만 올리려면 메모리 24GB를 목표로 잡으세요. 같은 용량끼리는 속도만 다르니, 위 12GB·16GB 부분의 표에서 대역폭 순으로 확인하세요.

모델에 필요한 VRAM은 어떻게 계산하나요?

GGUF 파일 크기에서 출발해 컨텍스트 길이만큼의 KV 캐시와 작은 연산 버퍼를 더한 뒤, 카드의 사용 가능 메모리와 비교하면 됩니다. 사용 가능 메모리는 제품 사양의 VRAM에서 OS가 화면 출력에 쓰는 몫을 뺀 값입니다. 파일 크기는 Q4_K_M이면 파라미터 수(B)의 절반을 조금 넘는 GB로, Q8_0이면 파라미터 10억 개당 대략 1GB로 어림할 수 있습니다. 하지만 가능하면 다운로드 페이지에 적힌 실제 크기를 쓰세요. 그래픽카드에 올라가는 가중치는 파일보다 조금 작습니다. llama.cpp가 입력 임베딩 표를 시스템 RAM에 두기 때문입니다. 예를 들어 Qwen3 14B는 파일 9.0GB 중 8.6GB가 그래픽카드에 올라갑니다. 여기에 8k KV 캐시 1.3GB와 연산 버퍼를 더하면 10.5GB가 필요합니다. 12GB 카드의 사용 가능 메모리는 11.4GB입니다.

컨텍스트를 늘리면 VRAM이 더 필요한가요?

네, 더 필요합니다. KV 캐시는 컨텍스트의 모든 토큰을 저장하므로, 전체 어텐션 모델은 컨텍스트가 두 배가 되면 캐시도 두 배가 됩니다. 다만 모델 구조에 따라 차이가 큽니다. f16 KV 캐시로 32k를 쓰면 Llama 3.1 8B는 4.3GB, 슬라이딩 윈도 층이 있는 gpt-oss-20b는 0.8GB입니다. Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). KV 캐시를 q8_0이나 q4_0으로 양자화하면 줄일 수 있지만, Ollama는 서버를 띄울 때 OLLAMA_KV_CACHE_TYPE(f16·q8_0·q4_0)을 지정하고 플래시 어텐션을 켜야만 KV 캐시를 양자화합니다. 이 설정은 그 서버가 돌리는 모든 모델에 적용됩니다 (Ollama 문서, 2026-09-29 확인).

gpt-oss-20b나 Qwen3 30B-A3B 같은 MoE 모델은 같은 크기의 dense 모델보다 VRAM이 적게 드나요?

아니요, GPU에 올리는 데 필요한 메모리는 줄지 않습니다. 파일 전체가 메모리에 있어야 하기 때문입니다. 활성 파라미터가 적으면 토큰마다 하는 계산이 줄어들 뿐, 파일은 작아지지 않습니다. gpt-oss-20b는 8k에서 12.3GB가 필요해 RTX 5060 Ti 16GB에 전부 들어가고, 쾌적하게 돌아갑니다. 모델 카드에 적힌 ‘16GB 메모리 안에서 구동’이라는 설명과도 맞습니다. 대신 MoE 모델은 전문가 가중치 일부를 시스템 RAM에 두는 배치를 쓸 수 있습니다. llama.cpp에서는 --n-cpu-moe 옵션이 이 역할을 하고, 최신 llama.cpp와 Ollama는 이렇게 자동으로 나눠 올립니다. CanRun은 이 배치의 속도를 이론 추정으로 보여 줍니다.

시스템 RAM으로 부족한 VRAM을 메울 수 있나요?

어느 정도는 메울 수 있습니다. 런타임이 VRAM에 들어가지 않는 부분을 시스템 RAM에 두기 때문에 돌아가기는 하지만 느려집니다. 특히 dense 모델은 크게 느려져서, RTX 4060에서 Qwen3 14B는 겨우 돌아갑니다. 큰 MoE 모델은 시스템 RAM 용량 자체가 걸림돌입니다. gpt-oss-120b는 파일이 63.4GB라, 시스템 RAM이 32GB면 RTX 5090에서도 돌릴 수 없습니다. CanRun은 RAM 64GB·96GB·128GB 구성도 확인하는데, RTX 5090이라면 64GB부터 들어갑니다. 8GB 카드라면 96GB가 필요합니다. 실제로 어떻게 올라갔는지는 ollama ps의 PROCESSOR 열이나 llama.cpp 로그로 확인하세요.

출처

• llama.cpp 양자화 도구 README: Llama-3.1-8B 기준 양자화별 가중치당 비트 수와 파일 크기(Q4_K_M·IQ4_XS·Q8_0 등), 파일 크기 어림 규칙의 근거
• llama.cpp 서버 README: -ngl, --cpu-moe(MoE 가중치를 모두 CPU에 둠), --n-cpu-moe N(앞쪽 N개 층의 MoE 가중치를 CPU에 둠), -c, --cache-type-k(기본 f16, q8_0·q4_0 선택 가능) 옵션 설명
• llama.cpp 소스: 층 배치: 토큰 임베딩 표가 있는 입력층은 늘 CPU에 둔다는 코드
• llama.cpp 소스: Qwen3.5 모델 불러오기: MTP를 요청하지 않으면(기본값) MTP 층을 건너뛴다는 코드
• llama.cpp 소스: EXAONE 4 계열 모델 불러오기: MTP 층은 파일에 남아 있어도 아직 실행하지 않아 늘 건너뛴다는 코드
• llama.cpp PR #16653 (자동 배치): 기본으로 켜지는 --fit 옵션이 GPU 메모리를 최대한 쓰도록 설정을 자동으로 정한다는 설명, MoE 모델은 dense 가중치를 먼저 GPU에 두고 전문가 가중치를 필요한 만큼 CPU로 옮긴다는 설명, 2025년 12월 병합
• Ollama v0.30.0 릴리스 노트: 호환성과 성능을 위해 llama.cpp로 모델을 돌린다는 설명
• Ollama 컨텍스트 길이 문서: VRAM 구간별 기본 컨텍스트(4k·32k·256k), CPU 오프로드를 피하라는 권고, ollama ps로 확인하는 방법
• Ollama FAQ: ollama ps의 PROCESSOR 열(100% GPU·100% CPU·CPU/GPU 분할), KV 캐시 양자화(q8_0은 f16의 약 절반, q4_0은 약 4분의 1, 플래시 어텐션 필요), OLLAMA_NUM_PARALLEL에 따라 늘어나는 메모리
• gpt-oss-20b 모델 카드: 전체·활성 파라미터 수, MXFP4로 양자화한 MoE 가중치, 16GB 메모리 안에서 구동된다는 설명
• gpt-oss-120b 모델 카드: 전체·활성 파라미터 수, MXFP4, 80GB GPU 한 장에 들어간다는 설명
• Qwen3-30B-A3B-Instruct-2507 모델 카드: 전체·활성 파라미터 수, 전문가 128개 중 8개 활성, 48층, 기본 지원 컨텍스트 256k
• Qwen3-14B 모델 카드: 40층, KV 헤드 8개, 기본 지원 컨텍스트 32k
• Qwen3-32B 모델 카드: 64층, KV 헤드 8개, 기본 지원 컨텍스트 32k
• Llama 3.1 8B Instruct 모델 카드: 8B 파라미터, 128k 컨텍스트, 그룹 쿼리 어텐션(GQA)
• Llama 3.3 70B Instruct 모델 카드: 70B 파라미터, 128k 컨텍스트. 본문에서 Q4_K_M으로도 32GB에 들어가지 않는 예로 인용
• Gemma 3 12B 모델 카드: 128k 입력 컨텍스트. 카드 본문은 공개돼 있고, 파일을 받으려면 Google 라이선스 동의가 필요
• Gemma 3 기술 보고서(arXiv): 로컬 어텐션 층을 글로벌 층보다 많이 두고 로컬 범위를 짧게 잡아, 긴 컨텍스트에서 KV 캐시가 덜 늘어나게 한 설계
• llama.cpp의 gpt-oss 실행 안내 토론: RTX 카드별 llama-bench 결과. 본문의 RTX 5060 Ti 16GB·gpt-oss-20b 벤치마크 결과 출처
• Gemma 4 12B·Gemma 4 26B-A4B·Gemma 4 31B 모델 카드: 26B-A4B는 전문가 128개 중 8개와 공유 전문가 1개가 활성인 MoE, 로컬 슬라이딩 윈도 층(1024토큰)과 글로벌 어텐션 층을 섞어 배치, 컨텍스트 256k, 시스템 프롬프트로 켜지 않으면 생각 모드가 꺼져 있다는 설명
• Qwen3.6-27B·Qwen3.8-27B 모델 카드: 64층, Gated DeltaNet(선형 어텐션) 층 3개와 전체 어텐션 층 1개가 번갈아 나오는 구조, 기본 지원 컨텍스트 256k, 생각 모드가 기본으로 켜져 있고 요청마다 끌 수 있다는 설명
• Qwen3.6-35B-A3B 모델 카드: 전체 35B·활성 3B 파라미터, 전문가 256개 중 라우팅 8개와 공유 1개가 토큰마다 활성, 기본 지원 컨텍스트 256k, 생각 모드 기본 켜짐