로컬 LLM 가이드
내 PC나 맥에서 LLM을 돌리는 데 필요한 내용을 정리한 가이드입니다. 글에 나오는 수치는 GPU·모델·조합 페이지와 같은 데이터로 계산했습니다.
- 로컬 LLM 사양 — 그래픽카드 VRAM 8~32GB별로 돌릴 수 있는 모델 (2026)
로컬 LLM에 필요한 그래픽카드 사양을 VRAM 8·12·16·24·32GB별로 정리했습니다. 용량마다 돌아가는 모델과 필요한 메모리를 계산하는 법, 컨텍스트·양자화에 따라 달라지는 점을 함께 다룹니다.
2026년 10월 29일
- 올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값
Ollama가 긴 대화의 앞부분을 버리거나 느려지는 이유를 설명합니다. VRAM별 기본 컨텍스트 길이와 늘리는 방법, 늘렸을 때 더 드는 메모리도 정리했습니다.
2026년 10월 3일
- GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까
GGUF 양자화 단계마다 파일 용량이 얼마인지, 품질은 어떻게 나뉘는지 정리했습니다. 한 단계만 낮춰도 못 돌리던 모델이 돌아가는 경우를 데이터로 보여 줍니다.
2026년 10월 3일
- 한국 오픈 LLM 정리 — 엑사원·카나나·하이퍼클로바X·솔라 구동 사양
LG EXAONE, 카카오 Kanana, 네이버 HyperCLOVA X SEED, 업스테이지 Solar를 내 PC에서 돌리려면 무엇이 필요한지 정리했습니다. 모델 사양과 라이선스, 흔한 GPU·맥에서의 판정을 함께 봅니다.
2026년 10월 3일
- 맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까
맥의 통합 메모리 가운데 모델이 실제로 쓸 수 있는 양과 M4·M5 구성별로 돌아가는 모델을 정리했습니다. 속도를 좌우하는 메모리 대역폭도 함께 다룹니다.
2026년 10월 29일
- KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까
컨텍스트가 길어지면 왜 메모리가 더 드는지, 모델마다 KV 캐시가 토큰당 얼마나 차지하는지 정리했습니다. KV 캐시를 q8_0·q4_0으로 양자화하면 얼마나 줄어드는지도 다룹니다.
2026년 10월 25일
- AI·로컬 LLM용 그래픽카드 추천 — 예산별로 돌릴 수 있는 모델 (2026)
그래픽카드 VRAM 용량별로 돌아가는 로컬 LLM과 실거래가를 정리했습니다. 12GB와 8GB 카드, 신품 16GB와 24GB RTX 3090을 데이터로 비교하고, 시스템 RAM이 도움이 되는 경우도 다룹니다.
2026년 10월 15일
- 그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM
gpt-oss-120b 같은 MoE 모델을 8~32GB 그래픽카드로 돌릴 때 필요한 시스템 RAM을 카드별로 정리했습니다. 전문가를 RAM에 두는 llama.cpp·Ollama 설정과 RAM 속도의 영향도 다룹니다.
2026년 10월 15일
- OpenClaw·OpenCode를 로컬 모델로 — 에이전트에 필요한 컨텍스트와 VRAM
OpenClaw·OpenCode 같은 에이전트를 로컬 모델로 쓸 때 필요한 컨텍스트와, 16GB·24GB 그래픽카드에서 32k·64k가 들어가는 코딩 모델을 정리했습니다. 답이 늦게 시작되는 이유도 다룹니다.
2026년 10월 25일
- Ollama·LM Studio가 GPU를 안 쓸 때 — 100% GPU 확인과 오프로드 설정
Ollama·LM Studio가 모델을 GPU와 CPU에 어떻게 나눠 올렸는지 확인하는 법을 정리했습니다. GPU를 아예 못 잡을 때 볼 드라이버·백엔드 설정과, 메모리 필요량을 줄이는 순서도 다룹니다.
2026년 10월 15일
- 128GB 통합 메모리 미니PC 비교 — AI Max+ 395(스트릭스 헤일로)·DGX Spark·맥 스튜디오
128GB 스트릭스 헤일로·DGX Spark·맥 스튜디오에 들어가는 큰 모델과 GPU가 실제로 쓸 수 있는 메모리를 정리했습니다. 속도를 가르는 대역폭과 gpt-oss-120b 공개 벤치마크도 함께 봅니다.
2026년 10월 23일
- 올라마(Ollama)·llama.cpp·LM Studio 차이 — 같은 엔진, 다른 기본값
Ollama와 LM Studio는 모두 llama.cpp로 GGUF 모델을 돌립니다. 세 도구의 기본 컨텍스트, 동시 요청, GPU 배치가 메모리와 속도를 어떻게 바꾸는지, 같은 조건으로 맞추는 법을 정리했습니다.
2026년 10월 15일
- 생각 모드(리즈닝) 모델의 속도 비용 — 켜고 끄는 법
Qwen3·gpt-oss 같은 생각 모드 모델이 같은 GPU에서 더 느리게 느껴지는 이유와 CanRun이 속도 기준을 1.5배 엄격하게 잡는 이유를 정리했습니다. Ollama·llama.cpp에서 끄는 법도 다룹니다.
2026년 10월 22일
- 로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가
로컬 LLM의 생성 속도와 프롬프트 처리 속도가 무엇인지, 판정마다 필요한 속도와 메모리 대역폭·VRAM 초과가 속도를 정하는 이유, 내 PC에서 재는 법을 정리했습니다.
2026년 10월 25일
- 라데온·인텔 Arc로 로컬 LLM 돌리기 — ROCm·Vulkan과 돌아가는 모델
라데온 RX 9000·7000 계열과 인텔 Arc B580에서 돌아가는 로컬 LLM을 같은 용량의 NVIDIA 카드와 비교했습니다. Windows·Linux에서 ROCm·Vulkan·SYCL 중 무엇을 쓸 수 있는지도 정리했습니다.
2026년 10월 25일
- 노트북으로 로컬 LLM — 노트북 GPU는 이름이 같아도 VRAM이 다를 수 있다
RTX 40·50 노트북 GPU에서 돌아가는 로컬 LLM을 정리했습니다. 이름이 같은 데스크톱 카드보다 VRAM이 적은 경우와, 전력 제한·시스템 RAM에 따라 달라지는 점도 함께 다룹니다.
2026년 10월 15일
- 그래픽카드 2장으로 로컬 LLM — 메모리는 더해지고 속도는 더해지지 않는다
그래픽카드를 두 장 꽂으면 로컬 LLM에서 무엇이 달라지는지 정리했습니다. 한 장에 들어가는 모델은 빨라지지 않는 이유, RTX 3060 12GB 두 장과 RTX 3090 비교, llama.cpp·Ollama 설정을 다룹니다.
2026년 10월 15일
- 그래픽카드 없이 로컬 LLM — CPU와 시스템 RAM만으로 돌릴 수 있는 모델
그래픽카드 없이 CPU와 시스템 RAM만으로 돌아가는 로컬 LLM과 모델별로 필요한 RAM 용량을 정리했습니다. 속도를 정하는 RAM 대역폭과 CPU에서 유리한 MoE 모델도 다룹니다.
2026년 10월 15일
- 젬마 4(Gemma 4) 모델별 차이 — 12B·26B-A4B·31B 사양과 VRAM 비교
젬마 4 12B·26B-A4B·31B가 8~32GB 그래픽카드에서 어떻게 다른지 메모리와 속도로 비교했습니다. MoE 모델을 시스템 RAM과 나눠 돌리는 법과 Ollama gemma4 태그도 정리했습니다.
2026년 10월 21일
- Qwen3.6·Qwen3.8 비교 — 27B와 35B-A3B 차이, VRAM과 속도
Qwen3.6 27B·Qwen3.8 27B·Qwen3.6 35B-A3B를 8~32GB 그래픽카드에서 비교했습니다. 버전 사이에 달라진 점, dense와 MoE의 메모리·속도 차이, 16GB에 들어가는 양자화를 정리했습니다.
2026년 10월 19일
- 딥시크(DeepSeek) 로컬 사양 — R1 증류 모델 8B·14B·32B와 원본 R1을 돌리려면
딥시크 모델을 내 PC에서 돌릴 때 필요한 사양을 정리했습니다. 증류 모델 8B·14B·32B의 VRAM, 긴 추론에 드는 컨텍스트 메모리, DeepSeek V4 Flash에 필요한 메모리를 다룹니다.
2026년 10월 23일
- 올라마(Ollama)·LM Studio 사양 — 최소·권장 사양과 그래픽카드 VRAM별 추천 모델
Ollama와 LM Studio를 설치하고 돌리는 데 필요한 컴퓨터 사양(OS·CPU·GPU 조건)과, 모델 크기별로 드는 RAM·VRAM을 정리했습니다. 8~32GB 그래픽카드에서 받을 만한 모델도 함께 봅니다.
2026년 10월 21일
- DGX Spark LLM 추천 — 64GB·128GB에서 돌아가는 모델과 2대·4대 연결
DGX Spark 64GB·128GB 한 대에서 돌아가는 로컬 LLM과 GPU가 쓸 수 있는 메모리를 정리했습니다. 두 대·네 대를 이으면 llama.cpp와 vLLM에서 무엇이 달라지는지도 다룹니다.
2026년 10월 23일
- RTX 5060 Ti 16GB에서 직접 돌려 본 로컬 LLM — Ollama로 잰 속도와 CanRun 추정
RTX 5060 Ti 16GB에서 8B~14B 모델 네 개를 Ollama로 직접 쟀습니다. 측정 방법과 CanRun 추정과의 차이, 16GB 카드에 들어가는 모델을 정리했습니다.
2026년 10월 25일