내 PC로 돌릴 수 있는 로컬 LLM 찾기
하드웨어를 고르면 모델마다 판정과 추천 양자화, 예상 속도 범위를 보여 줍니다. 모델을 먼저 고르면 그 모델이 돌아가는 GPU를 찾아 드립니다.
목록에 없는 모델
Hugging Face 모델 주소나 이름(예: Qwen/Qwen3-4B)을 넣으면 그 모델도 같은 방식으로 계산합니다. 브라우저가 Hugging Face에 모델 정보를 직접 요청합니다.
모델 값을 직접 넣어 계산하기
모델 카드나 config.json에 적힌 숫자를 넣으면 그 모델도 같은 방식으로 계산합니다. 계산은 브라우저 안에서만 하고, Hugging Face에는 아무것도 요청하지 않습니다.
단위는 10억(B)입니다. 예를 들어 Llama 3.1 8B는 8.03입니다.
config.json의 num_hidden_layers입니다.
num_key_value_heads입니다(없으면 num_attention_heads). config.json에 num_global_key_value_heads가 있으면 그 값을 넣으세요.
head_dim입니다(없으면 hidden_size를 num_attention_heads로 나눈 값). config.json에 global_head_dim이 있으면 그 값을 넣으세요.
슬라이딩 윈도·선형 어텐션 층이 섞인 모델만 넣으세요. layer_types에서 full_attention인 층의 개수입니다. 비우면 모든 층으로 계산합니다.
config.json의 max_position_embeddings에 가장 가까운 값을 고르세요. 모르면 ‘모름’을 고르세요.
결과
위에서 GPU나 칩을 고르면 결과가 나옵니다.
많이 쓰는 하드웨어에서 돌아가는 모델
아래는 많이 쓰는 하드웨어 여섯 가지에서 계산기가 크기 구간마다 맨 위에 보여 주는 모델입니다. 위에서 같은 하드웨어를 고르고 크기 필터를 그 구간 하나만 켜면 같은 카드가 나옵니다. 인기 있는 모델은 여러 하드웨어에서 맨 위에 오기 때문에, 같은 모델이 하드웨어마다 어떻게 돌아가는지 비교해 볼 수 있습니다. 하드웨어마다 GPU에 전부 올라가는 가장 큰 모델도 함께 적었습니다.
그래픽카드는 한 장만 꽂고 화면 출력도 그 카드가 맡는다고 보고 계산했습니다. 시스템 RAM은 32GB(DDR5-5600), 운영체제는 Windows입니다. 컨텍스트는 모두 8k, KV 캐시는 f16으로 GPU 페이지와 같은 조건에서 계산했습니다.
GeForce RTX 4060
VRAM 8GB · RAM 32GB
58개 모델 가운데 30개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 풀 GPU추정 31.0 tok/s27.3–34.7보정된 추정 ±12%
- 10B~25B 미만
- gpt-oss-20b원활생각 모드MXFP4 · MoE 전문가 RAM 배치추정 36.9 tok/s25.9–48.0이론 추정 ±30%
- 25B~50B 미만
- Qwen3.5 35B-A3B원활생각 모드Q4_K_M · MoE 전문가 RAM 배치추정 39.3 tok/s27.5–51.1이론 추정 ±30%
- 50B 이상
- 불가이 크기 모델 10개 모두양자화를 더 낮추면 그중 1개는 돌아갑니다.시스템 RAM 64GB라면 Kolibri 1:원활
GeForce RTX 3060 12GB
VRAM 12GB · RAM 32GB
58개 모델 가운데 35개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 풀 GPU51.9 tok/s8k 추정 41.1 tok/s (36.1–46.0, 보정된 추정 ±12%)실측 1건 (32k 컨텍스트)
- 10B~25B 미만
- gpt-oss-20b원활생각 모드MXFP4 · MoE 전문가 RAM 배치추정 63.9 tok/s44.8–83.1이론 추정 ±30%
- 25B~50B 미만
- Qwen3.5 35B-A3B원활생각 모드Q4_K_M · MoE 전문가 RAM 배치추정 49.4 tok/s34.6–64.2이론 추정 ±30%
- 50B 이상
- 불가이 크기 모델 10개 모두양자화를 더 낮추면 그중 2개는 돌아갑니다.시스템 RAM 64GB라면 Kolibri 1:원활
GeForce RTX 5060 Ti 16GB
VRAM 16GB · RAM 32GB
58개 모델 가운데 37개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 풀 GPU추정 51.1 tok/s45.0–57.2보정된 추정 ±12%
- 10B~25B 미만
- gpt-oss-20b쾌적생각 모드MXFP4 · 풀 GPU111.6 tok/s8k 추정 104.3 tok/s (83.5–125.2, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)
- 25B~50B 미만
- Qwen3.5 35B-A3B원활생각 모드Q4_K_M · MoE 전문가 RAM 배치추정 62.4 tok/s43.7–81.1이론 추정 ±30%
- 50B 이상
- 불가이 크기 모델 10개 모두양자화를 더 낮추면 그중 3개는 돌아갑니다.시스템 RAM 64GB라면 Kolibri 1:원활
GeForce RTX 3090
VRAM 24GB · RAM 32GB
58개 모델 가운데 48개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 풀 GPU추정 106.7 tok/s93.9–119.5보정된 추정 ±12%
- 10B~25B 미만
- gpt-oss-20b쾌적생각 모드MXFP4 · 풀 GPU162.0 tok/s8k 추정 201.1 tok/s (160.9–241.3, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)
- 25B~50B 미만
- Qwen3.5 35B-A3B쾌적생각 모드Q4_K_M · 풀 GPU추정 148.8 tok/s119.1–178.6보정된 추정 ±20%
- 50B 이상
- 불가이 크기 모델 10개 모두양자화를 더 낮추면 그중 4개는 돌아갑니다.시스템 RAM 64GB라면 Kolibri 1:원활
Apple M4 Pro
통합 메모리 64GB · macOS
58개 모델 가운데 38개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 통합 메모리37.0 tok/s8k 추정 33.8 tok/s (27.0–40.6, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트)
- 10B~25B 미만
- gpt-oss-20b쾌적생각 모드MXFP4 · 통합 메모리추정 69.9 tok/s55.9–83.9보정된 추정 ±20%
- 25B~50B 미만
- Qwen3.5 35B-A3B쾌적생각 모드Q4_K_M · 통합 메모리추정 60.3 tok/s48.3–72.4보정된 추정 ±20%
- 50B 이상
- Kolibri 1겨우 가능생각 모드Q4_K_M · CPU 전용추정 49.5 tok/s34.6–64.3이론 추정 ±30%
Ryzen AI Max+ 395 (Strix Halo)
통합 메모리 128GB · Linux
58개 모델 가운데 46개가 쾌적하거나 원활하게 돌아갑니다.
- 10B 미만
- Qwen3.5 9B쾌적생각 모드Q4_K_M · 통합 메모리37.2 tok/s8k 추정 34.2 tok/s (27.4–41.0, 보정된 추정 ±20%)실측 1건 (4k 컨텍스트)
- 10B~25B 미만
- gpt-oss-20b쾌적생각 모드MXFP4 · 통합 메모리추정 68.6 tok/s54.8–82.3보정된 추정 ±20%
- 25B~50B 미만
- Qwen3.5 35B-A3B쾌적생각 모드Q4_K_M · 통합 메모리64.8 tok/s8k 추정 56.0 tok/s (44.8–67.2, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)
- 50B 이상
- gpt-oss-120b쾌적생각 모드MXFP4 · 통합 메모리50.2 tok/s8k 추정 48.5 tok/s (38.8–58.1, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
결과 읽는 법
위에서 GPU나 맥 칩, CPU를 고르거나 사양을 직접 넣으면 카탈로그의 모든 모델이 카드로 나옵니다. 쾌적하거나 원활하게 돌아가는 모델을 먼저 보여 주는데, 크기 구간이 큰 모델부터, 같은 구간이면 인기 있는 모델부터 놓습니다.
- 판정
- 그 하드웨어에서 모델을 얼마나 쓸 만한지 Q4_K_M 파일을 기준으로 네 단계로 매깁니다. 이 파일이 없는 모델은 가장 가까운 파일로 판정합니다(gpt-oss는 MXFP4). ‘쾌적’은 글을 읽는 속도보다 빠르게 답이 나오는 경우입니다. ‘불가’는 메모리가 모자라거나 너무 느려서 쓰기 어려운 경우입니다. 단계별 기준은 아래 표에 있습니다.
- 추천 양자화
- 받으면 되는 GGUF 파일입니다. 보통은 판정 기준 파일과 같고, 그 파일을 돌릴 수 없으면 가장 잘 돌아가는 파일로 바꿔 보여 줍니다.
- 예상 속도
- 답을 써 내려가는 속도(tok/s)입니다. 범위로 보여 주고 신뢰 라벨을 붙이는데, 라벨의 뜻은 아래 자주 묻는 질문에 있습니다.
- 메모리
- 앞의 숫자는 모델과 컨텍스트, 작업 버퍼를 더한 사용량입니다. 화면 출력을 맡은 그래픽카드라면 OS가 화면에 쓰는 몫도 더합니다. 뒤의 숫자는 그래픽카드면 VRAM 전체, 맥·통합 메모리 PC면 GPU가 쓸 수 있다고 보는 몫입니다. 이 몫은 메모리의 70%로 보고, DGX Spark만 Linux와 데스크톱이 쓰고 남은 양으로 봅니다. 그래서 설치된 메모리에는 들어가는 모델도 CPU로만 돌아갈 수 있습니다. 모델 일부를 시스템 RAM에 두면 그 양도 함께 적습니다.
- 실행 방식
- 모델을 어디에 올리는지 보여 줍니다.
- 풀 GPU: 모델 전체를 그래픽카드 메모리(VRAM)에 올립니다.
- 통합 메모리: 맥이나 통합 메모리 PC에서 모델 전체를 GPU에 올립니다.
- 부분 오프로드: 모델을 GPU와 시스템 RAM에 나눠 올립니다.
- MoE 전문가 RAM 배치: VRAM에 다 들어가지 않는 MoE 전문가를 시스템 RAM에 둡니다.
- CPU 전용: GPU를 쓰지 않고 CPU로만 돌립니다. 맥·통합 메모리 PC에서는 모델이 GPU가 쓸 수 있는 몫보다 크면 이렇게 계산합니다.
- 늘릴 수 있는 컨텍스트
- 판정과 실행 방식이 그대로인 채로 늘릴 수 있는 가장 긴 컨텍스트입니다.
- 상세
- 결과 카드의 모델이 고른 GPU에서 어떻게 돌아가는지 자세히 보는 페이지로 갑니다. 양자화별 결과와 컨텍스트 길이별 표, Ollama·llama.cpp 실행 명령이 있습니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
계산기도 처음에는 위 예시와 같은 조건으로 계산합니다. 맥과 통합 메모리 PC는 그 칩의 가장 큰 메모리 용량으로 시작합니다. 내 PC와 다른 항목이 있으면 바꿔 보세요.
그래픽카드를 새로 고르는 중이라면 ‘모델로 GPU 찾기’로 바꿔 보세요. 돌리고 싶은 모델을 고르면 어떤 GPU·맥·CPU에서 돌아가는지 보여 줍니다. 쾌적하거나 원활하게 돌리는 GPU 가운데 실거래가가 가장 저렴한 GPU도 함께 알려 줍니다.
자주 묻는 질문
예상 속도는 얼마나 정확한가요?
모든 속도에는 오차 범위와 신뢰 라벨을 붙입니다. 실측은 같은 GPU·모델·양자화로 잰 공개 벤치마크입니다. 보정된 추정은 메모리 대역폭으로 계산한 값을 공개 벤치마크 결과에 맞춘 것으로, NVIDIA·AMD 카드에 dense 모델을 전부 올린 경우 ±12%, 그 밖에는 ±20%입니다. 이론 추정(±30%)은 실측으로 보정하지 못한 경우입니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 이 범위 안에서 달라집니다.
그래픽카드를 두 장 이상 꽂아도 계산할 수 있나요?
네, 베타 기능으로 계산할 수 있습니다. 그래픽카드를 고른 뒤 ‘GPU 수’를 늘리면 됩니다. NVIDIA나 AMD 데스크톱 카드라면 ‘다른 GPU 함께 쓰기’로 같은 제조사의 다른 카드를 더할 수도 있습니다. VRAM은 합쳐지지만 메모리 대역폭은 합쳐지지 않아서, 한 장에 다 들어가는 모델은 더 빨라지지 않습니다. 대신 한 장에 들어가지 않는 큰 모델도 GPU에 다 올릴 수 있습니다. 서로 다른 카드를 섞으면 느린 카드에 올라간 몫만큼 전체 속도가 떨어집니다. 여러 카드에 나눠 올린 속도는 모두 이론 추정(±30%)으로 보여 줍니다.
내 하드웨어 정보가 어딘가로 전송되나요?
아니요. GPU 감지와 계산은 모두 브라우저 안에서 이루어지고, 따로 서버를 두지 않습니다. 공유 링크에는 직접 고른 GPU, RAM, 설정만 URL 파라미터로 들어갑니다.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.