CanRun

업데이트 소식: 새 모델과 바뀐 기능

CanRun은 자주 바뀝니다. 새 모델이 들어오고, 계산기에 기능이 붙고, 계산이 틀린 부분을 찾아 고치기도 합니다. 이 페이지에는 사이트를 쓰면서 느낄 만한 변화를 최신순으로 적었습니다. 그 아래에는 모델마다 카탈로그에 들어온 날짜를 모아 두었습니다. 지금의 계산 방식은 계산 방법 페이지에서 볼 수 있습니다.

바뀐 기능과 고친 계산

DGX Spark 두 대·네 대 연결

DGX Spark 페이지와 모델별 DGX Spark 페이지에 ConnectX-7로 두 대·네 대를 이었을 때의 판정을 더했고, 계산기에서는 한 대부터 네 대까지 고를 수 있으며 기기마다 띄울 llama.cpp 명령도 보여 줍니다. 이 판정은 llama.cpp RPC로 층을 기기마다 나눠 올린다고 보고 계산합니다. 메모리는 합쳐지지만 토큰마다 모든 기기를 차례로 지나고 기기를 건널 때마다 시간이 더 들어서(두 대를 TCP로 이은 공개 결과에서 구한 값), CanRun의 한 대 추정보다 빨라지지 않고 빠른(작은) 모델일수록 더 많이 느려집니다. 모두 이론 추정이고, NVIDIA 안내에서 쓰는 vLLM 텐서 병렬은 더 빠를 수 있습니다. 그날 8k 컨텍스트에서 64GB 한 대에는 올라가지 않던 gpt-oss-120b가 두 대에서 '쾌적'으로, 128GB 한 대에 들어가지 않던 Q4_K_M GLM-5.3-Flash가 두 대에서 '원활'로 계산됐습니다.

DGX Spark 64GB 구성과 협력 제조사 제품, GPU가 쓸 수 있는 메모리

DGX Spark를 이제 64GB와 128GB 두 구성으로 계산하고, ASUS Ascent GX10이나 Lenovo ThinkStation PGX처럼 협력 제조사가 같은 GB10 기기로 낸 제품 이름으로도 계산기에서 찾을 수 있습니다. GPU 몫은 맥과 스트릭스 헤일로에 쓰는 70% 대신, 사용자들이 공개한 부팅 기록 가운데 가장 낮은 값에서 Linux와 데스크톱이 쓰는 몫을 뺀 양으로 바꿨고, 모델이 CPU로 넘어갈 때도 같은 한도를 씁니다. 그날 8k 컨텍스트에서 128GB 구성의 Solar Open 2 250B Q2_K 파일은 CPU 전용 '겨우 가능'에서 GPU '원활'로 올랐고, DeepSeek V4 Flash 0731 Q2_K 파일은 CPU 전용 '겨우 가능'에서 '불가'로 바뀌었습니다. 64GB 구성에서는 Q4_K_M Llama 3.3 70B가 8k 컨텍스트에서 GPU에 전부 올라간다고 계산됐습니다. 64GB 구성에서도 128GB와 같은 판정이 나오는 모델은 모델 페이지와 그 모델의 DGX Spark 페이지가 64GB 구성을 기준으로 보여 줍니다.

희소 어텐션과 선형 어텐션을 섞은 모델도 계산합니다

GLM-5.3 Flash는 선형 어텐션 층과 희소 어텐션 층을 섞은 모델인데, 이제 이 구조도 계산하고 KV 캐시는 희소 어텐션 층에만 셉니다. 그래서 컨텍스트가 길어져도 메모리가 크게 늘지 않고, 그날 8k 컨텍스트에서 M3 Ultra 512GB는 Q4_K_M 파일이 GPU에 전부 올라가지만 256GB는 Q2_K 파일만 올라간다고 계산됐습니다. 이 모델의 GGUF 파일은 Q4_K_M을 llama.cpp가 같은 형식에 붙이는 짧은 이름 Q4_K로 적어 두는데, 파일 이름에 Q4_K_M이 없어도 헤더로 형식을 확인한 뒤 Q4_K_M 행으로 읽고 명령에는 파일 이름의 태그를 그대로 씁니다. llama.cpp는 이 모델의 희소 어텐션 인덱서가 쓸 메모리를 요청 슬롯 수에 비례해 잡기 때문에, llama-server가 기본으로 여는 슬롯 4개로는 추정보다 메모리가 더 들어서 이 모델의 llama.cpp 명령에는 -np 1을 붙였습니다. 이 모델이 층마다 더 하는 연산은 속도식에 들어 있지 않고 최근 llama.cpp 빌드로 잰 공개 결과도 모두 추정보다 느렸기 때문에, 모든 조합을 이론 추정으로 표시하고 판정은 표시된 추정보다 8%쯤 낮은 속도로 정합니다.

압축 어텐션 모델도 계산합니다

DeepSeek V4 Flash 0731은 층마다 KV 캐시를 여러 토큰씩 묶어 압축해 저장하는 모델인데, 이제 이 구조도 계산하고 모델 페이지에 압축 어텐션이라고 표시합니다. llama.cpp는 이 캐시를 요청 슬롯마다 따로 잡기 때문에, KV 캐시는 슬롯 하나 기준으로 세고 이 모델의 llama.cpp 명령에도 슬롯을 하나만 여는 -np 1을 붙였습니다. 그날 8k 컨텍스트에서 M3 Ultra 256GB는 MXFP4 파일이 GPU에 전부 올라간다고 계산됐습니다. Q4_K_M 파일이 없는 GGUF 저장소는 이제 MXFP4를 기준 양자화로 쓰며, 계산기에서 Hugging Face 모델을 불러올 때도 마찬가지입니다. 이 모델이 층마다 더 하는 연산은 속도식에 들어 있지 않고 지금 llama.cpp 빌드로 잰 공개 실측 한 건도 추정보다 느렸기 때문에, 모든 조합을 이론 추정으로 표시합니다.

같은 층을 되풀이해 쓰는 모델도 계산합니다

Nanbeige4.2 3B는 토큰마다 같은 가중치로 22개 층을 두 번 지나는 모델인데, 이제 이 구조도 계산합니다. llama.cpp는 지날 때마다 KV 캐시를 따로 두기 때문에, 긴 컨텍스트에서는 작은 모델인데도 훨씬 큰 모델만큼 KV 캐시 메모리가 듭니다. 그래서 8GB인 RTX 4060에서 32k 컨텍스트의 Q4_K_M은 부분 오프로드로 계산됐습니다. llama.cpp는 지날 때마다 층을 따로 세므로, 모델 일부를 CPU에 두는 명령에서는 -ngl 값이 층 수보다 큽니다. 속도는 되풀이하는 층을 두 번 읽는다고 보고 계산하는데, 근거가 공개 실측 한 건뿐이라 이 모델은 모든 조합을 이론 추정으로 표시합니다.

K2-Horizon 두 모델을 계산합니다 — 값 전문가(MoVA) 구조 반영

llama.cpp가 K2-Horizon을 지원하면서 K2-Horizon 7B와 K2-Horizon MoVA 36B-A4B를 계산할 수 있게 됐습니다. MoVA 36B-A4B는 앞쪽 3개 층을 뺀 MoE 층마다 어텐션의 값을 여러 값 전문가 가운데 몇 개로 만드는데, llama.cpp는 MoE 전문가를 시스템 RAM으로 보낼 때도 이 값 전문가는 그래픽카드에 남깁니다. CanRun도 같은 자리에 두고 계산해 보니, 8k 컨텍스트의 Q4_K_M은 8GB인 RTX 4060에서는 MoE 전문가를 RAM에 두어도 들어가지 않아 CPU 전용으로 계산됐고, 16GB인 RTX 5060 Ti에서는 MoE 전문가를 RAM에 두고 '원활'로 나왔습니다. 그래픽카드에서 돌릴 때의 속도는 토큰마다 고른 값 전문가만 읽는다고 보고 계산하지만, 공개 벤치마크가 아직 없고 값 전문가를 고르는 데 드는 짧은 시간도 따로 세지 않아서 이 모델은 모든 조합을 이론 추정으로 표시합니다.

Gemma 4 E4B·E2B도 계산합니다

ollama run gemma4가 기본으로 받는 Gemma 4 E4B와 더 작은 Gemma 4 E2B를 이제 계산합니다. 두 모델에는 층마다 쓸 임베딩을 따로 담은 큰 표가 있는데, CanRun은 llama.cpp처럼 이 표를 그래픽카드가 아닌 시스템 RAM 몫으로 셉니다. 그렇게 계산하니 8k 컨텍스트에서는 두 모델 모두 Q4_K_M이 8GB인 RTX 4060에 전부 들어갔습니다. 공개 벤치마크가 있는 RTX 5090 같은 조합을 빼면 속도는 이론 추정입니다. 젬마 4 모델별 차이 가이드에서도 두 모델을 다룹니다.

Apple M6를 추가했습니다

새 맥 미니에 들어간 Apple M6를 16·24·32GB 구성으로 추가했습니다. 16GB 구성은 24·32GB 구성보다 메모리 대역폭이 낮아서, 이제 구성마다 그 구성의 대역폭으로 판정과 속도를 계산합니다. 32GB 맥 미니의 공개 llama.cpp 벤치마크 결과도 넣었습니다.

중국어(간체) 화면을 더했습니다

모든 페이지 위쪽 언어 선택에 English, 한국어와 함께 中文이 생겼습니다. 계산기와 모델·GPU 목록, 모든 GPU·모델·조합·비교 페이지를 중국어로 볼 수 있고, 메뉴와 표, 판정 같은 화면 문구는 번역기로 옮겼습니다. 가이드와 이 페이지 같은 글은 사람이 따로 쓰기 때문에 영어와 한국어로만 두었고, 그래서 중국어 페이지 맨 아래 링크는 영어판으로 이어집니다.

새 가이드 4편과 GPU 비교 페이지를 더했습니다

많이 찾는 질문에 답하는 가이드 4편을 새로 썼습니다. 젬마 4 모델별 차이, Qwen3.6과 Qwen3.8 비교, 내 PC에서 돌아가는 딥시크 R1, 올라마·LM Studio 사양입니다. RTX 5060 Ti 16GB와 RTX 5070처럼 자주 비교하는 그래픽카드 12쌍의 GPU 비교 페이지도 만들었습니다. 두 카드를 모든 모델에서 나란히 놓고, 어느 모델에서 판정이 갈리는지 설명합니다. ollama run deepseek-r1로 실제로 받는 모델도 계산할 수 있게 딥시크 모델 2종을 추가했습니다.

GPU·모델·조합 페이지에 계산기 칸을 붙였습니다

GPU·모델·조합 페이지 위쪽, 제목 아래에 작은 계산기 칸을 붙였습니다. 그 페이지의 GPU와 모델이 미리 들어가 있어서 한 번만 누르면 계산기가 열리고, 거기서 RAM과 컨텍스트 길이를 바꾸거나 다른 GPU·모델로 바꿔 볼 수 있습니다. 모델 페이지에서는 GPU 칸을 비워 두고 누르면 그 모델이 GPU마다 얼마나 잘 돌아가는지 볼 수 있습니다. RTX 4060이나 Qwen3 14B 페이지에서 써 볼 수 있습니다.

모델 페이지 맨 위에 모델 소개를 붙였습니다

모델 페이지 맨 위에 어떤 모델인지 짧게 소개하는 글을 붙였습니다. 누가 언제 공개했는지, 어디에 쓰려고 만들었는지, 생각 모드가 기본으로 켜져 있는지, 라이선스는 어떤지 적었습니다. 내용은 모두 모델 카드나 제작사의 출시 글에서 가져왔고, 소개 바로 아래에 그 링크를 달았습니다. Qwen3 8B나 EXAONE 4.5 33B 페이지에서 볼 수 있습니다. 새로 들어오는 모델에도 대개 카탈로그에 들어온 날 소개를 붙입니다.

모델 목록과 GPU·맥·PC 목록을 만들었습니다

CanRun이 다루는 모델과 하드웨어를 한눈에 보는 페이지 두 개를 만들고, 모든 페이지 맨 위 메뉴에 넣었습니다. 모델 목록에는 모든 모델의 크기·필요 메모리·공개일·생각 모드·라이선스·최대 컨텍스트·다운로드 수를 한 표에 모았습니다. 정렬할 수 있고, 필요 메모리나 한국 모델·MoE 모델·생각 모드로 골라 볼 수도 있습니다. GPU·맥·PC 목록은 그래픽카드·맥 칩·CPU 구성을 종류별로 묶어 메모리·대역폭·가격을 보여 줍니다. 기기마다 쾌적하게, 또 원활하게 돌아가는 모델 수를 셌고, 메모리 용량별로 가장 싼 그래픽카드도 골라 두었습니다.

프롬프트 처리 추정이 모델 크기를 반영합니다

조합 페이지의 프롬프트 처리 추정은 그래픽카드마다 7B 모델에 맞춘 값 하나여서, 같은 카드면 1B 모델과 70B 모델의 프롬프트 처리 속도가 같게 나왔습니다. 이제 이 값을 모델 크기로 나누고, MoE 모델은 한 번에 읽는 프롬프트 토큰이 전문가마다 나뉘는 만큼 활성 파라미터보다 큰 모델처럼 계산합니다. 최근 llama.cpp 빌드로 잰 공개 벤치마크 91건에 맞추면서 NVIDIA·AMD·Strix Halo의 계수도 다시 정했고, 라데온 카드는 AMD가 밝힌 FP16 행렬 연산 성능(RX 9000 시리즈는 보통 쓰는 FP16 값의 두 배)을 씁니다. RTX 4090에서 Qwen3 32B는 예전 값의 4분의 1이 조금 안 되게, Llama 3.2 1B는 5배쯤으로 바뀌었고, DGX Spark에도 이제 프롬프트 처리 추정이 나옵니다. 생성 속도와 판정은 그대로입니다.

Strix Halo 속도 추정을 고쳤습니다

Ryzen AI Max+ 395(Strix Halo)의 효율 계수는 근거가 분명하지 않은 예전 값이어서, 지금 llama.cpp 빌드에서 dense 모델 속도를 낮게 잡았습니다. 지금 빌드의 Vulkan 공개 결과에 계수를 다시 맞추고, MoE 모델에서 전문가마다 드는 고정 시간도 함께 다시 맞췄습니다. dense 모델은 4분의 1쯤 빨라졌고, Qwen3 8B 같은 8B 모델은 ‘원활’에서 ‘쾌적’으로 바뀌었습니다. MoE 모델은 많게는 5분의 1쯤 바뀌었는데, gpt-oss-20b처럼 빨라진 모델도 있고 Qwen3 30B-A3B처럼 조금 느려진 모델도 있습니다. 계수는 Vulkan 백엔드 기준이고, 같은 기기로 비교한 공개 결과에서 ROCm은 3~12% 느렸습니다.

MoE 모델 속도 추정을 고쳤습니다

MoE 모델의 속도는 하드웨어 종류마다 따로 정한 효율 계수로 추정했고, 토큰마다 읽는 양에서 공유 층을 대부분 빠뜨렸습니다. 이제 읽는 양은 파일 헤더로 세고, 층마다 전문가 하나를 돌릴 때 드는 고정 시간을 최근 llama.cpp 빌드의 공개 벤치마크에 맞춰 따로 더합니다. 최상위 NVIDIA 그래픽카드의 작은 MoE 모델은 이제 일정한 상한에 묶이지 않고, 맥의 큰 MoE 모델은 전보다 빠르게 나옵니다. Q4_K_M 기준으로 24GB 애플 M4의 gpt-oss-20b는 ‘원활’에서 ‘쾌적’으로 바뀌었습니다. 8GB 그래픽카드에서 전문가를 시스템 RAM에 두는 조합 몇 개는 ‘겨우 가능’에서 ‘원활’로 바뀌었습니다.

애플 칩의 연산 성능 값을 고쳤습니다

애플은 칩의 GPU 연산 성능을 밝히지 않는데, 그동안 보여 드린 값은 GPU가 FP16을 두 배 속도로 처리한다고 보고 FP32 이론값을 두 배로 잡은 것이었습니다. 애플 GPU는 FP16을 FP32와 같은 속도로 처리하므로, 이제 GPU·모델 페이지에는 위키백과 'Apple silicon' 표의 이론값이 그대로 나옵니다(전보다 절반쯤). 프롬프트 처리 계수는 이 값으로 같은 공개 벤치마크에 다시 맞춰서 추정이 7% 안쪽으로만 바뀌었고, 값이 없던 애플 M5 Ultra에도 이제 프롬프트 처리 추정이 나옵니다. 생성 속도와 판정은 그대로입니다.

맥의 프롬프트 처리 속도 추정을 고쳤습니다

애플 칩의 프롬프트 처리 속도는 GPU 연산 성능에 계수 하나를 곱해 모든 칩을 추정했습니다. 그런데 M5 계열은 GPU 코어마다 행렬 연산 가속기가 들어 있어서 llama.cpp의 애플 공개 벤치마크에서 같은 연산 성능으로 이전 칩보다 프롬프트를 3배쯤 빨리 읽기 때문에, 계수 하나로는 M5 계열은 낮게, 나머지 칩은 높게 추정했습니다. 이제 M5 계열에는 따로 맞춘 계수를 써서 프롬프트 처리 추정이 70%쯤 올랐고, M4 계열과 Ultra 칩은 40%쯤 내려갔습니다. 애플 M5 Max(40코어 GPU)의 추정은 이제 그 벤치마크 결과와 가깝습니다. 생성 속도와 판정은 그대로입니다.

애플 M5 Ultra를 넣었습니다

새 맥 스튜디오에 들어간 애플 M5 Ultra를 계산기와 GPU 목록에 넣었습니다. 메모리는 지금 팔리는 96GB·256GB 구성으로 계산합니다. 애플이 FP16 연산 성능을 밝히지 않아서, 이 칩의 조합 페이지에는 프롬프트 처리 속도 추정이 없습니다. GPU 페이지에는 llama.cpp 토론에 올라온 Llama 2 7B 공개 벤치마크 결과도 실었습니다.

가이드 12편을 새로 올렸습니다

자주 받는 질문을 가이드 12편으로 정리했습니다. 예산에 맞는 그래픽카드 고르기, 그래픽카드보다 큰 MoE 모델을 시스템 RAM으로 돌리기, 노트북 GPU와 그래픽카드 2장, 128GB 통합 메모리 기기 비교, CPU만으로 돌리기 같은 주제입니다. 예산별 그래픽카드와 MoE 모델과 시스템 RAM이 그 예이고, 전체 목록은 가이드에 있습니다. 가이드 속 숫자는 GPU·모델 페이지와 같은 데이터에서 나오고, 본문에서 모델과 하드웨어를 짚어 적은 판정은 사이트를 새로 만들 때마다 데이터와 맞는지 확인합니다.

맥의 속도 추정을 올렸습니다

애플 칩에서 dense 모델의 속도 추정은 예전 llama.cpp 빌드로 잰 공개 벤치마크에 맞춰져 있었는데, 그 빌드는 지금 빌드보다 눈에 띄게 느립니다. 이제는 M5 계열과 Ultra 칩을 지금 빌드로 잰 결과에 맞춰, dense 모델 추정이 기본·Pro·Max 칩은 4분의 1쯤, Ultra 칩은 3분의 1 가까이 올랐습니다. 128GB 애플 M4 Max(40코어 GPU)에서 Q4_K_M Llama 3.3 70B는 '겨우 가능'에서 '원활'로 올라갔고, 16GB M4의 Qwen3 8B도 마찬가지였습니다. 맥의 MoE 모델 추정은 그대로입니다.

많이 찾는 GPU·모델 페이지에 소개 글을 붙였습니다

많이 찾는 GPU 페이지 10개와 인기 모델 페이지 10개 맨 위에 직접 쓴 짧은 소개 글을 붙였습니다. GeForce RTX 4060이나 gpt-oss-20b 페이지가 그 예입니다. 어떤 양자화 파일을 받아야 GPU에 다 올라가는지, MoE 모델의 전문가를 시스템 RAM에 둘 수 있는지, 노트북용이나 8GB판 카드는 무엇이 다른지처럼 표만 봐서는 알기 어려운 점을 짚었습니다. 소개 글의 숫자는 표와 같은 데이터에서 나오고, 모델과 하드웨어를 짚어 적은 판정은 사이트를 새로 만들 때마다 데이터와 맞는지 확인합니다.

계산기 페이지에서 결과 예시를 바로 볼 수 있습니다

이제 계산기 페이지를 열면 하드웨어를 고르기 전에도 결과 예시가 보입니다. 8GB 그래픽카드부터 128GB 통합 메모리 PC까지 많이 쓰는 하드웨어 여섯 가지를 골랐습니다. 하드웨어마다 크기 구간별로 계산기가 맨 위에 보여 주는 모델과 그 판정, 예상 속도 범위를 적었습니다. GPU에 전부 올라가는 가장 큰 모델도 함께 보여 줍니다. 그 아래에는 결과 카드의 주요 항목을 풀어 쓴 ‘결과 읽는 법’을 붙였습니다.

새 모델을 매일 찾아봅니다

매일 Hugging Face에서 최근 2주 안에 나온 오픈 모델을 찾아봅니다. 주요 제작사가 냈거나 이미 다운로드가 많은 모델 가운데, 지금 계산할 수 있는 구조이고 Q4_K_M GGUF 파일이 있는 모델을 카탈로그에 넣습니다. 생각 모드가 있는지는 채팅 템플릿과 모델 카드를 보고 추정하고, 추가한 모델은 데이터 검사와 테스트, 전체 빌드를 통과해야 사이트에 올라갑니다. 이 방식으로 처음 들어온 모델은 MiniCPM-V 4.7 35B-A3B입니다. 아직 계산할 수 없는 구조의 모델은 llama.cpp와 CanRun 계산이 지원한 뒤에 넣습니다.

계산기 결과 정렬 방식이 세 가지 늘었습니다

예전에는 GPU를 고르면 판정과 속도 순으로 모델을 보여 드려서, 늘 가장 작은 모델이 맨 위에 왔습니다. 새 기본값인 '추천순'은 쾌적하거나 원활하게 돌아가는 모델을 먼저 보여 주고, 그중에서는 크기 구간이 큰 모델과 인기 있는 모델을 앞에 놓습니다. '인기순'은 CanRun이 모델마다 매긴 다섯 단계 점수를 씁니다. '다운로드 많은 순'은 원본 모델의 최근 30일 Hugging Face 다운로드 수로 정렬하며, GGUF 파일 다운로드는 세지 않습니다. 예전 순서도 '판정·속도 순'으로 고를 수 있습니다.

쿠키 없는 방문 통계를 쓰기 시작했습니다

어떤 페이지가 많이 읽히는지, 방문자가 어디에서 들어오는지 보려고 Cloudflare Web Analytics를 쓰기 시작했습니다. 쿠키를 쓰지 않고, 저희는 합계만 봅니다. 브라우저가 어떤 정보를 보내는지는 개인정보처리방침에 자세히 적어 두었습니다.

모델을 고르면 돌릴 수 있는 GPU를 보여 드립니다

이제 계산기를 반대 방향으로도 쓸 수 있습니다. '모델로 GPU 찾기'에서 모델을 고르면 카탈로그에 있는 모든 GPU·맥·CPU 구성의 판정과 속도 범위, 가격이 나옵니다. 종류와 예산, 최소 판정으로 목록을 거를 수 있고, 내 구성은 맨 위에 고정됩니다. 모델 페이지마다 이 화면으로 바로 가는 링크도 달았습니다.

서로 다른 그래픽카드를 함께 계산할 수 있습니다

'다른 GPU 함께 쓰기'를 누르면 같은 제조사의 데스크톱 그래픽카드를 모두 합쳐 4장까지 섞을 수 있습니다. RTX 3090과 RTX 3060 12GB를 함께 꽂은 구성이 한 예입니다. 메모리는 카드끼리 더해지지만, 토큰 하나가 카드를 차례로 거쳐 만들어지기 때문에 느린 카드가 전체 속도를 끌어내립니다. 빠른 카드 한 장에 모델이 다 들어가면 결과에서 그 점도 알려 드립니다. 섞은 구성의 결과는 늘 이론 추정(±30%)으로 표시합니다.

모델 값을 직접 넣어 계산할 수 있습니다

Hugging Face에서 불러올 수 없는 모델은 모델 카드나 config.json에 적힌 값을 넣어 계산할 수 있습니다. 전체 파라미터 수, 층 수, KV 헤드 수, 헤드 차원을 넣고, MoE 모델이면 활성 파라미터 수와 전문가 수도 넣습니다. 파일 크기는 파라미터 수로 어림하기 때문에 결과는 이론 추정으로 표시합니다. 계산은 브라우저 안에서만 이루어지고, Hugging Face에도 아무것도 요청하지 않습니다.

'이 GPU에서 이 모델' 페이지에서 시스템 RAM을 바꿔 볼 수 있습니다

모델이 그래픽카드에 다 들어가지 않으면 시스템 RAM 용량에 따라 판정이 달라집니다. 이런 페이지에 RAM 16GB부터 128GB까지 용량별 판정 목록을 붙였습니다. 용량을 고르면 판정 문장과 llama.cpp·Ollama 명령이 그 용량에 맞게 바뀝니다. RAM을 바꿔도 결과가 같은 페이지에는 그렇다고 적어 두었습니다. 계산기에서 넘어오면 계산기에서 고른 RAM 용량이 그대로 이어집니다.

그래픽카드 메모리는 실제로 카드에 올라가는 몫만 셉니다

llama.cpp는 모델의 입력 임베딩 표를 시스템 RAM에 둡니다. 일부 최신 모델에 들어 있는 MTP(다중 토큰 예측) 블록도 MTP를 켜지 않으면 불러오지 않습니다. 예전에는 이 두 부분까지 그래픽카드 메모리에 넣어 계산했지만, 지금은 GGUF 파일 헤더에서 크기를 읽어 뺍니다. 그래서 더 긴 컨텍스트까지 카드에 다 올라가는 모델이 생겼고, GeForce RTX 2080 Ti에서 HyperCLOVA X SEED Think 14B는 판정이 '원활'에서 '쾌적'으로 바뀌었습니다. 맥은 지금도 파일 전체를 셉니다.

Mamba 같은 하이브리드 층이 섞인 모델도 계산합니다

최근 모델 가운데는 어텐션 층 사이에 Mamba2, 짧은 합성곱(short convolution), KDA 같은 층을 섞은 모델이 있습니다. 이런 층은 컨텍스트가 길어질수록 커지는 KV 캐시 대신 크기가 정해진 작은 상태만 들고 있습니다. 이제 이런 모델도 계산합니다. 목록에 있는 모델뿐 아니라 Hugging Face 주소로 불러온 모델에도 적용됩니다. Nemotron 3.5 Lightning 30B-A3B와 LFM2.5 2.6B, Ling-3.0 두 모델이 같은 날 카탈로그에 들어왔습니다.

생각 모드가 있는 모델은 모두 더 엄격한 속도 기준으로 판정합니다

답하기 전에 생각을 길게 쓰는 모델은 답 하나를 받기까지 토큰이 훨씬 많이 나와서, 속도 기준을 1.5배로 높여 판정합니다. 예전에는 저희가 리즈닝 모델로 분류한 모델에만 이 기준을 썼습니다. 이제는 공식 모델 카드와 채팅 템플릿을 보고, 생각 모드가 있으면 끌 수 있는 모델이라도 모두 높은 기준을 씁니다. Phi-4처럼 생각 모드가 없는 모델은 일반 기준으로 판정합니다. 이 변경으로 GeForce RTX 3060 12GB에서 Qwen3 14B처럼 판정이 '쾌적'에서 '원활'로 한 단계 내려간 조합이 있습니다.

한국어 페이지에 원화 참고 가격을 함께 적습니다

한국어 GPU·모델 페이지와 '이 GPU에서 이 모델' 페이지, 계산기에서는 달러 가격 옆에 원화 금액을 함께 보여 드립니다. 미국 달러 가격을 유럽중앙은행(ECB) 기준환율로 단순히 환산한 참고값이라 국내 판매가와 다를 수 있습니다. 환율은 매주 갱신합니다. 가이드 본문과 영어 페이지에는 달러 가격만 나옵니다.

같은 GPU 여러 장을 계산할 수 있습니다

계산기의 'GPU 수' 설정으로 같은 그래픽카드 2~4장 구성을 계산할 수 있고, 메모리는 카드 수만큼 늘어납니다. llama.cpp 기본 방식처럼 층을 나눠 올리면 카드가 토큰마다 차례로 일하기 때문에, CanRun 계산에서는 생성 속도가 빨라지지 않습니다. 이 기능을 추가했을 때 계산해 보니, 8k 컨텍스트에서는 GeForce RTX 3090 두 장에 Llama 3.3 70B Q4_K_M이 다 들어갔고 16k에서는 일부가 시스템 RAM으로 넘어갔습니다. 여러 장 구성은 공개 벤치마크 결과를 계산에 연결하지 않아 결과를 이론 추정(±30%)으로 표시합니다. GPU·모델 페이지와 '이 GPU에서 이 모델' 페이지는 지금도 그래픽카드 한 장을 기준으로 합니다.

목록에 없는 모델도 Hugging Face 주소로 계산합니다

계산기의 '목록에 없는 모델'에 Hugging Face 모델 주소나 이름(예: Qwen/Qwen3-4B)을 넣으면 같은 방식으로 계산합니다. 모델 설정과 파일 목록은 브라우저가 Hugging Face에서 직접 읽어 옵니다. MoE 모델처럼 필요한 경우에는 GGUF 파일 앞부분도 읽어 구성 요소의 크기를 잽니다. 이미 목록에 있는 모델이면 그 모델의 결과 카드로 안내합니다. 불러온 모델의 결과는 이론 추정(±30%)으로 표시합니다.

MoE 모델은 전문가를 GPU에 올릴 수 있는 만큼 올려 계산합니다

MoE(전문가 혼합) 모델이 그래픽카드에 다 들어가지 않으면 llama.cpp는 전문가 가중치를 시스템 RAM에 둘 수 있습니다. 이제는 카드에 들어가는 만큼 전문가를 올리고 나머지만 RAM에 두는 배치로 계산하는데, 요즘 llama.cpp와 Ollama가 스스로 나누는 방식과 같은 방향입니다. 명령어의 --n-cpu-moe 값도 이 배치를 따르고, 전문가 크기는 GGUF 파일 헤더에서 읽습니다. 예를 들어 GeForce RTX 4060 같은 8~12GB 카드에서 gpt-oss-20b는 판정이 '겨우 가능'에서 '원활'로 바뀌었습니다. 이 결과는 계속 이론 추정(±30%)으로 표시합니다.

MoE 모델 속도 추정을 바로잡았습니다

전문가를 시스템 RAM에 둔 MoE 모델의 속도를 그때까지 2.5배쯤 낮게 추정하고 있었습니다. 예전 식이 모든 토큰이 함께 쓰는 공유 가중치까지 RAM 속도로 읽는다고 계산했기 때문입니다. 이제는 토큰마다 고른 전문가만 RAM에서 읽는다고 계산하고, 새 추정은 공개 벤치마크 결과와 비교해 확인했습니다. 8~16GB 카드에서 Qwen3 30B-A3B를 돌리는 구성처럼 많이 쓰는 조합은 판정이 '겨우 가능'에서 '원활'로 올라갔습니다.

Gemma 4 모델의 KV 캐시 계산을 바로잡았습니다

Gemma 4 12B는 KV 캐시를 실제보다 4배, Gemma 4 26B-A4B는 2배 크게 잡고 있었습니다. 두 모델은 컨텍스트 전체를 보는 층의 KV 헤드 수와 헤드 크기가 설정 파일에 따로 적혀 있는데, 그 대신 슬라이딩 윈도 층의 값으로 계산했기 때문입니다. 값을 바로잡으면서 KV 캐시가 각각 4분의 1과 절반으로 줄어, 컨텍스트가 길수록 필요한 메모리가 더 많이 줄었습니다.

canrunllm.com에서 CanRun을 열었습니다

계산기와 GPU별·모델별 페이지, 모든 '이 GPU에서 이 모델' 페이지, 가이드 6편을 갖추고 사이트를 열었습니다. 처음부터 모든 페이지를 영어와 한국어로 함께 냈습니다.

데이터는 이렇게 갱신합니다

  • 매주 Hugging Face와 대조해 양자화 파일 크기와 모델 설정값, 다운로드 수를 갱신합니다. 바뀐 값은 검사를 거친 뒤 사이트에 반영합니다.
  • 새 모델은 위에 적은 대로 매일 찾아봅니다.
  • 한국어 페이지의 원화 참고 가격에 쓰는 환율도 매주 갱신합니다.
  • 모든 페이지 맨 아래에 데이터 기준일이 있습니다. 지금 기준일은 2026년 10월 23일입니다.

카탈로그에 추가한 모델

아래 모델 이름을 누르면 양자화와 컨텍스트별 필요 메모리, 돌릴 수 있는 GPU를 정리한 모델 페이지로 갑니다. 날짜는 모델이 출시된 날이 아니라 CanRun 카탈로그에 들어온 날입니다. 가장 이른 날짜들은 사이트를 공개하기 전, 카탈로그를 처음 만들던 때입니다.

지금 카탈로그에는 모델 58종이 있습니다. 최근에 넣은 모델부터 보여 드립니다.

· 1종 추가

· 6종 추가

· 4종 추가

· 2종 추가

· 1종 추가

· 1종 추가

· 6종 추가

· 8종 추가

· 9종 추가

· 20종 추가