내 PC로 이 LLM 돌릴 수 있을까?

GPU나 맥 칩 이름만 넣으면 돌릴 수 있는 모델을 알려 드립니다. 모델마다 추천 양자화, 필요한 메모리, 예상 속도(tok/s) 범위도 함께 보여 줍니다.

자주 찾는 GPU

어떻게 계산하나요

  1. 메모리: 가중치, KV 캐시, 연산 버퍼를 더한 양을 GPU(또는 통합 메모리)가 실제로 쓸 수 있는 양과 비교합니다.
  2. 속도: 메모리 대역폭으로 계산한 값을 공개 벤치마크 52건으로 보정합니다.
  3. 모든 수치에 오차 범위와 신뢰 라벨(실측·보정·이론)을 붙입니다.

이 사이트의 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 신뢰 라벨은 실측, 보정된 추정(NVIDIA·AMD GPU에서 dense 모델을 GPU에 전부 올린 경우 ±12%, 그 밖에는 ±20%), 이론 추정(±30%) 세 가지입니다.

인기 GPU·맥

인기 모델