CanRun

K2-Horizon MoVA 36B-A4B 필요 사양: VRAM과 돌아가는 GPU

K2-Horizon MoVA 36B-A4B, 어떤 모델인가요

K2-Horizon MoVA 36B-A4B는 IFM이 2026년 9월에 공개한 K2-Horizon 계열의 MoE 모델입니다. 전체 약 37B 가운데 토큰마다 약 4B만 계산에 쓰고, 어텐션에는 MoVA라는 구조가 들어갑니다. 생각 모드는 늘 켜져 있고, 컨텍스트는 524,288 토큰까지 받습니다. 공식 지원 언어는 영어뿐이고, Apache 2.0 라이선스라 상업적으로도 쓸 수 있습니다.

모델 카드

모델 정보

파라미터
총 37.44B · 활성 4B (MoE)
어텐션
풀 어텐션
최대 컨텍스트
524,288 토큰
공개일
2026-09-01

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델파라미터기준 양자화필요 메모리(8k)GeForce RTX 4060GeForce RTX 5060 Ti 16GBGeForce RTX 3090
K2-Horizon 7B9BQ4_K_M6.8GB원활쾌적쾌적
K2-Horizon MoVA 36B-A4B지금 보는 모델총 37.44B · 활성 4B (MoE)Q4_K_M24.2GB겨우 가능원활원활

GGUF 파일

등록된 K2-Horizon MoVA 36B-A4B 양자화 파일(작은 파일부터)
양자화파일 크기품질배포처
Q4_K_M기준22.37GB균형공식 GGUF · IFM
Q8_039.83GB준무손실공식 GGUF · IFM

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
양자화4k8k16k32k64k128k256k
Q4_K_M23.324.225.929.236.049.576.4
Q8_040.541.343.046.453.166.693.6

K2-Horizon MoVA 36B-A4B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적
GPU에 전부 올라가고 20 tok/s 이상
원활
GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능
2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가
메모리에 안 들어가거나 2 tok/s 미만

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 56종을 판정·속도 순으로 정렬했습니다
하드웨어판정속도양자화메모리실행 방식컨텍스트참고가격
GeForce RTX 5090
쾌적
추정 149.6 tok/s104.7–194.5이론 추정 ±30%
Q4_K_M24.8 / 32.0GB풀 GPU최대 32k—2026-08-09 기준 실거래가 US$4,200(약 557만 원)
Apple M5 Ultra · 96GB
쾌적
추정 82.3 tok/s57.6–106.9이론 추정 ±30%
Q4_K_M24.6 / 67.2GB통합 메모리최대 64k——
Apple M5 Max (40-core GPU) · 48GB
쾌적
추정 71.2 tok/s49.9–92.6이론 추정 ±30%
Q4_K_M24.6 / 33.6GB통합 메모리최대 32k——
Apple M4 Max (40-core GPU) · 48GB
쾌적
추정 65.1 tok/s45.6–84.7이론 추정 ±30%
Q4_K_M24.6 / 33.6GB통합 메모리최대 32k——
Apple M3 Ultra · 96GB
쾌적
추정 63.9 tok/s44.7–83.0이론 추정 ±30%
Q4_K_M24.6 / 67.2GB통합 메모리최대 32k——
Apple M2 Ultra · 64GB
쾌적
추정 62.9 tok/s44.0–81.7이론 추정 ±30%
Q4_K_M24.6 / 44.8GB통합 메모리최대 32k——
Apple M5 Max (32-core GPU) · 36GB
쾌적
추정 56.9 tok/s39.9–74.0이론 추정 ±30%
Q4_K_M24.6 / 25.2GB통합 메모리최대 8k——
Apple M4 Max (32-core GPU) · 36GB
쾌적
추정 51.9 tok/s36.3–67.5이론 추정 ±30%
Q4_K_M24.6 / 25.2GB통합 메모리최대 8k——
Apple M5 Pro · 48GB
쾌적
추정 40.7 tok/s28.5–52.9이론 추정 ±30%
Q4_K_M24.6 / 33.6GB통합 메모리최대 16k——
NVIDIA DGX Spark · 64GB
쾌적
추정 37.7 tok/s26.4–49.1이론 추정 ±30%
Q4_K_M24.6 / 48.2GB통합 메모리최대 8k—128GB 구성 출시가 US$3,999(약 530만 원)
Apple M4 Pro · 48GB
쾌적
추정 36.8 tok/s25.8–47.8이론 추정 ±30%
Q4_K_M24.6 / 33.6GB통합 메모리최대 8k——
Ryzen AI Max+ 395 (Strix Halo) · 64GB
쾌적
추정 35.1 tok/s24.5–45.6이론 추정 ±30%
Q4_K_M24.6 / 44.8GB통합 메모리최대 8k—128GB 구성 출시가 US$1,999(약 265만 원)
GeForce RTX 3090 Ti
원활
추정 82.6 tok/s57.8–107.4이론 추정 ±30%
Q4_K_M23.4 / 24.0GB + RAM 1.8GBMoE 전문가 RAM 배치최대 32k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$1,999(약 265만 원)
GeForce RTX 4090
원활
추정 82.6 tok/s57.8–107.4이론 추정 ±30%
Q4_K_M23.4 / 24.0GB + RAM 1.8GBMoE 전문가 RAM 배치최대 32k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$2,755(약 365만 원)
GeForce RTX 3090
원활
추정 79.2 tok/s55.5–103.0이론 추정 ±30%
Q4_K_M23.4 / 24.0GB + RAM 1.8GBMoE 전문가 RAM 배치최대 32k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 5090 Laptop
원활
추정 77.2 tok/s54.1–100.4이론 추정 ±30%
Q4_K_M23.4 / 24.0GB + RAM 1.8GBMoE 전문가 RAM 배치최대 32k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
—
Radeon RX 7900 XTX
원활
추정 68.1 tok/s47.7–88.5이론 추정 ±30%
Q4_K_M23.4 / 24.0GB + RAM 1.8GBMoE 전문가 RAM 배치최대 32k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$999(약 132만 원)
Radeon RX 7900 XT
원활
추정 44.5 tok/s31.2–57.9이론 추정 ±30%
Q4_K_M19.4 / 20.0GB + RAM 5.7GBMoE 전문가 RAM 배치최대 16k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$899(약 119만 원)
GeForce RTX 5080
원활
추정 39.3 tok/s27.5–51.0이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 16k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 5070 Ti
원활
추정 38.6 tok/s27.0–50.2이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 16k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$949(약 126만 원)
GeForce RTX 5080 Laptop
원활
추정 38.6 tok/s27.0–50.2이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 16k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
—
GeForce RTX 4080 Super
원활
추정 36.6 tok/s25.6–47.5이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$999(약 132만 원)
GeForce RTX 4080
원활
추정 36.3 tok/s25.4–47.2이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$1,199(약 159만 원)
GeForce RTX 4070 Ti Super
원활
추정 35.6 tok/s24.9–46.2이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$799(약 106만 원)
GeForce RTX 4090 Laptop
원활
추정 33.8 tok/s23.6–43.9이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
—
Radeon RX 9070
원활
추정 32.7 tok/s22.9–42.5이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 9070 XT
원활
추정 32.7 tok/s22.9–42.5이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$689(약 91만 원)
Radeon RX 7800 XT
원활
추정 32.4 tok/s22.7–42.1이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$499(약 66만 원)
GeForce RTX 3080 12GB
원활
추정 31.0 tok/s21.7–40.3이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
출시가 US$799(약 106만 원)
GeForce RTX 5060 Ti 16GB
원활
추정 30.7 tok/s21.5–39.9이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 8k
  • 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
2026-08-09 기준 실거래가 US$569(약 75만 원)
GeForce RTX 5070
겨우 가능
추정 29.0 tok/s20.3–37.7이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti Laptop
겨우 가능
추정 29.0 tok/s20.3–37.7이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
—
GeForce RTX 2080 Ti
겨우 가능
추정 27.1 tok/s19.0–35.2이론 추정 ±30%
Q4_K_M10.6 / 11.0GB + RAM 14.6GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$999(약 132만 원)
GeForce RTX 3080 10GB
겨우 가능
추정 27.0 tok/s18.9–35.2이론 추정 ±30%
Q4_K_M9.5 / 10.0GB + RAM 15.7GBMoE 전문가 RAM 배치최대 8k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$699(약 93만 원)
GeForce RTX 4070
겨우 가능
추정 26.9 tok/s18.8–35.0이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$599(약 79만 원)
GeForce RTX 4070 Super
겨우 가능
추정 26.9 tok/s18.8–35.0이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$599(약 79만 원)
GeForce RTX 4080 Laptop
겨우 가능
추정 25.6 tok/s18.0–33.3이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
—
Radeon RX 9060 XT 16GB
겨우 가능
추정 25.6 tok/s17.9–33.2이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
2026-08-09 기준 실거래가 US$449(약 60만 원)
GeForce GTX 1080 Ti
겨우 가능
추정 25.5 tok/s17.8–33.1이론 추정 ±30%
Q4_K_M10.6 / 11.0GB + RAM 14.6GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$699(약 93만 원)
GeForce RTX 4060 Ti 16GB
겨우 가능
추정 25.0 tok/s17.5–32.6이론 추정 ±30%
Q4_K_M15.5 / 16.0GB + RAM 9.6GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
출시가 US$499(약 66만 원)
GeForce RTX 3060 12GB
겨우 가능
추정 24.1 tok/s16.9–31.3이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
2026-08-09 기준 실거래가 US$250(약 33만 원)
Intel Arc B580
겨우 가능
추정 23.1 tok/s16.1–30.0이론 추정 ±30%
Q4_K_M11.6 / 12.0GB + RAM 13.5GBMoE 전문가 RAM 배치최대 16k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.
2026-08-09 기준 실거래가 US$290(약 38만 원)
Apple M6 · 32GB
겨우 가능
추정 18.3 tok/s12.8–23.8이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
Apple M5 · 32GB
겨우 가능
추정 16.5 tok/s11.6–21.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
Apple M4 · 32GB
겨우 가능
추정 12.9 tok/s9.0–16.8이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
DDR5-6000 듀얼채널 CPU · 32GB
겨우 가능
추정 10.3 tok/s7.2–13.4이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k——
DDR5-5600 듀얼채널 CPU · 32GB
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k——
GeForce RTX 3050 8GB
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—출시가 US$249(약 33만 원)
GeForce RTX 3070
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—출시가 US$499(약 66만 원)
GeForce RTX 4060
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k——
GeForce RTX 4060 Ti 8GB
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—출시가 US$399(약 53만 원)
GeForce RTX 4070 Laptop
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k——
GeForce RTX 5060
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 8GB
겨우 가능
추정 9.6 tok/s6.7–12.5이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k—2026-08-09 기준 실거래가 US$429(약 57만 원)
DDR4-3200 듀얼채널 CPU · 32GB
겨우 가능
추정 5.5 tok/s3.9–7.2이론 추정 ±30%
Q4_K_MRAM 24.0GBCPU 전용최대 16k——

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

  • 쾌적GeForce RTX 50902026-08-09 기준 실거래가 US$4,200(약 557만 원), 속도 추정 149.6 tok/s (104.7–194.5, 이론 추정 ±30%)
  • 원활GeForce RTX 5060 Ti 16GB2026-08-09 기준 실거래가 US$569(약 75만 원), 속도 추정 30.7 tok/s (21.5–39.9, 이론 추정 ±30%)

K2-Horizon MoVA 36B-A4B 벤치마크 결과

이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.

자주 묻는 질문

K2-Horizon MoVA 36B-A4B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 파일은 22.37GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 24.2GB가 필요합니다(가중치 21.99GB, KV 캐시 1.6GB, 연산 버퍼 0.6GB). 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.

K2-Horizon MoVA 36B-A4B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 5090입니다. 실거래가는 2026-08-09 기준 US$4,200(약 557만 원)이고, 속도는 추정 149.6 tok/s (104.7–194.5, 이론 추정 ±30%)입니다. 원활하게만 돌려도 된다면 더 싼 GPU는 GeForce RTX 5060 Ti 16GB입니다. 실거래가는 2026-08-09 기준 US$569(약 75만 원)이고, 속도는 추정 30.7 tok/s (21.5–39.9, 이론 추정 ±30%)입니다.

K2-Horizon MoVA 36B-A4B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 9.6 tok/s (6.7–12.5, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 원활, 추정 30.7 tok/s (21.5–39.9, 이론 추정 ±30%); GeForce RTX 3090: 원활, 추정 79.2 tok/s (55.5–103.0, 이론 추정 ±30%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.