Mellum2.1 12B-A2.5B Thinking 필요 사양: VRAM과 돌아가는 GPU
Mellum2.1 12B-A2.5B Thinking, 어떤 모델인가요
Mellum2.1 12B-A2.5B Thinking은 JetBrains가 2026년 10월에 공개한 MoE 모델입니다. 전체 약 12B 가운데 토큰마다 2.5B가 활성화되고, 텍스트만 입력받으며 컨텍스트는 131,072 토큰입니다. 모델 카드는 코딩 에이전트 작업과 어려운 코딩·수학 문제를 용도로 꼽고, 언어는 영어만 적어 두었습니다. 생각 모드는 기본으로 켜져 있고, Apache 2.0 라이선스라 상업적으로도 쓸 수 있습니다.
모델 정보
- 파라미터
- 총 12.15B · 활성 2.5B (MoE)
- 어텐션
- 슬라이딩 윈도 어텐션
- 최대 컨텍스트
- 131,072 토큰
- 공개일
- 2026-09-20
GGUF 파일
| 양자화 | 파일 크기 | 품질 | 배포처 |
|---|---|---|---|
| Q4_K_M기준 | 8.07GB | 균형 | 공식 GGUF · JetBrains |
| Q8_0 | 12.93GB | 준무손실 | 공식 GGUF · JetBrains |
양자화·컨텍스트별 필요 메모리
| 양자화 | 4k | 8k | 16k | 32k | 64k | 128k |
|---|---|---|---|---|---|---|
| Q4_K_M | 8.5 | 8.6 | 8.8 | 9.2 | 10.0 | 11.5 |
| Q8_0 | 13.3 | 13.4 | 13.6 | 13.9 | 14.7 | 16.3 |
Mellum2.1 12B-A2.5B Thinking, 어떤 GPU에서 돌아갈까?
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
옆으로 밀면 모든 열을 볼 수 있습니다.
| 하드웨어 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 | 가격 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 쾌적 | 추정 334.9 tok/s267.9–401.8보정된 추정 ±20% | Q4_K_M | 9.2 / 32.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$4,200(약 557만 원) |
| GeForce RTX 3090 Ti | 쾌적 | 추정 252.0 tok/s201.6–302.5보정된 추정 ±20% | Q4_K_M | 9.2 / 24.0GB | 풀 GPU | 최대 128k | — | 출시가 US$1,999(약 265만 원) |
| GeForce RTX 4090 | 쾌적 | 추정 252.0 tok/s201.6–302.5보정된 추정 ±20% | Q4_K_M | 9.2 / 24.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$2,755(약 365만 원) |
| GeForce RTX 5080 | 쾌적 | 추정 245.1 tok/s196.1–294.1보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$1,256(약 166만 원) |
| GeForce RTX 3090 | 쾌적 | 추정 241.5 tok/s193.2–289.9보정된 추정 ±20% | Q4_K_M | 9.2 / 24.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$1,050(약 139만 원) |
| GeForce RTX 3080 12GB | 쾌적 | 추정 237.9 tok/s190.3–285.5보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 출시가 US$799(약 106만 원) |
| GeForce RTX 5070 Ti | 쾌적 | 추정 235.4 tok/s188.3–282.5보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$949(약 126만 원) |
| GeForce RTX 5080 Laptop | 쾌적 | 추정 235.4 tok/s188.3–282.5보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | — |
| GeForce RTX 5090 Laptop | 쾌적 | 추정 235.4 tok/s188.3–282.5보정된 추정 ±20% | Q4_K_M | 9.2 / 24.0GB | 풀 GPU | 최대 128k | — | — |
| GeForce RTX 3080 10GB | 쾌적 | 추정 212.8 tok/s170.2–255.4보정된 추정 ±20% | Q4_K_M | 9.2 / 10.0GB | 풀 GPU | 최대 32k | — | 출시가 US$699(약 93만 원) |
| GeForce RTX 4080 Super | 쾌적 | 추정 208.5 tok/s166.8–250.2보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 출시가 US$999(약 132만 원) |
| GeForce RTX 4080 | 쾌적 | 추정 205.0 tok/s164.0–246.0보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 출시가 US$1,199(약 159만 원) |
| GeForce RTX 4070 Ti Super | 쾌적 | 추정 196.5 tok/s157.2–235.8보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 출시가 US$799(약 106만 원) |
| GeForce RTX 5070 | 쾌적 | 추정 196.5 tok/s157.2–235.8보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 2026-08-09 기준 실거래가 US$629(약 83만 원) |
| GeForce RTX 5070 Ti Laptop | 쾌적 | 추정 196.5 tok/s157.2–235.8보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | — |
| GeForce RTX 2080 Ti | 쾌적 | 추정 185.4 tok/s148.3–222.4보정된 추정 ±20% | Q4_K_M | 9.2 / 11.0GB | 풀 GPU | 최대 64k | — | 출시가 US$999(약 132만 원) |
| Apple M5 Ultra · 96GB | 쾌적 | 추정 183.0 tok/s146.4–219.6보정된 추정 ±20% | Q4_K_M | 8.8 / 67.2GB | 통합 메모리 | 최대 128k | — | — |
| Apple M5 Max (40-core GPU) · 48GB | 쾌적 | 추정 179.0 tok/s143.2–214.8보정된 추정 ±20% | Q4_K_M | 8.8 / 33.6GB | 통합 메모리 | 최대 128k | — | — |
| Radeon RX 7900 XTX | 쾌적 | 추정 177.3 tok/s141.8–212.7보정된 추정 ±20% | Q4_K_M | 9.2 / 24.0GB | 풀 GPU | 최대 128k | — | 출시가 US$999(약 132만 원) |
| GeForce RTX 4090 Laptop | 쾌적 | 추정 177.0 tok/s141.6–212.4보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | — |
| Apple M4 Max (40-core GPU) · 48GB | 쾌적 | 추정 166.4 tok/s133.1–199.7보정된 추정 ±20% | Q4_K_M | 8.8 / 33.6GB | 통합 메모리 | 최대 128k | — | — |
| Radeon RX 7900 XT | 쾌적 | 추정 164.6 tok/s131.7–197.5보정된 추정 ±20% | Q4_K_M | 9.2 / 20.0GB | 풀 GPU | 최대 128k | — | 출시가 US$899(약 119만 원) |
| GeForce RTX 4070 | 쾌적 | 추정 161.0 tok/s128.8–193.2보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 출시가 US$599(약 79만 원) |
| GeForce RTX 4070 Super | 쾌적 | 추정 161.0 tok/s128.8–193.2보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 출시가 US$599(약 79만 원) |
| GeForce GTX 1080 Ti | 쾌적 | 추정 156.4 tok/s109.5–203.3이론 추정 ±30% | Q4_K_M | 9.2 / 11.0GB | 풀 GPU | 최대 64k | — | 출시가 US$699(약 93만 원) |
| Apple M3 Ultra · 96GB | 쾌적 | 추정 151.7 tok/s121.3–182.0보정된 추정 ±20% | Q4_K_M | 8.8 / 67.2GB | 통합 메모리 | 최대 128k | — | — |
| Apple M2 Ultra · 64GB | 쾌적 | 추정 149.8 tok/s119.9–179.8보정된 추정 ±20% | Q4_K_M | 8.8 / 44.8GB | 통합 메모리 | 최대 128k | — | — |
| Radeon RX 9070 | 쾌적 | 추정 149.3 tok/s119.4–179.1보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$639(약 85만 원) |
| Radeon RX 9070 XT | 쾌적 | 추정 149.3 tok/s119.4–179.1보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$689(약 91만 원) |
| Apple M5 Max (32-core GPU) · 36GB | 쾌적 | 추정 148.8 tok/s119.0–178.5보정된 추정 ±20% | Q4_K_M | 8.8 / 25.2GB | 통합 메모리 | 최대 128k | — | — |
| GeForce RTX 5060 Ti 16GB | 쾌적 | 추정 147.7 tok/s118.2–177.2보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$569(약 75만 원) |
| Radeon RX 7800 XT | 쾌적 | 추정 146.9 tok/s117.5–176.2보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 출시가 US$499(약 66만 원) |
| GeForce RTX 4080 Laptop | 쾌적 | 추정 143.7 tok/s115.0–172.5보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | — |
| Apple M4 Max (32-core GPU) · 36GB | 쾌적 | 추정 137.5 tok/s110.0–165.0보정된 추정 ±20% | Q4_K_M | 8.8 / 25.2GB | 통합 메모리 | 최대 128k | — | — |
| GeForce RTX 3060 12GB | 쾌적 | 추정 124.9 tok/s99.9–149.9보정된 추정 ±20% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 2026-08-09 기준 실거래가 US$250(약 33만 원) |
| Apple M5 Pro · 24GB | 쾌적 | 추정 111.4 tok/s89.1–133.7보정된 추정 ±20% | Q4_K_M | 8.8 / 16.8GB | 통합 메모리 | 최대 128k | — | — |
| Intel Arc B580 | 쾌적 | 추정 106.9 tok/s74.8–139.0이론 추정 ±30% | Q4_K_M | 9.2 / 12.0GB | 풀 GPU | 최대 64k | — | 2026-08-09 기준 실거래가 US$290(약 38만 원) |
| GeForce RTX 4060 Ti 16GB | 쾌적 | 추정 104.4 tok/s83.6–125.3보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 출시가 US$499(약 66만 원) |
| NVIDIA DGX Spark · 64GB | 쾌적 | 추정 104.4 tok/s83.5–125.2보정된 추정 ±20% | Q4_K_M | 8.8 / 48.2GB | 통합 메모리 | 최대 128k | — | 128GB 구성 출시가 US$3,999(약 530만 원) |
| Apple M4 Pro · 24GB | 쾌적 | 추정 101.8 tok/s81.4–122.2보정된 추정 ±20% | Q4_K_M | 8.8 / 16.8GB | 통합 메모리 | 최대 128k | — | — |
| Radeon RX 9060 XT 16GB | 쾌적 | 추정 100.6 tok/s80.5–120.7보정된 추정 ±20% | Q4_K_M | 9.2 / 16.0GB | 풀 GPU | 최대 128k | — | 2026-08-09 기준 실거래가 US$449(약 60만 원) |
| Ryzen AI Max+ 395 (Strix Halo) · 32GB | 쾌적 | 추정 93.1 tok/s74.5–111.7보정된 추정 ±20% | Q4_K_M | 8.8 / 22.4GB | 통합 메모리 | 최대 128k | — | 128GB 구성 출시가 US$1,999(약 265만 원) |
| Apple M5 · 16GB | 쾌적 | 추정 63.5 tok/s50.8–76.2보정된 추정 ±20% | Q4_K_M | 8.8 / 11.2GB | 통합 메모리 | 최대 64k | — | — |
| Apple M6 · 16GB | 쾌적 | 추정 63.5 tok/s50.8–76.2보정된 추정 ±20% | Q4_K_M | 8.8 / 11.2GB | 통합 메모리 | 최대 64k | — | — |
| Apple M4 · 16GB | 쾌적 | 추정 51.2 tok/s40.9–61.4보정된 추정 ±20% | Q4_K_M | 8.8 / 11.2GB | 통합 메모리 | 최대 64k | — | — |
| GeForce RTX 3070 | 원활 | 추정 94.7 tok/s66.3–123.1이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 5060 | 원활 | 추정 94.7 tok/s66.3–123.1이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$339(약 45만 원) |
| GeForce RTX 5060 Ti 8GB | 원활 | 추정 94.7 tok/s66.3–123.1이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$429(약 57만 원) |
| GeForce RTX 4060 Ti 8GB | 원활 | 추정 76.8 tok/s53.8–99.9이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$399(약 53만 원) |
| GeForce RTX 4060 | 원활 | 추정 74.5 tok/s52.2–96.9이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$299(약 40만 원) |
| GeForce RTX 4060 Laptop | 원활 | 추정 72.1 tok/s50.5–93.7이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| — |
| GeForce RTX 4070 Laptop | 원활 | 추정 72.1 tok/s50.5–93.7이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| — |
| GeForce RTX 3050 8GB | 원활 | 추정 66.8 tok/s46.7–86.8이론 추정 ±30% | Q4_K_M | 7.6 / 8.0GB + RAM 1.7GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$249(약 33만 원) |
| DDR5-6000 듀얼채널 CPU · 16GB | 겨우 가능 | 추정 23.2 tok/s18.6–27.9보정된 추정 ±20% | Q4_K_M | RAM 8.2GB | CPU 전용 | 최대 128k |
| — |
| DDR5-5600 듀얼채널 CPU · 16GB | 겨우 가능 | 추정 21.7 tok/s17.3–26.0보정된 추정 ±20% | Q4_K_M | RAM 8.2GB | CPU 전용 | 최대 128k |
| — |
| DDR4-3200 듀얼채널 CPU · 16GB | 겨우 가능 | 추정 12.4 tok/s9.9–14.9보정된 추정 ±20% | Q4_K_M | RAM 8.2GB | CPU 전용 | 최대 128k |
| — |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
가장 싸게 돌릴 수 있는 GPU
- 쾌적GeForce RTX 3060 12GB2026-08-09 기준 실거래가 US$250(약 33만 원), 속도 추정 124.9 tok/s (99.9–149.9, 보정된 추정 ±20%)
Mellum2.1 12B-A2.5B Thinking 벤치마크 결과
이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.
자주 묻는 질문
Mellum2.1 12B-A2.5B Thinking 실행에 VRAM이 얼마나 필요한가요?
Q4_K_M 파일은 8.07GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 8.6GB가 필요합니다(가중치 7.94GB, KV 캐시 0.1GB, 연산 버퍼 0.6GB). 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
Mellum2.1 12B-A2.5B Thinking, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?
쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 2026-08-09 기준 US$250(약 33만 원)이고, 속도는 추정 124.9 tok/s (99.9–149.9, 보정된 추정 ±20%)입니다.
Mellum2.1 12B-A2.5B Thinking, 8GB·16GB·24GB GPU에서 돌아가나요?
Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 원활, 추정 74.5 tok/s (52.2–96.9, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 쾌적, 추정 147.7 tok/s (118.2–177.2, 보정된 추정 ±20%); GeForce RTX 3090: 쾌적, 추정 241.5 tok/s (193.2–289.9, 보정된 추정 ±20%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.