Nemotron 3.5 Lightning 30B-A3B 필요 사양: VRAM과 돌아가는 GPU
Nemotron 3.5 Lightning 30B-A3B, 어떤 모델인가요
Nemotron 3.5 Lightning 30B-A3B는 NVIDIA가 2026년 8월에 공개한 범용 리즈닝·대화 모델입니다. Mamba-2와 어텐션 층을 섞은 MoE 구조라 전체 약 30B 가운데 토큰마다 약 3B만 계산에 씁니다. 생각 모드는 채팅 템플릿에서 켜고 끌 수 있고, 공식 지원 언어에 한국어는 들어 있지 않습니다.
모델 정보
- 파라미터
- 총 31.58B · 활성 3B (MoE)
- 어텐션
- 하이브리드 어텐션(일부 층만 풀 어텐션)
- 최대 컨텍스트
- 262,144 토큰
- 공개일
- 2026-08-01
GGUF 파일
| 양자화 | 파일 크기 | 품질 | 배포처 |
|---|---|---|---|
| Q2_K | 18.91GB | 손실 큼 | 커뮤니티 GGUF · bartowski |
| IQ4_XS | 18.92GB | 균형 | 커뮤니티 GGUF · bartowski |
| Q4_K_M기준 | 25.48GB | 균형 | 커뮤니티 GGUF · bartowski |
| Q8_0 | 35.00GB | 준무손실 | 커뮤니티 GGUF · bartowski |
이 모델은 Q2_K 파일과 IQ4_XS 파일의 크기가 거의 같습니다. 품질이 더 좋은 IQ4_XS 파일을 받으세요.
양자화·컨텍스트별 필요 메모리
| 양자화 | 4k | 8k | 16k | 32k | 64k | 128k | 256k |
|---|---|---|---|---|---|---|---|
| Q2_K | 18.5 | 18.6 | 18.7 | 19.0 | 19.5 | 20.5 | 22.5 |
| IQ4_XS | 18.5 | 18.6 | 18.7 | 19.0 | 19.5 | 20.5 | 22.5 |
| Q4_K_M | 25.0 | 25.1 | 25.2 | 25.5 | 26.0 | 27.0 | 29.0 |
| Q8_0 | 33.8 | 33.8 | 34.0 | 34.2 | 34.7 | 35.7 | 37.7 |
Nemotron 3.5 Lightning 30B-A3B, 어떤 GPU에서 돌아갈까?
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
옆으로 밀면 모든 열을 볼 수 있습니다.
| 하드웨어 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 | 가격 |
|---|---|---|---|---|---|---|---|---|
| GeForce RTX 5090 | 쾌적 | 추정 305.7 tok/s214.0–397.4이론 추정 ±30% | Q4_K_M | 25.7 / 32.0GB | 풀 GPU | 최대 256k | — | 2026-08-09 기준 실거래가 US$4,200(약 557만 원) |
| Apple M5 Ultra · 96GB | 쾌적 | 추정 168.6 tok/s118.0–219.2이론 추정 ±30% | Q4_K_M | 26.1 / 67.2GB | 통합 메모리 | 최대 256k | — | — |
| Apple M5 Max (40-core GPU) · 48GB | 쾌적 | 추정 137.2 tok/s96.0–178.3이론 추정 ±30% | Q4_K_M | 26.1 / 33.6GB | 통합 메모리 | 최대 256k | — | — |
| Apple M3 Ultra · 96GB | 쾌적 | 추정 126.5 tok/s88.5–164.4이론 추정 ±30% | Q4_K_M | 26.1 / 67.2GB | 통합 메모리 | 최대 256k | — | — |
| Apple M4 Max (40-core GPU) · 48GB | 쾌적 | 추정 124.5 tok/s87.2–161.9이론 추정 ±30% | Q4_K_M | 26.1 / 33.6GB | 통합 메모리 | 최대 256k | — | — |
| Apple M2 Ultra · 64GB | 쾌적 | 추정 124.2 tok/s87.0–161.5이론 추정 ±30% | Q4_K_M | 26.1 / 44.8GB | 통합 메모리 | 최대 256k | — | — |
| Apple M5 Pro · 48GB | 쾌적 | 추정 75.6 tok/s52.9–98.3이론 추정 ±30% | Q4_K_M | 26.1 / 33.6GB | 통합 메모리 | 최대 256k | — | — |
| NVIDIA DGX Spark · 64GB | 쾌적 | 추정 69.8 tok/s48.8–90.7이론 추정 ±30% | Q4_K_M | 26.1 / 48.2GB | 통합 메모리 | 최대 256k | — | 128GB 구성 출시가 US$3,999(약 530만 원) |
| Apple M4 Pro · 48GB | 쾌적 | 추정 68.0 tok/s47.6–88.4이론 추정 ±30% | Q4_K_M | 26.1 / 33.6GB | 통합 메모리 | 최대 256k | — | — |
| Ryzen AI Max+ 395 (Strix Halo) · 64GB | 쾌적 | 추정 65.9 tok/s46.1–85.7이론 추정 ±30% | Q4_K_M | 26.1 / 44.8GB | 통합 메모리 | 최대 256k | — | 128GB 구성 출시가 US$1,999(약 265만 원) |
| GeForce RTX 3090 Ti | 원활 | 추정 126.5 tok/s88.5–164.4이론 추정 ±30% | Q4_K_M | 22.7 / 24.0GB + RAM 4.0GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$1,999(약 265만 원) |
| GeForce RTX 4090 | 원활 | 추정 126.5 tok/s88.5–164.4이론 추정 ±30% | Q4_K_M | 22.7 / 24.0GB + RAM 4.0GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$2,755(약 365만 원) |
| GeForce RTX 3090 | 원활 | 추정 122.0 tok/s85.4–158.7이론 추정 ±30% | Q4_K_M | 22.7 / 24.0GB + RAM 4.0GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$1,050(약 139만 원) |
| GeForce RTX 5090 Laptop | 원활 | 추정 119.4 tok/s83.6–155.3이론 추정 ±30% | Q4_K_M | 22.7 / 24.0GB + RAM 4.0GB | MoE 전문가 RAM 배치 | 최대 256k |
| — |
| Radeon RX 7900 XTX | 원활 | 추정 112.9 tok/s79.0–146.7이론 추정 ±30% | Q4_K_M | 22.7 / 24.0GB + RAM 4.0GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$999(약 132만 원) |
| Radeon RX 7900 XT | 원활 | 추정 74.5 tok/s52.1–96.8이론 추정 ±30% | Q4_K_M | 18.8 / 20.0GB + RAM 7.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$899(약 119만 원) |
| GeForce RTX 5080 | 원활 | 추정 63.1 tok/s44.2–82.0이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$1,256(약 166만 원) |
| GeForce RTX 5070 Ti | 원활 | 추정 62.2 tok/s43.5–80.8이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$949(약 126만 원) |
| GeForce RTX 5080 Laptop | 원활 | 추정 62.2 tok/s43.5–80.8이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| — |
| GeForce RTX 4080 Super | 원활 | 추정 59.3 tok/s41.5–77.1이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$999(약 132만 원) |
| GeForce RTX 4080 | 원활 | 추정 58.9 tok/s41.2–76.5이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$1,199(약 159만 원) |
| GeForce RTX 4070 Ti Super | 원활 | 추정 57.8 tok/s40.5–75.2이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$799(약 106만 원) |
| GeForce RTX 4090 Laptop | 원활 | 추정 55.3 tok/s38.7–71.9이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| — |
| Radeon RX 9070 | 원활 | 추정 55.0 tok/s38.5–71.5이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$639(약 85만 원) |
| Radeon RX 9070 XT | 원활 | 추정 55.0 tok/s38.5–71.5이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$689(약 91만 원) |
| Radeon RX 7800 XT | 원활 | 추정 54.6 tok/s38.2–70.9이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 5060 Ti 16GB | 원활 | 추정 50.8 tok/s35.6–66.0이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$569(약 75만 원) |
| GeForce RTX 3080 12GB | 원활 | 추정 50.3 tok/s35.2–65.4이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$799(약 106만 원) |
| GeForce RTX 5070 | 원활 | 추정 47.5 tok/s33.3–61.8이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$629(약 83만 원) |
| GeForce RTX 5070 Ti Laptop | 원활 | 추정 47.5 tok/s33.3–61.8이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| — |
| GeForce RTX 2080 Ti | 원활 | 추정 44.7 tok/s31.3–58.1이론 추정 ±30% | Q4_K_M | 9.8 / 11.0GB + RAM 16.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$999(약 132만 원) |
| GeForce RTX 3080 10GB | 원활 | 추정 44.6 tok/s31.2–57.9이론 추정 ±30% | Q4_K_M | 8.8 / 10.0GB + RAM 17.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$699(약 93만 원) |
| GeForce RTX 4070 | 원활 | 추정 44.4 tok/s31.1–57.7이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$599(약 79만 원) |
| GeForce RTX 4070 Super | 원활 | 추정 44.4 tok/s31.1–57.7이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$599(약 79만 원) |
| Radeon RX 9060 XT 16GB | 원활 | 추정 43.9 tok/s30.7–57.0이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 2026-08-09 기준 실거래가 US$449(약 60만 원) |
| GeForce RTX 4080 Laptop | 원활 | 추정 42.6 tok/s29.8–55.3이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| — |
| GeForce GTX 1080 Ti | 원활 | 추정 42.3 tok/s29.6–54.9이론 추정 ±30% | Q4_K_M | 9.8 / 11.0GB + RAM 16.9GB | MoE 전문가 RAM 배치 | 최대 256k |
| 출시가 US$699(약 93만 원) |
| GeForce RTX 4060 Ti 16GB | 원활 | 추정 42.2 tok/s29.5–54.9이론 추정 ±30% | Q4_K_M | 14.8 / 16.0GB + RAM 11.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 3060 12GB | 원활 | 추정 40.2 tok/s28.2–52.3이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$250(약 33만 원) |
| Intel Arc B580 | 원활 | 추정 39.3 tok/s27.5–51.1이론 추정 ±30% | Q4_K_M | 10.8 / 12.0GB + RAM 15.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$290(약 38만 원) |
| GeForce RTX 3070 | 원활 | 추정 37.3 tok/s26.1–48.5이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 출시가 US$499(약 66만 원) |
| GeForce RTX 5060 | 원활 | 추정 37.3 tok/s26.1–48.5이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$339(약 45만 원) |
| GeForce RTX 5060 Ti 8GB | 원활 | 추정 37.3 tok/s26.1–48.5이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 128k |
| 2026-08-09 기준 실거래가 US$429(약 57만 원) |
| GeForce RTX 4060 Ti 8GB | 원활 | 추정 33.2 tok/s23.2–43.1이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 64k |
| 출시가 US$399(약 53만 원) |
| GeForce RTX 4060 | 원활 | 추정 32.6 tok/s22.8–42.3이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 32k |
| 출시가 US$299(약 40만 원) |
| GeForce RTX 4060 Laptop | 원활 | 추정 31.9 tok/s22.3–41.5이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 32k |
| — |
| GeForce RTX 4070 Laptop | 원활 | 추정 31.9 tok/s22.3–41.5이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 32k |
| — |
| GeForce RTX 3050 8GB | 원활 | 추정 30.5 tok/s21.3–39.6이론 추정 ±30% | Q4_K_M | 6.8 / 8.0GB + RAM 19.9GB | MoE 전문가 RAM 배치 | 최대 16k |
| 출시가 US$249(약 33만 원) |
| Apple M5 Max (32-core GPU) · 36GB | 겨우 가능 | 추정 80.1 tok/s56.0–104.1이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| Apple M4 Max (32-core GPU) · 36GB | 겨우 가능 | 추정 71.4 tok/s49.9–92.8이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| Apple M6 · 32GB | 겨우 가능 | 추정 29.7 tok/s20.8–38.6이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| Apple M5 · 32GB | 겨우 가능 | 추정 26.7 tok/s18.7–34.8이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| Apple M4 · 32GB | 겨우 가능 | 추정 20.9 tok/s14.6–27.1이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| DDR5-6000 듀얼채널 CPU · 32GB | 겨우 가능 | 추정 16.7 tok/s11.7–21.7이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| DDR5-5600 듀얼채널 CPU · 32GB | 겨우 가능 | 추정 15.6 tok/s10.9–20.3이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k |
| — |
| DDR4-3200 듀얼채널 CPU · 32GB | 겨우 가능 | 추정 8.9 tok/s6.2–11.6이론 추정 ±30% | Q4_K_M | RAM 25.5GB | CPU 전용 | 최대 256k | — | — |
생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.
원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.
가장 싸게 돌릴 수 있는 GPU
- 쾌적GeForce RTX 50902026-08-09 기준 실거래가 US$4,200(약 557만 원), 속도 추정 305.7 tok/s (214.0–397.4, 이론 추정 ±30%)
- 원활GeForce RTX 3060 12GB2026-08-09 기준 실거래가 US$250(약 33만 원), 속도 추정 40.2 tok/s (28.2–52.3, 이론 추정 ±30%)
Nemotron 3.5 Lightning 30B-A3B 벤치마크 결과
이 모델로 잰 공개 벤치마크 결과는 아직 없습니다.
자주 묻는 질문
Nemotron 3.5 Lightning 30B-A3B 실행에 VRAM이 얼마나 필요한가요?
Q4_K_M 파일은 25.48GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 25.1GB가 필요합니다(가중치 24.48GB, KV 캐시 0.1GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 18.6GB가 필요합니다. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 두고, 이 모델의 MTP(다중 토큰 예측) 블록은 아직 쓰지 않아 불러오지 않습니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
Nemotron 3.5 Lightning 30B-A3B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?
쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 5090입니다. 실거래가는 2026-08-09 기준 US$4,200(약 557만 원)이고, 속도는 추정 305.7 tok/s (214.0–397.4, 이론 추정 ±30%)입니다. 원활하게만 돌려도 된다면 더 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 2026-08-09 기준 US$250(약 33만 원)이고, 속도는 추정 40.2 tok/s (28.2–52.3, 이론 추정 ±30%)입니다.
Nemotron 3.5 Lightning 30B-A3B, 8GB·16GB·24GB GPU에서 돌아가나요?
Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 원활, 추정 32.6 tok/s (22.8–42.3, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 원활, 추정 50.8 tok/s (35.6–66.0, 이론 추정 ±30%); GeForce RTX 3090: 원활, 추정 122.0 tok/s (85.4–158.7, 이론 추정 ±30%).
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.