CanRun

GeForce RTX 5060 Ti 16GB에서 Qwen3.5 35B-A3B 돌릴 수 있을까?

원활Q4_K_M 기준으로 어텐션과 24개 층의 전문가는 GPU(15.1GB)에, 나머지 전문가는 시스템 RAM(8.9GB)에 둡니다. 판정: 원활, 속도: 추정 62.4 tok/s (43.7–81.1, 이론 추정 ±30%). 품질 손실이 큰 UD-Q2_K_XL까지 낮출 때의 판정: 쾌적, 속도: 추정 117.5 tok/s (94.0–141.0, 보정된 추정 ±20%).

오픈 라이선스 · Apache-2.0커뮤니티 GGUF · unsloth생각 모드

VRAM 16GB · 448.0 GB/s · FP16 23.7 TFLOPS. 시스템 RAM 32GB(DDR5-5600), Windows, 이 GPU로 화면 출력, 8k 컨텍스트, f16 KV 캐시를 기준으로 계산했습니다. 시스템 RAM이 16GB에서 128GB 사이라면 위 판정과 양자화 파일은 바뀌지 않습니다.

GeForce RTX 5060 Ti 16GB에서 Qwen3.5 35B-A3B: 양자화별 판정

등록된 GGUF 파일 4개, 작은 파일부터, 시스템 RAM 32GB·8k 컨텍스트 기준
양자화파일 크기판정속도메모리실행 방식참고
UD-Q2_K_XL12.57GB쾌적
추정 117.5 tok/s94.0–141.0보정된 추정 ±20%
13.2 / 16.0GB풀 GPU—
IQ4_XS18.17GB원활
추정 78.5 tok/s55.0–102.1이론 추정 ±30%
15.5 / 16.0GB + RAM 4.0GBMoE 전문가 RAM 배치모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
Q4_K_M기준22.63GB원활
추정 62.4 tok/s43.7–81.1이론 추정 ±30%
15.1 / 16.0GB + RAM 8.9GBMoE 전문가 RAM 배치모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.
Q8_037.80GB원활
추정 37.0 tok/s25.9–48.1이론 추정 ±30%
14.6 / 16.0GB + RAM 24.5GBMoE 전문가 RAM 배치모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

Q4_K_M 기준 메모리 사용 내역

가중치·KV 캐시·연산 버퍼는 모델이 쓰고, OS 예약은 화면 출력 드라이버가 씁니다.
GPU 메모리
시스템 RAM
가중치
13.7GB
KV 캐시
0.2GB
연산 버퍼
0.6GB
OS 예약
0.6GB
여유
0.9GB
시스템 RAM의 가중치
8.9GB

위 시스템 RAM 몫에는 기본 설정에서 불러오지 않는 MTP(다중 토큰 예측) 블록 0.53GB도 넣어 넉넉하게 잡았습니다. MTP 추측 디코딩(llama.cpp --spec-type draft-mtp)을 켜면 이 블록을 불러오고 MTP용 KV 캐시도 더 듭니다.

컨텍스트 길이와 KV 캐시

KV 캐시

Q4_K_M 기준으로 컨텍스트 길이와 KV 캐시 종류에 따른 필요 메모리, 판정, 예상 tok/s를 보여 줍니다.
컨텍스트KV f16KV q8_0KV q4_0
4k
22.2GB원활
추정 64.7 tok/s45.3–84.1이론 추정 ±30%
22.1GB원활
추정 65.2 tok/s45.6–84.7이론 추정 ±30%
22.1GB원활
추정 65.5 tok/s45.8–85.1이론 추정 ±30%
8k
22.3GB원활
추정 62.4 tok/s43.7–81.1이론 추정 ±30%
22.2GB원활
추정 64.6 tok/s45.2–84.0이론 추정 ±30%
22.2GB원활
추정 65.1 tok/s45.6–84.7이론 추정 ±30%
16k
22.5GB원활
추정 60.4 tok/s42.3–78.5이론 추정 ±30%
22.4GB원활
추정 62.3 tok/s43.6–80.9이론 추정 ±30%
22.3GB원활
추정 63.3 tok/s44.3–82.3이론 추정 ±30%
32k
23.0GB원활
추정 55.8 tok/s39.1–72.5이론 추정 ±30%
22.7GB원활
추정 60.1 tok/s42.1–78.1이론 추정 ±30%
22.5GB원활
추정 62.1 tok/s43.5–80.7이론 추정 ±30%
64k
24.0GB원활
추정 48.4 tok/s33.9–63.0이론 추정 ±30%
23.4GB원활
추정 54.5 tok/s38.1–70.8이론 추정 ±30%
23.0GB원활
추정 58.8 tok/s41.2–76.5이론 추정 ±30%
128k
25.9GB원활
추정 38.3 tok/s26.8–49.8이론 추정 ±30%
24.7GB원활
추정 47.1 tok/s33.0–61.2이론 추정 ±30%
24.0GB원활
추정 53.2 tok/s37.2–69.1이론 추정 ±30%
256k
29.8GB겨우 가능
추정 27.0 tok/s18.9–35.1이론 추정 ±30%
27.3GB원활
추정 36.3 tok/s25.4–47.2이론 추정 ±30%
26.0GB원활
추정 44.6 tok/s31.2–58.0이론 추정 ±30%

S = 쾌적 · A = 원활 · B = 겨우 가능 · F = 불가

Q4_K_M 기준으로 판정(원활)이 유지되는 컨텍스트는 f16 KV 캐시에서 128k, q8_0에서 256k까지입니다.

예상 속도

생성
추정 62.4 tok/s (43.7–81.1, 이론 추정 ±30%)
프롬프트 처리
프롬프트 처리 속도는 모델 전체가 GPU에서 돌 때만 추정합니다.

판정 근거: 모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.

이 조합의 벤치마크 결과

이 조합으로 잰 공개 벤치마크 결과는 아직 없습니다. 위 수치는 모두 추정치입니다.

다른 선택지

실행 방법

UD-Q4_K_M 파일을 쓰는 명령입니다. 두 도구 모두 처음 실행할 때 Hugging Face에서 파일을 내려받습니다.

파일: Qwen3.5-35B-A3B-UD-Q4_K_M.gguf (22.63GB, unsloth/Qwen3.5-35B-A3B-MTP-GGUF).

llama.cpp
llama-server -hf unsloth/Qwen3.5-35B-A3B-MTP-GGUF:UD-Q4_K_M -c 8192 -ngl all --n-cpu-moe 16 -fa on
  • -ngl all: 모든 층을 GPU에 올립니다.
  • --n-cpu-moe 16: 앞쪽 16개 층에 있는 전문가는 시스템 RAM에 두고, 전문가가 있는 나머지 24개 층은 전문가까지 GPU에 둡니다. 이 추정도 같은 배치로 계산했습니다.
  • 불러올 때 메모리가 부족하다는 오류가 나면 값을 17까지 올리고, 그래도 부족하면 18까지 올리세요.
  • llama.cpp b7410(2025년 12월) 이후 버전은 -ngl과 --n-cpu-moe를 빼고 실행해도 VRAM에 맞춰 비슷하게 나눠 올립니다.
  • -fa on: 플래시 어텐션을 켭니다. KV 캐시를 양자화하려면 필요합니다.
  • --cache-type-k q8_0 --cache-type-v q8_0: 8k 기준 KV 캐시가 0.09GB로 줄어듭니다.
올라마(Ollama)

PowerShell(트레이의 Ollama를 먼저 종료하세요):

$env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve
ollama run hf.co/unsloth/Qwen3.5-35B-A3B-MTP-GGUF:UD-Q4_K_M
  • Ollama는 24GB 미만 GPU에서 컨텍스트 기본값이 4k입니다. 서버를 띄울 때 OLLAMA_CONTEXT_LENGTH를 지정하거나, 대화 안에서 /set parameter num_ctx를 쓰세요.
  • Ollama 0.30 이상은 VRAM에 맞춰 전문가 일부를 시스템 RAM에 자동으로 둡니다. 그보다 오래된 버전은 층을 통째로 나눠 올려서 훨씬 느립니다.
  • /set parameter num_ctx 8192

관련 페이지

가이드: 로컬 LLM 사양 — 그래픽카드 VRAM 8~32GB별로 돌릴 수 있는 모델 (2026)

GeForce RTX 5060 Ti 16GB에서 다른 모델

다른 하드웨어에서 Qwen3.5 35B-A3B

자주 묻는 질문

GeForce RTX 5060 Ti 16GB에서 Qwen3.5 35B-A3B 돌릴 수 있나요?

Q4_K_M 기준으로 어텐션과 24개 층의 전문가는 GPU(15.1GB)에, 나머지 전문가는 시스템 RAM(8.9GB)에 둡니다. 판정: 원활, 속도: 추정 62.4 tok/s (43.7–81.1, 이론 추정 ±30%). 품질 손실이 큰 UD-Q2_K_XL까지 낮출 때의 판정: 쾌적, 속도: 추정 117.5 tok/s (94.0–141.0, 보정된 추정 ±20%). Q4_K_M에는 8k 컨텍스트 기준 22.3GB가 필요하고, 이 구성에서 쓸 수 있는 메모리는 15.4GB, 여유 시스템 RAM은 28.0GB입니다.

GeForce RTX 5060 Ti 16GB에서 Qwen3.5 35B-A3B 컨텍스트는 얼마까지 쓸 수 있나요?

Q4_K_M 기준으로 판정(원활)이 유지되는 컨텍스트는 f16 KV 캐시에서 128k(KV 2.7GB), q8_0 KV 캐시에서 256k(KV 2.9GB)까지입니다. 모델이 지원하는 최대 컨텍스트는 256k입니다.

어떤 양자화 파일을 받아야 하고, 속도는 얼마나 나오나요?

추천 파일은 Q4_K_M(22.63GB)입니다. 판정: 원활, 속도: 추정 62.4 tok/s (43.7–81.1, 이론 추정 ±30%). 같은 판정(원활)이 나오는 가장 큰 파일은 Q8_0(37.80GB)이고, 속도는 추정 37.0 tok/s (25.9–48.1, 이론 추정 ±30%)입니다.

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.