Qwen3.6·Qwen3.8 비교 — 27B와 35B-A3B 차이, VRAM과 속도

CanRun · 2026년 10월 19일 업데이트

Qwen3.6 27B와 Qwen3.8 27B는 구조가 같아서 필요한 메모리도 거의 같습니다. 24GB인 RTX 3090에서는 두 모델 모두 GPU에 전부 올라가 쾌적하게 돌아갑니다. 16GB인 RTX 5060 Ti에서는 Q4_K_M이면 일부가 RAM에 남아 겨우 돌아가고, IQ4_XS면 원활하게 돌아갑니다. MoE 모델인 Qwen3.6 35B-A3B는 파일이 더 커서 메모리가 더 듭니다. RTX 3090에서는 쾌적하게 돌아가고, 16GB 카드에서는 전문가 일부를 시스템 RAM에 둡니다.

Qwen3.6에서 Qwen3.8로 달라진 점

Qwen은 2026년 4월에 Qwen3.6 35B-A3B를 먼저 공개했고, 같은 달에 Qwen3.6 27B를 내놓았습니다. Qwen3.8 27B는 2026년 8월에 나왔습니다. Qwen의 GitHub 저장소는 세 모델을 Qwen3.5와 함께 하나의 오픈 모델 시리즈로 묶어 소개합니다. Qwen3.8 27B 모델 카드에도 Qwen3.5 구조를 바탕으로 만들었다고 적혀 있습니다.

사양·라이선스·GGUF 출처
모델	파라미터	최대 컨텍스트	라이선스	GGUF 출처
Qwen3.6 27B	27.78B	256k	오픈 라이선스 · Apache-2.0	커뮤니티 GGUF · unsloth
Qwen3.8 27B	27.78B	256k	오픈 라이선스 · Apache-2.0	커뮤니티 GGUF · bartowski
Qwen3.6 35B-A3B	35.95B (활성 3B)	256k	오픈 라이선스 · Apache-2.0	커뮤니티 GGUF · bartowski

두 27B 모델은 설계가 같습니다. 두 설정 파일(config)에 적힌 구조 이름도, 층 배치도 같습니다. 층은 64개입니다. 선형 어텐션(Gated DeltaNet) 층 셋 다음에 전체 어텐션 층 하나가 오는 묶음이 되풀이됩니다. 네 층에 한 층만 전체 어텐션을 쓰는 셈입니다. 파라미터는 둘 다 27.78B이고, 모델이 지원하는 컨텍스트도 256k로 같습니다. Qwen은 일부 서빙 엔진에서 RoPE 스케일링(YaRN)으로 100만 토큰 안팎까지 늘릴 수 있다고 설명합니다. 두 모델 모두 Apache 2.0 라이선스이고, 이미지와 영상도 입력으로 받습니다.

무엇이 나아졌는지는 모델 카드의 설명으로 알 수 있습니다. 모델 카드에 따르면 Qwen3.6은 에이전트 코딩에 초점을 맞췄습니다. 지난 턴의 추론을 남겨 두는 옵션도 Qwen3.6이 내세운 기능입니다. Qwen3.8 카드는 코딩, 전문 업무, 리서치, 여러 단계를 거치는 긴 에이전트 작업이 두루 나아졌다고 설명합니다. Qwen3.8에는 추론 강도를 정하는 reasoning_effort 설정도 생겼습니다. 기본값인 xhigh와 medium, low 가운데 고릅니다. 지난 턴의 추론도 기본으로 남깁니다(preserve_thinking). Qwen3.6은 preserve_thinking을 켜야만 지난 추론을 남기고, 기본으로는 마지막 턴의 추론만 씁니다.

Qwen3.8 27B 모델 카드의 벤치마크 표에는 Qwen3.6 27B 열도 있습니다. 두 모델의 점수가 모두 적힌 항목에서는 전부 Qwen3.8의 점수가 높습니다. 다만 제작사가 직접 낸 수치라 이 글에는 옮기지 않습니다. CanRun은 답의 품질을 재지 않습니다. 그래서 이 글은 메모리와 속도만 비교합니다.

CanRun 데이터에서 두 27B가 다른 곳은 GGUF 파일입니다. 위 표의 GGUF 출처 열을 보면 Qwen3.6 27B는 unsloth 파일로 계산합니다. Qwen3.8 27B와 Qwen3.6 35B-A3B는 bartowski 파일로 계산합니다. 그래서 양자화 파일 구성도 조금 다릅니다. CanRun이 계산하는 2비트 파일은 Qwen3.6이 UD-Q2_K_XL, Qwen3.8이 Q2_K입니다.

Qwen3.8 35B-A3B는 없습니다. 2026년 10월에 Qwen의 Hugging Face 페이지를 확인했습니다. Qwen3.8로 공개된 모델은 27B와 그 FP8 판, 훨씬 큰 모델들뿐이었습니다. 큰 모델들은 CanRun이 계산하지 않습니다. 35B-A3B 가운데 가장 최근 모델은 Qwen3.6 35B-A3B입니다. Qwen3.7이라는 모델은 Hugging Face에 공개되지 않았습니다.

Qwen3.6 35B-A3B는 전체 파라미터가 약 35B이고, 토큰마다 쓰는 활성 파라미터는 약 3B입니다. 전문가는 256개이고, 토큰마다 라우팅 전문가 8개와 공유 전문가 1개를 씁니다. 층은 40개이고, 네 층에 한 층만 전체 어텐션을 쓰는 배치는 27B와 같습니다. Qwen3.6과 Qwen3.8에는 작은 모델이 없습니다. 아래 판정 표에 넣은 Qwen3.5 9B는 그보다 앞선 Qwen3.5 때 나온 모델입니다.

모델마다 필요한 메모리

아래 표는 8k 컨텍스트에서 네 모델이 그래픽카드에 올릴 메모리를 보여 줍니다. Q4_K_M 파일에서 그래픽카드에 올라가는 가중치에 KV 캐시(컨텍스트를 담는 메모리)와 연산 버퍼를 더했습니다.

8k 컨텍스트에서 그래픽카드에 필요한 메모리(기본 양자화에서 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼)
모델	파라미터	기본 양자화 · 그래픽카드에 올라가는 가중치	8k KV 캐시	8k 합계
Qwen3.5 9B	9.65B	Q4_K_M · 5.1GB	0.3GB	6.0GB
Qwen3.6 27B	27.78B	Q4_K_M · 16.1GB	0.5GB	17.2GB
Qwen3.8 27B	27.78B	Q4_K_M · 16.5GB	0.5GB	17.6GB
Qwen3.6 35B-A3B	35.95B (활성 3B)	Q4_K_M · 21.1GB	0.2GB	21.8GB

그래픽카드에서는 OS가 VRAM 일부를 따로 씁니다(Windows에서 화면 출력을 맡은 GPU라면 약 0.6GB). llama.cpp는 입력 임베딩 표를 시스템 RAM에 두고 MTP 블록이 있어도 기본 설정에서는 불러오지 않아서, 표의 가중치는 파일보다 조금 작습니다. 맥은 파일 전체로 계산합니다.

8k에서 Qwen3.6 27B는 17.2GB, Qwen3.8 27B는 17.6GB가 필요합니다. 이 차이는 파일에서 납니다. unsloth가 만든 Qwen3.6 27B의 Q4_K_M 파일은 16.8GB입니다. bartowski가 만든 Qwen3.8 27B의 파일은 17.4GB입니다. 같은 Q4_K_M이라도 만든 곳마다 크기가 조금씩 다릅니다. 모델이 달라서 생긴 차이는 아닙니다.

카드가 쓸 수 있는 메모리는 RTX 5060 Ti 16GB가 15.4GB, RTX 3090이 23.4GB입니다. 두 27B는 16GB 카드가 쓸 수 있는 양보다 많이 필요해서, 일부가 시스템 RAM으로 넘어갑니다. RTX 3090에는 둘 다 넉넉히 들어갑니다.

KV 캐시는 작은 편입니다. 네 층에 한 층만 KV 캐시를 두기 때문입니다. 32k에서 Qwen3.6 27B의 KV 캐시는 2.1GB입니다. 모든 층이 전체 어텐션인 Qwen3 32B는 8.6GB로 네 배쯤 됩니다. Qwen3.6 27B는 128k가 되어야 8.6GB에 이릅니다. Qwen3 32B가 32k에서 쓰는 양과 같습니다. 35B-A3B는 KV 헤드가 2개뿐이라 128k에서도 2.7GB에 그칩니다.

Qwen3.6 35B-A3B에는 21.8GB가 필요해 두 27B보다 많습니다. 토큰마다 읽는 파라미터는 약 3B지만, 파일 전체가 메모리에 있어야 하기 때문입니다. Qwen3.5 9B는 6.0GB가 필요합니다. 8GB인 RTX 4060이 쓸 수 있는 7.4GB 안에 전부 들어갑니다.

이 수치는 언어 모델 파일만 센 값입니다. 세 모델의 GGUF 저장소에는 이미지 입력용 비전 프로젝터(mmproj) 파일도 있습니다. llama-server -hf는 이 파일을 기본으로 받아 함께 불러오고, --no-mmproj를 주면 뺍니다. Ollama 라이브러리 태그에도 이 파일이 들어 있습니다. CanRun은 이 파일을 세지 않으니, 여유가 빠듯하면 ollama ps로 확인하세요.

dense 27B와 MoE 35B-A3B — 8GB~32GB 그래픽카드에서

아래 표는 8k 컨텍스트, f16 KV 캐시, 시스템 RAM 32GB(DDR5), Windows를 가정해 판정한 결과입니다. 네 모델 모두 생각 모드가 기본으로 켜져 있어 엄격한 속도 기준을 적용했습니다.

8k 컨텍스트·f16 KV 캐시 기준 판정입니다. PC는 시스템 RAM 32GB(DDR5)와 Windows를, 통합 메모리 기기는 칸에 적은 메모리 용량을 기준으로 합니다. 속도는 오차 범위와 신뢰 라벨을 붙인 추정치입니다.
하드웨어	Qwen3.5 9B	Qwen3.6 27B	Qwen3.8 27B	Qwen3.6 35B-A3B
GeForce RTX 40608GB	쾌적 추정 31.0 tok/s27.3–34.7보정된 추정 ±12%	겨우 가능 추정 3.6 tok/s2.9–4.3보정된 추정 ±20%	겨우 가능 추정 3.4 tok/s2.8–4.1보정된 추정 ±20%	원활 추정 43.6 tok/s30.5–56.6이론 추정 ±30%
GeForce RTX 3060 12GB12GB	쾌적 51.9 tok/s8k 추정 41.1 tok/s (36.1–46.0, 보정된 추정 ±12%)실측 1건 (32k 컨텍스트)	겨우 가능 추정 5.2 tok/s4.2–6.2보정된 추정 ±20%	겨우 가능 추정 4.8 tok/s3.9–5.8보정된 추정 ±20%	원활 추정 54.7 tok/s38.3–71.1이론 추정 ±30%
GeForce RTX 407012GB	쾌적 추정 57.5 tok/s50.6–64.4보정된 추정 ±12%	겨우 가능 추정 5.5 tok/s4.4–6.6보정된 추정 ±20%	겨우 가능 추정 5.1 tok/s4.1–6.2보정된 추정 ±20%	원활 추정 62.5 tok/s43.7–81.2이론 추정 ±30%
GeForce RTX 507012GB	쾌적 추정 76.6 tok/s67.4–85.8보정된 추정 ±12%	겨우 가능 추정 5.8 tok/s4.6–6.9보정된 추정 ±20%	겨우 가능 추정 5.3 tok/s4.3–6.4보정된 추정 ±20%	원활 추정 68.6 tok/s48.0–89.2이론 추정 ±30%
GeForce RTX 5060 Ti 16GB16GB	쾌적 추정 51.1 tok/s45.0–57.2보정된 추정 ±12%	겨우 가능 추정 9.5 tok/s7.6–11.4보정된 추정 ±20%	겨우 가능 추정 8.4 tok/s6.7–10.0보정된 추정 ±20%	원활 추정 69.5 tok/s48.7–90.4이론 추정 ±30%
GeForce RTX 309024GB	쾌적 추정 106.7 tok/s93.9–119.5보정된 추정 ±12%	쾌적 추정 37.7 tok/s33.2–42.3보정된 추정 ±12%	쾌적 추정 36.4 tok/s32.1–40.8보정된 추정 ±12%	쾌적 추정 164.6 tok/s131.6–197.5보정된 추정 ±20%
GeForce RTX 409024GB	쾌적 127.5 tok/s8k 추정 114.9 tok/s (101.2–128.7, 보정된 추정 ±12%)실측 2건 (512/40k 컨텍스트)	쾌적 추정 40.7 tok/s35.8–45.5보정된 추정 ±12%	쾌적 49.8 tok/s8k 추정 39.3 tok/s (34.5–44.0, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트)	쾌적 추정 171.9 tok/s137.5–206.2보정된 추정 ±20%
GeForce RTX 509032GB	쾌적 추정 204.4 tok/s179.8–228.9보정된 추정 ±12%	쾌적 추정 72.3 tok/s63.6–80.9보정된 추정 ±12%	쾌적 81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트)	쾌적 추정 229.8 tok/s183.9–275.8보정된 추정 ±20%

이론 추정(±30%)은 MoE 전문가를 시스템 RAM에 두는 경우처럼 실제 속도의 편차가 큰 구성에 붙습니다. 이때는 VRAM에 들어가는 만큼 전문가를 GPU에 두고 나머지만 RAM에 둔다고 보고 계산합니다.

8GB부터 16GB까지 표의 모든 카드에서 두 27B는 일부가 시스템 RAM에 남아 겨우 돌아갑니다. 모두 보정된 추정입니다. dense 모델은 토큰마다 가중치를 전부 읽어서, RAM에 남은 층이 속도를 끌어내립니다. 표의 어느 카드에서도 두 27B의 판정은 같습니다.

Qwen3.6 35B-A3B는 16GB 이하의 모든 카드에서 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. 토큰마다 라우터가 고른 전문가만 읽으므로, RAM에서 읽어 오는 양이 적습니다. 이렇게 전문가를 RAM에 둔 구성은 추정 속도가 아무리 빨라도 쾌적하다고 보지 않습니다. 8GB인 RTX 4060은 추정 범위의 아래 끝이 기준선에 거의 닿아 있습니다.

시스템 RAM이 16GB면 결과가 달라집니다. RTX 4060과 RTX 3060 12GB에는 35B-A3B가 들어가지 않습니다. RTX 5060 Ti 16GB에는 들어갑니다. VRAM이 클수록 GPU에 두는 전문가가 많아 RAM에 둘 몫이 줄기 때문입니다. 어떻게 나뉘는지는 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에서 설명합니다.

24GB·32GB 카드에서는 두 27B와 35B-A3B가 GPU에 전부 올라가 쾌적하게 돌아갑니다. 같은 카드라면 MoE 모델의 추정 속도가 dense 27B의 몇 배라는 것도 표에서 볼 수 있습니다. RTX 4090과 RTX 5090의 Qwen3.8 27B 속도는 공개 벤치마크에서 실제로 잰 값입니다.

RTX 3090의 35B-A3B는 여유가 적습니다. 필요량 21.8GB가 사용 가능 메모리 23.4GB 안에 들어가지만, 남는 자리는 2GB가 안 됩니다. 비전 파일까지 불러오면 1GB도 남지 않으니 ollama ps로 확인하세요.

Qwen3.5 9B는 표의 모든 카드에서 쾌적하게 돌아갑니다. 다만 8GB인 RTX 4060에서는 엄격한 기준을 간신히 넘습니다. RTX 3060 12GB의 Qwen3.5 9B 속도도 공개 벤치마크에서 잰 값입니다.

16GB 그래픽카드에 맞는 양자화

16GB 카드에서는 어떤 양자화 파일을 받느냐에 따라 결과가 갈립니다. 아래 표는 RTX 5060 Ti 16GB에서 Qwen3.8 27B를 양자화별로 판정한 결과입니다. 모두 보정된 추정입니다.

GeForce RTX 5060 Ti 16GB에서 Qwen3.8 27B: 양자화별 판정 (8k 컨텍스트·f16 KV 캐시)
양자화	품질 등급	판정	속도	메모리
Q8_0	준무손실	불가	추정 2.6 tok/s2.1–3.1보정된 추정 ±20%	16.0 / 16.0GB + RAM 14.8GB
Q4_K_M	균형	겨우 가능	추정 8.4 tok/s6.7–10.0보정된 추정 ±20%	16.0 / 16.0GB + RAM 3.2GB
IQ4_XS	균형	원활	추정 13.4 tok/s10.7–16.1보정된 추정 ±20%	16.0 / 16.0GB + RAM 1.2GB
Q2_K	손실 큼	원활	추정 27.6 tok/s24.3–30.9보정된 추정 ±12%	11.7 / 16.0GB

기본인 Q4_K_M은 앞의 표처럼 일부가 시스템 RAM에 남아 겨우 돌아갑니다. IQ4_XS는 Q4_K_M과 같은 균형 등급이지만, 필요량 15.7GB도 사용 가능 메모리 15.4GB를 넘습니다. 그래서 일부는 여전히 RAM에 남습니다. 그래도 90% 이상이 GPU에 있어 원활하게 돌아갑니다. 추정 속도는 엄격한 기준을 간신히 넘는 정도입니다. CanRun이 이 조합에 제안하는 파일도 IQ4_XS입니다. Qwen3.6 27B도 IQ4_XS에서 같은 결과가 나옵니다.

2비트 파일은 GPU에 전부 들어갑니다. Qwen3.8의 Q2_K(bartowski)와 Qwen3.6의 UD-Q2_K_XL(unsloth) 모두 원활하게 돌아갑니다. 추정 속도가 일반 쾌적 기준은 넘지만, 생각 모드에 쓰는 엄격한 기준에는 못 미칩니다. 두 파일 모두 손실 큼 등급이라 권하지 않습니다. 등급마다 무엇이 다른지는 ‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’ 가이드에 있습니다. Q8_0은 이 카드에서 돌릴 수 없습니다.

같은 RTX 5060 Ti 16GB라도 Qwen3.6 35B-A3B는 결과가 다르게 나옵니다.

GeForce RTX 5060 Ti 16GB에서 Qwen3.6 35B-A3B: 양자화별 판정 (8k 컨텍스트·f16 KV 캐시)
양자화	품질 등급	판정	속도	메모리
Q8_0	준무손실	원활	추정 37.0 tok/s25.9–48.1이론 추정 ±30%	14.6 / 16.0GB + RAM 24.5GB
Q4_K_M	균형	원활	추정 69.5 tok/s48.7–90.4이론 추정 ±30%	15.1 / 16.0GB + RAM 8.5GB
IQ4_XS	균형	원활	추정 83.2 tok/s58.3–108.2이론 추정 ±30%	15.2 / 16.0GB + RAM 5.9GB
Q2_K	손실 큼	쾌적	추정 120.3 tok/s96.2–144.3보정된 추정 ±20%	13.8 / 16.0GB

Q4_K_M과 IQ4_XS는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. 둘 다 이론 추정입니다. Q2_K는 GPU에 전부 들어가 쾌적하게 돌아가고, 이 속도는 보정된 추정입니다. 그래도 손실 큼 등급이라 CanRun은 이 카드에서 Q4_K_M을 기준으로 두고, Q2_K를 제안하지 않습니다. 표에 나온 2비트 줄은 권하는 파일이 아닙니다.

준무손실 등급인 Q8_0도 시스템 RAM이 32GB면 들어갑니다. 전문가 대부분을 RAM에 두고 원활하게 돌아갑니다. 이 속도는 이론 추정이고, 추정 범위의 아래쪽은 기준선 밑까지 내려갑니다.

12GB 카드라면

RTX 3060 12GB에서는 Qwen3.8의 Q2_K가 GPU에 전부 들어가 원활하게 돌아갑니다. 다만 아슬아슬하게 들어가서 비전 파일을 함께 올릴 자리는 없습니다. llama-server라면 --no-mmproj를 붙이고, Ollama라면 ollama ps로 확인하세요. Qwen3.6의 UD-Q2_K_XL은 이 카드에 다 들어가지 않습니다. 일부가 시스템 RAM에 남아 겨우 돌아갑니다. 두 파일 모두 손실 큼 등급입니다.

긴 컨텍스트와 Qwen3.6의 128K 권장

Qwen3.6의 두 모델 카드(27B·35B-A3B)는 생각하는 능력을 지키려면 컨텍스트를 128k 이상으로 두라고 권합니다. Qwen3.8 카드에는 이런 안내가 없습니다. Ollama의 기본값은 이보다 훨씬 짧습니다. Ollama는 감지한 GPU 메모리가 24GiB 미만이면 4k, 24~48GiB면 32k, 48GiB 이상이면 256k 토큰을 기본 컨텍스트 길이로 씁니다 (Ollama 문서, 2026-09-29 확인). 그래서 24GB 카드는 32k, 16GB 카드는 4k로 시작합니다. 권장을 따르려면 컨텍스트를 직접 늘려야 합니다. 방법은 ‘올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값’ 가이드에 있습니다.

아래 표는 RTX 3090에서 Qwen3.6 27B를 컨텍스트 길이와 KV 캐시 종류별로 판정한 결과입니다. 모두 보정된 추정입니다.

GeForce RTX 3090에서 Qwen3.6 27B (Q4_K_M): 컨텍스트 길이·KV 캐시 종류별 메모리와 판정
컨텍스트	KV f16	KV q8_0	KV q4_0
4k	16.9GB쾌적 추정 38.3 tok/s33.7–42.9보정된 추정 ±12%	16.8GB쾌적 추정 38.6 tok/s34.0–43.3보정된 추정 ±12%	16.7GB쾌적 추정 38.8 tok/s34.1–43.4보정된 추정 ±12%
8k	17.2GB쾌적 추정 37.7 tok/s33.2–42.3보정된 추정 ±12%	17.0GB쾌적 추정 38.3 tok/s33.7–42.9보정된 추정 ±12%	16.8GB쾌적 추정 38.6 tok/s34.0–43.2보정된 추정 ±12%
16k	17.8GB쾌적 추정 36.6 tok/s32.2–41.0보정된 추정 ±12%	17.3GB쾌적 추정 37.7 tok/s33.1–42.2보정된 추정 ±12%	17.0GB쾌적 추정 38.3 tok/s33.7–42.8보정된 추정 ±12%
32k	19.0GB쾌적 추정 34.5 tok/s30.4–38.7보정된 추정 ±12%	18.0GB쾌적 추정 36.5 tok/s32.1–40.8보정된 추정 ±12%	17.5GB쾌적 추정 37.6 tok/s33.1–42.1보정된 추정 ±12%
64k	21.5GB쾌적 추정 31.0 tok/s27.3–34.8보정된 추정 ±12%	19.5GB쾌적 추정 34.3 tok/s30.2–38.4보정된 추정 ±12%	18.4GB쾌적 추정 36.3 tok/s32.0–40.7보정된 추정 ±12%
128k	26.4GB겨우 가능 추정 6.4 tok/s5.2–7.7보정된 추정 ±20%	22.4GB쾌적 추정 30.6 tok/s26.9–34.3보정된 추정 ±12%	20.2GB쾌적 추정 34.0 tok/s29.9–38.1보정된 추정 ±12%
256k	36.2GB불가 추정 1.6 tok/s1.3–1.9보정된 추정 ±20%	28.2GB겨우 가능 추정 4.6 tok/s3.7–5.5보정된 추정 ±20%	23.9GB원활 추정 15.2 tok/s12.2–18.2보정된 추정 ±20%

S = 쾌적 · A = 원활 · B = 겨우 가능 · F = 불가

f16 캐시로 64k까지는 GPU에 남아 쾌적하게 돌아갑니다. 다만 64k에서는 기준선을 간신히 넘습니다. 128k에서 f16이면 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. q8_0 캐시로 바꾸면 128k도 GPU에 남아 쾌적하게 돌아갑니다. 이때 여유는 1GB 안팎이고 속도도 기준선 바로 위입니다. 비전 파일은 함께 올리지 말고, ollama ps로 확인하세요. q4_0 캐시면 자리가 더 남습니다.

Qwen3.8 27B는 같은 128k·q8_0에서 원활하게 돌아갑니다. 두 모델의 추정치가 엄격한 기준선 양쪽에 걸쳐 있어서 판정이 갈렸을 뿐입니다. 실제 속도 차이로 볼 일은 아닙니다. 여유도 1GB가 안 돼 비전 파일을 올릴 자리가 없습니다. q4_0 캐시면 쾌적하게 돌아갑니다.

RTX 3090에서 Qwen3.6 35B-A3B는 f16 캐시로 32k까지 GPU에 남아 쾌적하게 돌아갑니다. 다만 32k에서는 여유가 1GB도 안 됩니다. Ollama가 24GB 카드에서 처음 쓰는 컨텍스트가 32k라, 비전 파일까지 올리면 자리가 모자랄 수 있습니다. ollama ps로 확인하세요. 64k에서 f16이면 전문가 일부가 RAM으로 옮겨 가고, 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. q8_0 캐시면 64k도 아슬아슬하게 GPU에 남아 쾌적하게 돌아갑니다. 128k에서 f16이면 원활하게 돌아가고, 이 속도도 이론 추정입니다.

16GB인 RTX 5060 Ti에서는 Qwen3.6 27B를 128k·f16으로 돌릴 수 없습니다. q4_0 캐시로 바꾸면 겨우 돌아갑니다. Qwen3.6 35B-A3B는 같은 카드에서 128k·f16으로도 원활하게 돌아갑니다. 이 속도는 이론 추정입니다.

Ollama에서는 KV 캐시 종류를 서버를 띄울 때 정합니다. Ollama는 서버를 띄울 때 OLLAMA_KV_CACHE_TYPE(f16·q8_0·q4_0)을 지정하고 플래시 어텐션을 켜야만 KV 캐시를 양자화합니다. 이 설정은 그 서버가 돌리는 모든 모델에 적용됩니다 (Ollama 문서, 2026-09-29 확인). Windows에서는 작업 표시줄에서 Ollama 앱을 끈 뒤, PowerShell에서 이렇게 띄웁니다.

$env:OLLAMA_CONTEXT_LENGTH="131072"; $env:OLLAMA_FLASH_ATTENTION="1"; $env:OLLAMA_KV_CACHE_TYPE="q8_0"; ollama serve

macOS·Linux에서는 OLLAMA_CONTEXT_LENGTH=131072 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve로 씁니다. llama.cpp라면 -fa on --cache-type-k q8_0 --cache-type-v q8_0을 붙입니다. 캐시 종류별 차이는 ‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’ 가이드에서 설명합니다.

생각 모드 — 엄격한 속도 기준과 끄는 법

네 모델 모두 생각 모드가 기본으로 켜져 있어서, CanRun은 속도 기준을 1.5배 엄격하게 적용합니다. 생각 모드를 꺼도 판정은 바뀌지 않습니다. 판정은 사용자 설정이 아니라 모델을 기준으로 하기 때문입니다. Q2_K로 받은 Qwen3.8 27B가 좋은 예입니다. RTX 5060 Ti 16GB에서 GPU에 전부 올라가는데도 원활하게 돌아갑니다. 추정 속도가 일반 쾌적 기준은 넘지만, 엄격한 기준에는 못 미치기 때문입니다.

Ollama에서는 ollama run qwen3.8:27b --think=false로 끄거나, 대화 중에 /set nothink를 입력합니다. API로는 "think": false를 보냅니다. OpenAI 호환 /v1 엔드포인트에는 "reasoning_effort": "none"을 보냅니다. llama-server는 --reasoning off(-rea off)로 띄웁니다. 요청마다 끄려면 "chat_template_kwargs": {"enable_thinking": false}를 보냅니다. 두 모델 카드도 이 방법을 안내합니다. Qwen3.6 카드에 따르면 Qwen3의 /think·/nothink 태그는 공식 지원하지 않습니다.

Qwen3.8의 채팅 템플릿은 reasoning_effort 값으로 xhigh(기본값)·medium·low만 받습니다. 다른 값을 주면 오류가 납니다. llama-server에서는 --reasoning-effort low처럼 주면 이 값이 템플릿으로 넘어갑니다. Qwen3.6 템플릿에는 강도 단계가 없습니다.

Qwen3.8은 지난 턴의 생각을 기본으로 남기고(preserve_thinking), Qwen3.6은 켜야만 남깁니다. 런타임이 지난 생각을 다시 보낸다면 그 생각도 다른 대화 내용처럼 컨텍스트를 차지합니다. 그러면 대화가 길어질수록 컨텍스트가 더 빨리 찹니다. 생각 모드 전반은 ‘생각 모드(리즈닝) 모델의 속도 비용 — 켜고 끄는 법’ 가이드에서 다룹니다.

Ollama 태그와 llama.cpp 명령

Ollama의 qwen3.6(qwen3.6:latest)은 35B-A3B입니다. qwen3.6:35b-a3b와 같은 파일이고, dense 모델은 qwen3.6:27b입니다. 그래서 ollama run qwen3.6으로는 27B가 아니라 35B-A3B를 받습니다. qwen3.8(latest)은 qwen3.8:27b이고, qwen3.8에는 35B-A3B 태그가 없습니다. 기본 태그는 Q4_K_M이고 비전 프로젝터가 함께 들어 있습니다. 목록에는 q8_0, bf16, mtp 태그도 있습니다.

CanRun 계산으로는 16GB 카드에서 Q4_K_M인 Qwen3.8 27B가 일부를 RAM에 두고 겨우 돌아갑니다. 기본 태그도 Q4_K_M이지만, Ollama 라이브러리의 파일은 Ollama가 직접 만든 것이라 CanRun이 계산한 파일과 다릅니다. CanRun이 계산한 파일을 그대로 쓰려면 hf.co/ 형식으로 받습니다.

ollama run hf.co/bartowski/Qwen3.8-27B-GGUF:IQ4_XS
ollama run hf.co/unsloth/Qwen3.6-27B-GGUF:IQ4_XS
ollama run hf.co/bartowski/Qwen_Qwen3.6-35B-A3B-GGUF:Q4_K_M

컨텍스트를 정하려면 작업 표시줄에서 Ollama 앱을 먼저 종료합니다. 그다음 PowerShell에서 $env:OLLAMA_CONTEXT_LENGTH="8192"; ollama serve로 서버를 띄우고, 모델은 다른 창에서 실행합니다. macOS·Linux에서는 OLLAMA_CONTEXT_LENGTH=8192 ollama serve로 씁니다.

llama.cpp는 Windows에서 .\llama-server.exe, macOS·Linux에서 llama-server로 실행합니다. 아래는 CanRun이 RTX 5060 Ti 16GB에 맞춰 계산한 명령입니다.

.\llama-server.exe -hf bartowski/Qwen3.8-27B-GGUF:Q4_K_M -c 8192 -ngl 52 -fa on
.\llama-server.exe -hf bartowski/Qwen_Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192 -ngl all --n-cpu-moe 15 -fa on

두 번째 명령의 -ngl all은 모든 층을 GPU에 올리고, --n-cpu-moe 15는 앞쪽 15개 층의 전문가를 시스템 RAM에 둡니다. CanRun 계산으로는 35B-A3B가 이 카드에서 전문가 일부를 RAM에 두기 때문입니다. IQ4_XS라면 배치를 --fit에 맡깁니다. .\llama-server.exe -hf bartowski/Qwen3.8-27B-GGUF:IQ4_XS -c 8192로 실행하면 됩니다. 이미지 없이 글만 쓴다면 --no-mmproj를, 생각 모드를 끄려면 --reasoning off를 붙입니다.

런타임이 실제로 배치하는 방식은 CanRun 계산과 다를 수 있습니다. ollama ps의 PROCESSOR 열이나 llama.cpp 시작 로그에서 확인하세요. MoE 모델을 나눠 올리는 방식은 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에서 설명합니다.

이 숫자는 얼마나 확실한가

메모리는 GGUF 헤더를 읽어 공식으로 계산한 값이라 오차 범위를 붙이지 않습니다. MTP 블록과 비전 파일은 빼고 계산했고, 속도도 MTP를 끈 상태로 추정했습니다. 속도에는 신뢰 라벨이 붙습니다. ‘보정된 추정’은 NVIDIA 카드에서 dense 모델을 GPU에만 올리면 ±12%입니다. 부분 오프로드나 MoE 모델이면 ±20%입니다. ‘이론 추정’은 ±30%이고, 전문가를 시스템 RAM에 둔 구성에 붙습니다.

이 글의 표에서 ‘실측’ 라벨은 네 조합에 붙어 있습니다. RTX 4090·RTX 5090의 Qwen3.8 27B, RTX 3060 12GB·RTX 4090의 Qwen3.5 9B입니다. 8~16GB 카드의 Qwen3.6 35B-A3B는 이론 추정이고, 나머지는 모두 보정된 추정입니다.

아래는 RTX 4090에서 Qwen3.8 27B를 실제로 잰 결과입니다.

벤치마크 결과: GeForce RTX 4090에서 Qwen3.8 27B (Q4_K_M)

49.8 tok/s8k 추정 39.3 tok/s (34.5–44.0, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트)

출처: github.com

이 결과는 llama.cpp GitHub 이슈 댓글로 올라온 값입니다. Linux에서 llama-bench로 쟀고, 프롬프트는 1k 토큰, 생성은 400토큰이었습니다. 파일은 Ollama의 Q4_K_M이라, CanRun이 계산에 쓰는 bartowski 파일보다 조금 작습니다. CanRun이 직접 잰 값이 아니며, 옆에 CanRun의 8k 추정 범위가 함께 나옵니다. 공개 결과는 추정 범위보다 높습니다. 파일이 더 작고 운영체제도 달라서 생긴 차이일 수 있습니다.

두 번째 결과는 Ryzen AI Max+ 395 (Strix Halo)에서 Qwen3.6 35B-A3B를 잰 것입니다. 이 PC는 그래픽카드가 아니라 통합 메모리를 씁니다. CanRun은 이 PC를 메모리 64GB로 놓고 계산하는데, 그러면 파일 전체가 GPU가 읽는 메모리에 들어갑니다. 이 결과를 반영한 CanRun 판정으로는 64GB 구성에서 쾌적하게 돌아갑니다.

벤치마크 결과: Ryzen AI Max+ 395 (Strix Halo)에서 Qwen3.6 35B-A3B (Q4_K_M)

63.8 tok/s8k 추정 63.1 tok/s (50.5–75.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)

출처: github.com

이 값은 llama.cpp 이슈 댓글에 올라온 것으로, llama-bench를 Vulkan 백엔드로 돌려 쟀습니다. GGUF 파일을 누가 만들었는지는 적혀 있지 않습니다. 그래픽카드에서 전문가를 시스템 RAM에 두는 구성은 계속 이론 추정으로 둡니다. 공개 결과와 비교하면 공식의 평균 오차는 10% 안팎이었지만, 40% 가까이 벗어난 구성도 있었습니다. 자세한 비교는 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에 있습니다.

표의 값은 다음 조건을 가정합니다. Windows에서 그 카드가 화면 출력도 맡고, 시스템 RAM은 32GB(DDR5-5600 듀얼 채널)입니다. 8k 컨텍스트와 f16 KV 캐시로 모델 하나를 띄워, 요청을 하나씩 처리합니다. 아래 기준표는 일반 기준입니다. 이 글의 네 모델은 생각 모드 모델이라, 표의 속도에 모두 1.5를 곱해서 보면 됩니다.

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

다음 단계

‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’: 전문가를 시스템 RAM에 두는 배치와 카드별로 필요한 RAM
‘GGUF 양자화 등급 정리 — Q4_K_M·IQ4_XS·Q8_0 무엇을 받을까’: 양자화 등급과 2비트 파일의 품질 손실
‘생각 모드(리즈닝) 모델의 속도 비용 — 켜고 끄는 법’: 생각 모드 모델의 속도 기준과 끄는 법
‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’: 긴 컨텍스트와 KV 캐시를 줄이는 법
‘올라마(Ollama)가 느리거나 앞 내용을 잊을 때 — 컨텍스트 기본값’: Ollama의 기본 컨텍스트와 바꾸는 법
‘AI용 그래픽카드 추천 — 예산별로 돌릴 수 있는 로컬 LLM (2026)’: 메모리 용량별 그래픽카드와 가격
Qwen3.6 27B, Qwen3.8 27B, Qwen3.6 35B-A3B, Qwen3.5 9B 모델 페이지에서 모든 카드의 결과를 볼 수 있습니다.

자주 묻는 질문

Qwen3.8 27B가 Qwen3.6 27B보다 성능이 좋은가요?

모델 카드는 그렇다고 하지만, CanRun이 확인한 것은 아닙니다. Qwen3.8 27B 모델 카드는 두 모델의 점수가 모두 있는 벤치마크 항목에서 전부 Qwen3.8이 높다고 보고합니다. 제작사가 직접 낸 수치이고, CanRun은 답의 품질을 재지 않습니다. 메모리와 속도는 거의 같아서, RTX 3090에서는 둘 다 쾌적하게 돌아갑니다.

Qwen3.8 27B는 Qwen3.6 27B보다 VRAM이 더 필요한가요?

거의 차이가 없습니다. 구조가 같고, 작은 차이는 GGUF 파일을 만든 곳이 달라서 생깁니다. 8k에서 Qwen3.6 27B는 17.2GB, Qwen3.8 27B는 17.6GB가 필요합니다. 그래서 RTX 5060 Ti 16GB에서는 둘 다 일부가 시스템 RAM에 남아 겨우 돌아갑니다.

16GB 그래픽카드로 Qwen3.6 27B나 35B-A3B를 돌릴 수 있나요?

둘 다 돌릴 수 있지만, 올라가는 방식이 다릅니다. RTX 5060 Ti 16GB로 계산하면 35B-A3B는 전문가 일부를 시스템 RAM에 두고 들어갑니다. 27B는 Q4_K_M이면 일부가 RAM에 남아 겨우 돌아갑니다. IQ4_XS로 받으면 원활하게 돌아갑니다. 2비트 파일은 GPU에 전부 들어가지만, 품질은 손실 큼 등급입니다.

Qwen3.8 35B-A3B는 없나요?

없습니다. 2026년 10월에 확인한 Qwen의 Hugging Face 페이지에는 Qwen3.8 35B-A3B가 없었습니다. 그곳의 Qwen3.8 모델은 27B와 훨씬 큰 모델들입니다. 가장 최근의 35B-A3B는 Qwen3.6 것이고, RTX 3090에서는 GPU에 전부 올라가 쾌적하게 돌아갑니다.

Qwen3.6·Qwen3.8의 생각 모드는 어떻게 끄나요?

Ollama에서는 --think=false, llama-server에서는 --reasoning off로 끕니다. 요청마다 끄려면 chat_template_kwargs로 enable_thinking: false를 보냅니다. Qwen3.6 카드에 따르면 Qwen3의 /think·/nothink 태그는 공식 지원하지 않습니다. 생각 모드를 꺼도 CanRun 판정은 그대로입니다. 판정은 모델을 기준으로 하기 때문입니다.

출처

Qwen3.6-27B 모델 카드: 층 배치, 컨텍스트, 128K 이상 권장, /think·/nothink 공식 미지원, enable_thinking, 켜야 하는 preserve_thinking, Apache 2.0 라이선스
Qwen3.8-27B 모델 카드: Qwen3.5 구조 기반, 기본으로 켜진 생각 모드, reasoning_effort 단계, 기본으로 켜진 preserve_thinking, Qwen3.6 27B가 함께 실린 벤치마크 표, 기본 컨텍스트와 확장
Qwen3.6-35B-A3B 모델 카드: 전체 35B·활성 3B, 전문가 256개 중 라우팅 8개와 공유 1개, 40층, 128K 이상 권장
Qwen3.8-27B 채팅 템플릿: reasoning_effort 기본값 xhigh, xhigh·medium·low만 허용, preserve_thinking 기본값
Qwen3.6-27B 설정 파일·Qwen3.8-27B 설정 파일: 같은 구조 이름, 64층, 네 번째 층마다 전체 어텐션
QwenLM/Qwen3.8 GitHub 저장소: 공개 날짜가 적힌 소식 목록, Qwen3.5·Qwen3.6·Qwen3.8을 아우르는 하나의 시리즈
unsloth Qwen3.6-27B GGUF·bartowski Qwen3.8-27B GGUF·bartowski Qwen3.6-35B-A3B GGUF: 2비트 파일과 mmproj를 포함한 파일 목록
Ollama qwen3.6 태그·Ollama qwen3.8 태그: 태그와 모델의 대응, 비전 프로젝터가 든 Q4_K_M 기본 태그
Ollama 문서: 생각 모드: API 요청의 think 필드
Ollama 블로그: 생각 모드: 명령줄의 --think=false, 대화 중 /set nothink
Ollama v0.40.4 소스: openai/openai.go: OpenAI 호환 엔드포인트에서 reasoning_effort 값 none으로 생각 모드를 끄는 처리
Ollama 문서: 컨텍스트 길이: 기본 컨텍스트
Ollama FAQ: ollama ps, OLLAMA_KV_CACHE_TYPE
Hugging Face의 Ollama 사용 안내: hf.co/사용자/저장소:양자화 형식
llama.cpp 서버 README: -hf가 mmproj를 자동으로 받고 --no-mmproj로 끈다는 설명, --reasoning, --reasoning-effort, --chat-template-kwargs, --fit, --n-cpu-moe, --cache-type-k·--cache-type-v, -fa
llama.cpp 이슈 #28196 댓글: RTX 4090의 Qwen3.8 27B 공개 벤치마크 결과
llama.cpp 이슈 #22375 댓글: Strix Halo의 Qwen3.6 35B-A3B 공개 벤치마크 결과

이 페이지의 속도는 오차 범위와 신뢰 라벨을 붙인 추정치이거나, 출처를 밝힌 공개 벤치마크 결과입니다. 판정은 표마다 적어 둔 구성을 기준으로 합니다.