노트북으로 로컬 LLM — 노트북 GPU는 이름이 같아도 VRAM이 다를 수 있다
CanRun · 2026년 10월 15일 업데이트
게이밍 노트북으로 로컬 LLM을 돌리려면 GPU 이름보다 VRAM 용량을 먼저 봐야 합니다. 노트북 GPU는 이름이 같은 데스크톱 카드보다 VRAM이 적고 대역폭도 낮을 수 있습니다. 예를 들어 RTX 4090 Laptop은 16GB인데, 데스크톱 RTX 4090은 24GB입니다. 8k 컨텍스트에서 Llama 3.1 8B는 CanRun 데이터의 노트북 GPU 7종 모두에서 쾌적하게 돌아갑니다. Qwen3 14B는 12GB부터 GPU에 다 올라가지만, 12GB에서는 여유가 적습니다. gpt-oss-20b는 16GB부터 다 올라갑니다. Qwen3.8 27B 같은 27B급 dense 모델은 24GB인 RTX 5090 Laptop에만 다 들어갑니다.
노트북 GPU별 판정
CanRun 카탈로그에는 NVIDIA 노트북 GPU가 7종 있습니다. VRAM으로 나누면 네 구간입니다.
- 8GB: GeForce RTX 4060 Laptop, GeForce RTX 4070 Laptop
- 12GB: GeForce RTX 4080 Laptop, GeForce RTX 5070 Ti Laptop
- 16GB: GeForce RTX 4090 Laptop, GeForce RTX 5080 Laptop
- 24GB: GeForce RTX 5090 Laptop
NVIDIA 비교 페이지에는 RTX 5060 Laptop·RTX 5050 Laptop(8GB)과 RTX 4050 Laptop(6GB)도 있습니다. 이 칩들은 아직 CanRun 카탈로그에 없습니다. 8GB 칩이라면 들어가는 모델은 위의 8GB 칩 두 개와 같고, 6GB 칩에는 그보다 적게 들어갑니다. 속도는 칩마다 대역폭에 따라 다릅니다.
아래 표는 칩마다 카탈로그의 모든 모델을 판정해, 판정별로 몇 개인지 센 결과입니다. 8k 컨텍스트, 시스템 RAM 32GB, Windows를 가정했습니다. GPU만으로 돌릴 수 있는 가장 큰 모델도 함께 보여 줍니다. 개수는 모델이 추가될 때마다 바뀌니 칩끼리 비교하는 데 쓰세요.
| 하드웨어 | 메모리 | 쾌적 | 원활 | 겨우 가능 | 불가 | GPU만으로 도는 가장 큰 모델 |
|---|---|---|---|---|---|---|
| GeForce RTX 4060 Laptop | 8GB | 14 | 15 | 14 | 16 | Gemma 4 12B IQ4_XS |
| GeForce RTX 4070 Laptop | 8GB | 14 | 15 | 14 | 16 | Gemma 4 12B IQ4_XS |
| GeForce RTX 4080 Laptop | 12GB | 24 | 11 | 14 | 10 | Kanana 1.5 15.7B-A3B IQ4_XS |
| GeForce RTX 5070 Ti Laptop | 12GB | 27 | 8 | 14 | 10 | Kanana 1.5 15.7B-A3B IQ4_XS |
| GeForce RTX 4090 Laptop | 16GB | 29 | 8 | 12 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 5080 Laptop | 16GB | 29 | 8 | 12 | 10 | Muse Glimmer 30B IQ4_XS |
| GeForce RTX 5090 Laptop | 24GB | 44 | 5 | 0 | 10 | Qwen3.5 35B-A3B Q4_K_M |
CanRun 계산에서는 칩이 쓸 수 있는 메모리로만 들어가는지가 정해지니, VRAM이 같은 칩은 들어가는 모델도 같습니다. CanRun은 Windows에서 이 GPU가 화면 출력도 맡는다고 보고 VRAM 일부를 남겨 둡니다. 8GB 노트북 칩이라면 7.4GB를 쓸 수 있다고 봅니다. 24GB인 RTX 5090 Laptop은 23.4GB를 씁니다.
하이브리드(Optimus) 모드인 게이밍 노트북은 사정이 다릅니다. NVIDIA의 원래 Optimus 방식에서는 화면을 내장 그래픽이 그리고, GeForce 칩은 렌더링만 맡습니다. 이때는 GeForce 칩의 VRAM이 그만큼 남습니다. Advanced Optimus나 외장 GPU 전용 설정을 쓰면 GeForce 칩이 화면을 직접 맡습니다. 노트북이 하이브리드 모드라면 계산기에서 ‘이 GPU로 모니터 출력 중’을 끄고 계산하세요. 외장 GPU만 쓰도록 설정했다면 켜 둡니다.
모델이 다 들어간 뒤의 생성 속도는 메모리 대역폭을 따라갑니다. 대역폭은 GPU가 자기 VRAM을 읽는 속도입니다. 이유는 ‘로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가’ 가이드에서 설명합니다. 용량이 같은 칩끼리도 결과가 갈리는 것은 이 대역폭 때문입니다. 대역폭은 RTX 4080 Laptop이 432 GB/s, RTX 5070 Ti Laptop이 672 GB/s입니다. Qwen3 14B는 두 칩에 모두 들어갑니다. 그런데 RTX 4080 Laptop에서는 원활하게, RTX 5070 Ti Laptop에서는 쾌적하게 돌아갑니다.
Qwen3 14B에는 답하기 전에 먼저 생각하는 모드가 있습니다. 생각 모드를 켜면 답 하나에 토큰을 훨씬 많이 씁니다. 그래서 CanRun은 이런 모델의 속도 기준을 1.5배로 높여 잡습니다. RTX 4080 Laptop은 이 기준선 바로 아래이고, 그 차이는 오차 범위 안입니다. RTX 5070 Ti Laptop은 기준선을 여유 있게 넘습니다.
반대로 이름이 달라도 결과가 같은 짝도 있습니다. NVIDIA 사양에서 RTX 4060 Laptop과 RTX 4070 Laptop은 둘 다 128비트 버스의 8GB입니다. CanRun 데이터의 대역폭도 둘 다 256 GB/s입니다. 생성 속도 추정이 같으니 판정도 같습니다. Llama 3.1 8B는 두 칩 모두에서 쾌적하게 돌아갑니다. Qwen3 14B는 두 칩 모두에서 겨우 돌아갑니다. RTX 4070 Laptop은 연산 성능이 더 높습니다. 그만큼 CanRun의 프롬프트 처리 속도 추정은 올라가지만, 생성 속도 추정은 그대로입니다. RTX 5080 Laptop과 RTX 5090 Laptop도 대역폭이 896 GB/s로 같습니다. 두 칩에 모두 들어가는 모델은 예상 속도도 같습니다. RTX 5090 Laptop의 VRAM 8GB 차이는 속도가 아니라 들어가는 모델을 바꿉니다.
같은 이름, 다른 카드 — 데스크톱과 비교
아래 표는 노트북 GPU마다 이름이 같은 데스크톱 카드를 바로 아래 줄에 붙였습니다. 8k 컨텍스트, f16 KV 캐시(컨텍스트를 담는 메모리), 시스템 RAM 32GB(DDR5), Windows를 가정했습니다. 칸마다 판정, 예상 속도 범위, 신뢰 라벨이 들어 있습니다. 이론 추정 칸이 있으면 표 아래에 설명이 붙습니다.
| 하드웨어 | Llama 3.1 8B | Qwen3 14B | gpt-oss-20b | Qwen3.8 27B | Qwen3.5 35B-A3B |
|---|---|---|---|---|---|
| GeForce RTX 4060 Laptop8GB | 쾌적 추정 29.9 tok/s26.3–33.5보정된 추정 ±12% | 겨우 가능 추정 8.0 tok/s6.4–9.6보정된 추정 ±20% | 원활 추정 36.0 tok/s25.2–46.8이론 추정 ±30% | 겨우 가능 추정 3.4 tok/s2.7–4.1보정된 추정 ±20% | 원활 추정 38.2 tok/s26.7–49.6이론 추정 ±30% |
| GeForce RTX 40608GB | 쾌적 38.1 tok/s8k 추정 31.8 tok/s (28.0–35.6, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) GeForce RTX 4060에서 Llama 3.1 8B 판정 보기 | ||||
| GeForce RTX 4070 Laptop8GB | 쾌적 추정 29.9 tok/s26.3–33.5보정된 추정 ±12% | 겨우 가능 추정 8.0 tok/s6.4–9.6보정된 추정 ±20% | 원활 추정 36.0 tok/s25.2–46.8이론 추정 ±30% | 겨우 가능 추정 3.4 tok/s2.7–4.1보정된 추정 ±20% | 원활 추정 38.2 tok/s26.7–49.6이론 추정 ±30% |
| GeForce RTX 407012GB | |||||
| GeForce RTX 4080 Laptop12GB | 쾌적 추정 50.5 tok/s44.4–56.5보정된 추정 ±12% | 원활 추정 29.2 tok/s25.7–32.7보정된 추정 ±12% | 원활 추정 71.7 tok/s50.2–93.2이론 추정 ±30% | 겨우 가능 추정 5.0 tok/s4.0–6.0보정된 추정 ±20% | 원활 추정 53.6 tok/s37.5–69.7이론 추정 ±30% |
| GeForce RTX 408016GB | 쾌적 추정 83.7 tok/s73.7–93.8보정된 추정 ±12% | 쾌적 추정 48.5 tok/s42.7–54.4보정된 추정 ±12% | 쾌적 추정 159.6 tok/s127.7–191.5보정된 추정 ±20% | 겨우 가능 추정 9.8 tok/s7.9–11.8보정된 추정 ±20% | 원활 추정 77.0 tok/s53.9–100.1이론 추정 ±30% |
| GeForce RTX 5070 Ti Laptop12GB | 쾌적 추정 78.5 tok/s69.1–87.9보정된 추정 ±12% | 쾌적 추정 45.5 tok/s40.0–50.9보정된 추정 ±12% | 원활 추정 91.6 tok/s64.1–119.1이론 추정 ±30% | 겨우 가능 추정 5.3 tok/s4.3–6.4보정된 추정 ±20% | 원활 추정 63.3 tok/s44.3–82.3이론 추정 ±30% |
| GeForce RTX 5070 Ti16GB | 쾌적 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% | 쾌적 189.5 tok/s8k 추정 193.7 tok/s (155.0–232.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 겨우 가능 추정 10.4 tok/s8.3–12.5보정된 추정 ±20% | 원활 추정 83.5 tok/s58.5–108.6이론 추정 ±30% |
| GeForce RTX 4090 Laptop16GB | 쾌적 추정 67.3 tok/s59.2–75.3보정된 추정 ±12% | 쾌적 추정 39.0 tok/s34.3–43.7보정된 추정 ±12% | 쾌적 추정 131.3 tok/s105.0–157.5보정된 추정 ±20% | 겨우 가능 추정 9.2 tok/s7.3–11.0보정된 추정 ±20% | 원활 추정 70.3 tok/s49.2–91.4이론 추정 ±30% |
| GeForce RTX 409024GB | 쾌적 91.0 tok/s8k 추정 117.7 tok/s (103.6–131.8, 보정된 추정 ±12%)실측 1건 (4k 컨텍스트) GeForce RTX 4090에서 Llama 3.1 8B 판정 보기 | 쾌적 225.2 tok/s8k 추정 214.1 tok/s (171.3–256.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) GeForce RTX 4090에서 gpt-oss-20b 판정 보기 | 쾌적 49.8 tok/s8k 추정 39.3 tok/s (34.5–44.0, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) GeForce RTX 4090에서 Qwen3.8 27B 판정 보기 | ||
| GeForce RTX 5080 Laptop16GB | 쾌적 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% | 쾌적 추정 193.7 tok/s155.0–232.5보정된 추정 ±20% | 겨우 가능 추정 10.4 tok/s8.3–12.5보정된 추정 ±20% | 원활 추정 83.5 tok/s58.5–108.6이론 추정 ±30% |
| GeForce RTX 508016GB | 쾌적 추정 112.1 tok/s98.7–125.6보정된 추정 ±12% | 쾌적 추정 65.0 tok/s57.2–72.8보정된 추정 ±12% | 쾌적 204.9 tok/s8k 추정 205.5 tok/s (164.4–246.6, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | 겨우 가능 추정 10.6 tok/s8.5–12.7보정된 추정 ±20% | 원활 추정 85.5 tok/s59.8–111.1이론 추정 ±30% |
| GeForce RTX 5090 Laptop24GB | 쾌적 추정 104.6 tok/s92.1–117.2보정된 추정 ±12% | 쾌적 추정 60.6 tok/s53.4–67.9보정된 추정 ±12% | 쾌적 추정 193.7 tok/s155.0–232.5보정된 추정 ±20% | 쾌적 추정 34.9 tok/s30.7–39.1보정된 추정 ±12% | 쾌적 추정 144.7 tok/s115.8–173.7보정된 추정 ±20% |
| GeForce RTX 509032GB | 쾌적 282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) GeForce RTX 5090에서 gpt-oss-20b 판정 보기 | 쾌적 81.8 tok/s8k 추정 69.8 tok/s (61.4–78.2, 보정된 추정 ±12%)실측 1건 (1k 컨텍스트) GeForce RTX 5090에서 Qwen3.8 27B 판정 보기 |
이론 추정(±30%)은 MoE 전문가를 시스템 RAM에 두는 경우처럼 실제 속도의 편차가 큰 구성에 붙습니다. 이때는 VRAM에 들어가는 만큼 전문가를 GPU에 두고 나머지만 RAM에 둔다고 보고 계산합니다.
VRAM이 같은 짝은 둘뿐입니다. RTX 4060 Laptop과 RTX 4060은 둘 다 8GB입니다. RTX 5080 Laptop과 RTX 5080은 둘 다 16GB입니다. 나머지 노트북 칩 다섯 개는 데스크톱 카드보다 VRAM이 4GB나 8GB 적습니다. 메모리 대역폭은 표의 모든 노트북 칩이 데스크톱 카드보다 낮습니다.
8GB: RTX 4060 Laptop과 RTX 4070 Laptop
데스크톱 카드와 가장 비슷한 칩은 RTX 4060 Laptop입니다. VRAM은 같은 8GB이고, 대역폭은 256 GB/s로 데스크톱 카드의 272 GB/s보다 조금 낮습니다. 들어가는 모델은 같고 예상 속도만 조금 다릅니다.
gpt-oss-20b는 MoE 모델이라, 8GB 카드에서는 전문가 가중치 일부를 시스템 RAM에 둡니다. gpt-oss-20b는 늘 생각하는 모델이라 ‘원활’을 받으려면 기준표보다 1.5배 높은 기준선을 넘어야 합니다. 데스크톱 RTX 4060과 노트북 칩 모두 이 기준선을 넘어 원활하게 돌아갑니다. 둘 다 이론 추정(±30%)이고 차이는 몇 퍼센트뿐입니다. 두 칩의 결과는 같다고 보는 편이 맞습니다.
이름 때문에 가장 헷갈리기 쉬운 칩은 RTX 4070 Laptop입니다. 데스크톱 RTX 4070은 12GB인데, 노트북 칩은 8GB입니다. 대역폭도 256 GB/s로, 데스크톱 카드(504 GB/s)의 절반 정도입니다. 흔히 쓰는 4비트 양자화인 Q4_K_M으로 받은 Qwen3 14B는 8k에서 10.5GB가 필요합니다. 데스크톱 카드에는 다 들어가 쾌적하게 돌아갑니다. 하지만 노트북 칩이 쓸 수 있는 메모리는 7.4GB라서, 모델 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. 표에 없는 Gemma 3 12B도 같은 식으로 갈립니다.
12GB: RTX 4080 Laptop과 RTX 5070 Ti Laptop
12GB 노트북 칩 두 개는 이름만 보면 16GB 데스크톱 카드와 같습니다. 12GB와 16GB를 가르는 모델은 gpt-oss-20b입니다. 8k에서 12.3GB가 필요합니다. 데스크톱 RTX 4080과 RTX 5070 Ti에서는 GPU에 다 올라가 쾌적하게 돌아갑니다. 이 중 RTX 5070 Ti 칸은 추정이 아니라 공개 벤치마크 결과입니다. 두 노트북 칩에서는 들어가지 않는 전문가 가중치를 시스템 RAM에 두고 원활하게 돌아갑니다(이론 추정). 모델 카드에는 16GB 메모리 안에서 돌아간다고 적혀 있습니다. CanRun 계산으로도 16GB 노트북 GPU에는 다 들어가고 12GB에는 다 들어가지 않습니다.
12GB 칩 두 개 모두 8k에서는 Qwen3 14B가 1GB도 남지 않게 들어갑니다. 여유가 적으니 ollama ps로 확인하세요. f16 KV 캐시로 16k를 쓰면 일부가 시스템 RAM으로 넘어갑니다. KV 캐시를 q8_0(8비트)으로 바꾸면 다시 GPU에 들어갑니다. 생각을 길게 하는 모델에게 8k는 짧은 편이라 이 설정이 쓸모 있습니다. 자세한 내용은 ‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’ 가이드에 있습니다.
16GB: RTX 4090 Laptop과 RTX 5080 Laptop
RTX 4090 Laptop의 VRAM은 16GB로, 데스크톱 카드의 24GB보다 적습니다. 대역폭도 576 GB/s로, 데스크톱 카드(1,008 GB/s)의 절반을 조금 넘습니다. gpt-oss-20b는 GPU에 다 올라가 쾌적하게 돌아갑니다. dense 모델인 Qwen3.8 27B는 17.6GB가 필요합니다. 노트북 칩에서는 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다. 데스크톱 RTX 4090에서는 GPU에 다 올라가 쾌적하게 돌아갑니다.
Qwen3.5 35B-A3B도 데스크톱 카드에서는 GPU에 다 올라가 쾌적하게 돌아갑니다. 노트북 칩에서는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아간다고 추정합니다(이론 추정).
RTX 5080 Laptop과 데스크톱 RTX 5080은 둘 다 16GB입니다. 대역폭도 896 GB/s와 960 GB/s로 비슷합니다. 표의 모델 다섯 개에서 두 칩의 판정은 같습니다. 두 칩의 Qwen3.5 35B-A3B 칸은 이론 추정입니다.
24GB: RTX 5090 Laptop
RTX 5090 Laptop의 VRAM은 24GB입니다. 데스크톱 RTX 5090의 32GB가 아니라 데스크톱 RTX 4090과 같은 용량입니다. 그래도 표의 모델 다섯 개에서는 데스크톱 RTX 5090과 판정이 같습니다.
한국 모델도 마찬가지입니다. EXAONE 4.0 32B는 RTX 5090 Laptop에서 GPU에 다 올라가 쾌적하게 돌아갑니다. 16GB 노트북 칩에서는 일부가 시스템 RAM으로 넘어가 겨우 돌아갑니다.
데스크톱 RTX 5090은 VRAM이 8GB 더 많아서 두 군데에서 차이가 납니다. 첫째는 24GB에는 안 들어가고 32GB에는 들어가는 모델입니다. Nemotron 3.5 Lightning 30B-A3B는 8k에서 25.1GB가 필요합니다. 노트북 칩이 쓸 수 있는 23.4GB를 넘는 양입니다. RTX 5090 Laptop에서는 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. RTX 5090에서는 GPU에 다 올라가 쾌적하게 돌아갑니다. 두 결과 모두 이론 추정입니다.
둘째는 컨텍스트입니다. 아래 표는 RTX 5090 Laptop에서 Qwen3.8 27B를 컨텍스트 길이와 KV 캐시 종류별로 판정한 결과입니다.
| 컨텍스트 | KV f16 | KV q8_0 | KV q4_0 |
|---|---|---|---|
| 4k | 17.3GB쾌적 추정 35.4 tok/s31.2–39.7보정된 추정 ±12% | 17.2GB쾌적 추정 35.7 tok/s31.4–39.9보정된 추정 ±12% | 17.1GB쾌적 추정 35.8 tok/s31.5–40.1보정된 추정 ±12% |
| 8k | 17.6GB쾌적 추정 34.9 tok/s30.7–39.1보정된 추정 ±12% | 17.3GB쾌적 추정 35.4 tok/s31.1–39.6보정된 추정 ±12% | 17.2GB쾌적 추정 35.7 tok/s31.4–39.9보정된 추정 ±12% |
| 16k | 18.2GB쾌적 추정 33.9 tok/s29.8–37.9보정된 추정 ±12% | 17.7GB쾌적 추정 34.8 tok/s30.6–39.0보정된 추정 ±12% | 17.4GB쾌적 추정 35.3 tok/s31.1–39.6보정된 추정 ±12% |
| 32k | 19.4GB쾌적 추정 32.0 tok/s28.2–35.9보정된 추정 ±12% | 18.4GB쾌적 추정 33.7 tok/s29.7–37.8보정된 추정 ±12% | 17.9GB쾌적 추정 34.7 tok/s30.6–38.9보정된 추정 ±12% |
| 64k | 21.9GB원활 추정 28.9 tok/s25.4–32.3보정된 추정 ±12% | 19.9GB쾌적 추정 31.8 tok/s28.0–35.6보정된 추정 ±12% | 18.8GB쾌적 추정 33.6 tok/s29.6–37.6보정된 추정 ±12% |
| 128k | 26.8GB겨우 가능 추정 5.7 tok/s4.6–6.8보정된 추정 ±20% | 22.8GB원활 추정 28.5 tok/s25.0–31.9보정된 추정 ±12% | 20.6GB쾌적 추정 31.5 tok/s27.8–35.3보정된 추정 ±12% |
| 256k | 36.5GB불가 추정 1.6 tok/s1.3–1.9보정된 추정 ±20% | 28.6GB겨우 가능 추정 4.2 tok/s3.4–5.1보정된 추정 ±20% | 24.3GB겨우 가능 추정 11.9 tok/s9.5–14.2보정된 추정 ±20% |
S = 쾌적 · A = 원활 · B = 겨우 가능 · F = 불가
f16 KV 캐시로 64k를 쓰면 21.9GB가 필요하고, 여전히 GPU에 다 들어갑니다. 128k에서는 26.8GB가 필요해 칩이 쓸 수 있는 메모리를 넘습니다. 이때는 모델 일부가 시스템 RAM으로 갑니다. KV 캐시를 q8_0으로 바꾸면 128k도 아슬아슬하게 GPU에 들어갑니다. q4_0(4비트)이면 더 여유가 있습니다. 데스크톱 RTX 5090에서는 f16 캐시로 128k를 써도 GPU에 다 들어갑니다. 칸별 판정은 표에서 확인하세요.
전력 제한과 발열 — CanRun 계산에 들어 있지 않은 것
같은 노트북 GPU라도 노트북마다 쓰는 전력이 다릅니다. NVIDIA의 노트북 GPU 비교 페이지는 칩마다 GPU 서브시스템 전력을 한 값이 아니라 범위로 적어 둡니다. RTX 4060 Laptop과 RTX 4070 Laptop은 35W에서 115W 사이입니다. RTX 4090 Laptop은 80W에서 150W, RTX 5090 Laptop은 95W에서 150W 사이입니다. GPU 이름이 같아도 노트북마다 GPU에 주는 전력이 크게 다를 수 있습니다. 제조사 사양표에 GPU 전력이 적혀 있다면 노트북을 비교할 때 함께 보세요. 이미 가진 노트북이라면 NVIDIA 제어판의 시스템 정보 창을 열어 보세요. GPU의 최대 그래픽 전력(Maximum Graphics Power)이 나옵니다. 설정된 상한일 뿐, 실제로 쓰는 전력은 아닙니다.
CanRun 계산에는 전력과 발열이 들어 있지 않습니다. 노트북 칩의 속도 추정은 사양표의 대역폭에 효율 계수를 곱해 구합니다. 이 계수는 데스크톱 NVIDIA 카드와 같은 값입니다. CanRun 데이터에는 아직 노트북 GPU의 공개 벤치마크 결과가 없습니다. llama.cpp의 NVIDIA 카드 벤치마크 모음에는 노트북 결과가 몇 개 있습니다. 하지만 어떤 전력에서 쟀는지는 적혀 있지 않습니다. 전력 제한이 낮거나 칩이 뜨거울 때 속도가 얼마나 떨어지는지는 CanRun이 확인하지 못했습니다. 노트북의 예상 속도 범위는 데스크톱 카드보다 조심해서 읽으세요.
모델이 들어가는지는 사정이 다릅니다. VRAM 용량은 전력 제한과 상관없이 같습니다. 어떤 모델이 들어가는지, 컨텍스트를 어디까지 늘릴 수 있는지는 그 칩을 쓴 노트북 모두에 똑같이 적용됩니다.
내 노트북의 실제 속도는 직접 재 보는 것이 가장 정확합니다. 전원을 꽂고 쓸 때와 배터리로 쓸 때가 모두 있다면 두 경우를 다 재 보세요. Ollama, llama.cpp, LM Studio에서 생성 속도를 보는 법은 따로 정리했습니다. ‘로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가’ 가이드를 보세요.
그 전에 모델이 GeForce 칩에서 도는지 확인하세요. Ollama 서버 로그의 inference compute 줄에 GeForce GPU와 library=CUDA가 나와야 합니다. Ollama는 Vulkan을 기본으로 켭니다. Ollama 문서에 따르면 내장·외장 그래픽이 함께 있는 PC는 내장 GPU가 잡힐 수 있습니다. 이때는 GGML_VK_VISIBLE_DEVICES에 외장 GPU 번호를 넣으면 됩니다. CanRun 표에서 GPU에 다 올라가는 모델이라면 ollama ps의 PROCESSOR 열에 100% GPU가 나옵니다. 전문가를 RAM에 둔 MoE 모델은 원래 CPU/GPU로 나뉘어 나옵니다. 이상한 점이 있다면 ‘Ollama·LM Studio가 GPU를 안 쓸 때 — 100% GPU 확인과 오프로드 설정’ 가이드를 보세요.
시스템 RAM과 MoE 모델
MoE(전문가 혼합) 모델은 층마다 ‘전문가’라고 부르는 가중치 묶음이 여럿 있습니다. 토큰마다 그중 몇 개만 골라 계산합니다. 토큰 하나가 읽는 가중치는 일부지만, 파일 전체는 메모리에 있어야 합니다. VRAM에 다 들어가지 않으면 llama.cpp는 공유 가중치와 들어가는 만큼의 전문가를 GPU에 둡니다. 나머지 전문가는 시스템 RAM에 둘 수 있습니다(--n-cpu-moe). CanRun도 같은 방식으로 계산하므로, 노트북에서는 시스템 RAM 용량도 결과를 바꿉니다. 자세한 원리는 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에서 다룹니다.
Qwen3.5 35B-A3B는 토큰마다 파라미터 가운데 약 3B만 씁니다. Q4_K_M으로 받으면 22.3GB가 필요합니다. RTX 4060 Laptop이 쓸 수 있는 메모리의 세 배쯤이라, 전문가 대부분이 시스템 RAM에 놓입니다.
메모리 사용 내역: GeForce RTX 4060 Laptop에서 Qwen3.5 35B-A3B (Q4_K_M)
- 가중치
- 5.9GB
- KV 캐시
- 0.2GB
- 연산 버퍼
- 0.6GB
- OS 예약
- 0.6GB
- 여유
- 0.7GB
- 시스템 RAM의 가중치
- 16.7GB
위 시스템 RAM 몫에는 기본 설정에서 불러오지 않는 MTP(다중 토큰 예측) 블록 0.53GB도 넣어 넉넉하게 잡았습니다. MTP 추측 디코딩(llama.cpp --spec-type draft-mtp)을 켜면 이 블록을 불러오고 MTP용 KV 캐시도 더 듭니다.
CanRun 계산으로는 RAM이 32GB면 이 칩에서 원활하게 돌아간다고 추정합니다(이론 추정). RAM이 16GB면 Q4_K_M 파일은 들어가지 않습니다. 더 작은 IQ4_XS 파일은 들어가고, 역시 원활하게 돌아간다고 추정합니다(이론 추정). 12GB인 RTX 4080 Laptop과 RTX 5070 Ti Laptop도 Q4_K_M에는 RAM 32GB가 필요합니다. 16GB 칩은 VRAM에 전문가를 더 많이 둘 수 있습니다. 그래서 RTX 4090 Laptop과 RTX 5080 Laptop은 RAM 16GB로도 충분합니다. RTX 5090 Laptop에서는 모델 전체가 GPU에 올라가 쾌적하게 돌아갑니다.
gpt-oss-120b는 RAM이 모자라면 아예 들어가지 않습니다. 파일 크기만 63.4GB입니다. CanRun 계산으로는 GPU가 12GB에서 24GB인 노트북은 시스템 RAM이 64GB 있어야 합니다. GPU가 8GB라면 96GB가 필요합니다. RAM을 그만큼 갖춰도 RTX 5090 Laptop에서는 겨우 돌아갑니다. 같은 RAM 64GB에서 데스크톱 RTX 5090은 원활하게 돌아갑니다. 두 결과 모두 이론 추정입니다.
RAM을 늘릴 계획이라면 먼저 제조사 사양표에서 최대 RAM 용량과 RAM 교체 가능 여부를 확인하세요. RAM 속도도 중요합니다. 시스템 RAM에 둔 전문가는 RAM 속도로 읽기 때문입니다. CanRun은 DDR5-5600 듀얼 채널(90 GB/s)을 가정합니다. RAM이 이보다 느리면 예상 속도도 내려갑니다.
맥북이나 스트릭스 헤일로 노트북을 고민한다면
맥북의 GPU에는 따로 VRAM이 없습니다. GPU는 시스템과 나눠 쓰는 통합 메모리를 씁니다. CanRun은 기본적으로 그중 약 70%를 GPU가 쓸 수 있다고 봅니다. Apple의 맥북 프로 사양 페이지에는 M5, M5 Pro, M5 Max가 나옵니다(2026년 10월 확인). 40코어 GPU의 M5 Max는 최대 128GB까지 고를 수 있습니다. 아래 표는 M5 Pro와 40코어 M5 Max를 CanRun 데이터의 메모리 구성별로 판정한 결과입니다.
| 하드웨어 | 메모리 | 대역폭 | GPU 사용 가능량 | 쾌적 | 원활 | 겨우 가능 | 불가 |
|---|---|---|---|---|---|---|---|
| Apple M5 Pro | 24GB | 307 GB/s | 16.8GB | 26 | 4 | 10 | 19 |
| Apple M5 Pro | 48GB | 307 GB/s | 33.6GB | 33 | 10 | 6 | 10 |
| Apple M5 Pro | 64GB | 307 GB/s | 44.8GB | 33 | 10 | 8 | 8 |
| Apple M5 Max (40-core GPU) | 48GB | 614 GB/s | 33.6GB | 38 | 11 | 0 | 10 |
| Apple M5 Max (40-core GPU) | 64GB | 614 GB/s | 44.8GB | 38 | 11 | 2 | 8 |
| Apple M5 Max (40-core GPU) | 128GB | 614 GB/s | 89.6GB | 44 | 12 | 0 | 3 |
RTX 5090 Laptop은 대역폭이 앞서고, 40코어 M5 Max는 메모리 용량이 앞섭니다. 대역폭은 RTX 5090 Laptop이 896 GB/s, 40코어 M5 Max가 614 GB/s입니다. 그래서 24GB 안에 들어가는 모델은 CanRun 추정으로 RTX 5090 Laptop이 더 빠릅니다. Qwen3.8 27B는 RTX 5090 Laptop에서 쾌적하게 돌아갑니다. 메모리가 48GB인 40코어 M5 Max에서는 원활하게 돌아갑니다.
gpt-oss-120b처럼 24GB를 크게 넘는 모델이라면 메모리 용량이 결과를 가릅니다. 128GB인 40코어 M5 Max는 gpt-oss-120b를 GPU 메모리에 전부 올려 쾌적하게 돌립니다. RTX 5090 Laptop은 시스템 RAM이 64GB 있어야 이 모델을 돌릴 수 있고, 그래도 겨우 돌아갑니다(이론 추정).
24GB를 조금만 넘는 모델은 판단이 더 미묘합니다. Nemotron 3.5 Lightning 30B-A3B는 RTX 5090 Laptop에서 전문가 대부분을 GPU에 둡니다. 그래서 CanRun 추정 속도가 48GB인 40코어 M5 Max와 비슷합니다. 그래도 맥에서는 쾌적하게, RTX 5090 Laptop에서는 원활하게 돌아가는 것으로 나옵니다. ‘쾌적’은 모델 전체가 GPU에 올라가야 받을 수 있기 때문입니다. 두 결과 모두 이론 추정입니다.
저가 게이밍 노트북과 비교하면 맥이 두 가지 모두 앞설 수 있습니다. M5 Pro는 대역폭이 307 GB/s로, RTX 4060 Laptop의 256 GB/s보다 높습니다. 24GB인 M5 Pro는 gpt-oss-20b를 GPU 메모리에 다 올려 쾌적하게 돌립니다. RTX 4060 Laptop은 VRAM이 8GB라 이 모델 일부를 시스템 RAM에 두고, 잘해야 원활하게 돌아가며 그마저 이론 추정입니다. 맥 구성별로 들어가는 모델은 ‘맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까’ 가이드에 정리했습니다.
AMD Ryzen AI Max+ 395 (Strix Halo)를 쓴 Windows 노트북도 CPU와 그래픽이 메모리 하나를 나눠 씁니다. AMD 제품 페이지에 따르면 메모리는 최대 128GB입니다. 128GB면 gpt-oss-120b가 GPU 메모리에 들어가 쾌적하게 돌아갑니다. 이 결과는 추정이 아니라 공개 벤치마크 결과입니다. 64GB에는 들어가지 않습니다. 메모리가 보드에 붙어 있어 용량은 살 때 정해야 합니다. 대역폭은 256 GB/s로, 8GB GeForce 노트북 칩보다 높지 않습니다. CanRun 데이터는 같은 칩을 쓴 노트북과 소형 데스크톱을 구분하지 않습니다. 노트북은 이 칩을 더 낮은 전력으로 돌릴 수 있으니, 속도는 GeForce 노트북 칩처럼 조심해서 읽으세요. 메모리 용량별로 들어가는 모델은 따로 정리했습니다. ‘128GB 통합 메모리 미니PC 비교 — AI Max+ 395(스트릭스 헤일로)·DGX Spark·맥 스튜디오’ 가이드를 보세요.
더 읽을거리
- 필요한 메모리 계산법과 데스크톱 카드의 VRAM 구간별 정리: 로컬 LLM 사양 — 그래픽카드 VRAM 8~32GB별로 돌릴 수 있는 모델 (2026)
- MoE 모델에 필요한 카드별 시스템 RAM: 그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM
- 속도를 정하는 요인과 직접 재는 법: 로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가
- 통합 메모리에서 같은 질문: 맥 미니·맥북·맥 스튜디오에서 로컬 LLM 돌리기 — M4·M5 통합 메모리는 얼마나 필요할까
- 스트릭스 헤일로를 포함한 128GB 기기: 128GB 통합 메모리 미니PC 비교 — AI Max+ 395(스트릭스 헤일로)·DGX Spark·맥 스튜디오
- 칩별 전체 결과: GeForce RTX 4060 Laptop, GeForce RTX 5090 Laptop 같은 GPU 페이지
이 숫자는 얼마나 확실한가
메모리 수치는 실제 GGUF 파일 크기와 헤더, 모델 설정 파일로 공식에 따라 계산한 값이라 오차 범위를 붙이지 않습니다. 노트북 칩의 VRAM은 NVIDIA 사양과 같습니다. VRAM은 전력 제한과 상관없으므로, 모델이 들어가는지는 그 칩을 쓴 모든 노트북에서 같습니다.
속도는 추정치라서 오차 범위와 신뢰 라벨을 함께 붙입니다. ‘실측’은 그 카드·모델·양자화 조합의 공개 벤치마크 결과입니다. 노트북 GPU에는 아직 이런 결과가 없어서, 이 글의 노트북 칸은 모두 추정입니다. ‘보정된 추정’은 NVIDIA·AMD 카드에서 dense 모델을 GPU에만 올릴 때 ±12%입니다. MoE, 부분 오프로드, 그 밖의 하드웨어에서는 ±20%입니다. ‘이론 추정’은 MoE 전문가를 RAM에 두는 경우처럼 실제 속도의 편차가 큰 구성에 붙이며, ±30%입니다. 노트북 칩의 예상 속도 범위는 칩이 사양표의 대역폭을 낸다고 보고 계산한 값입니다. 앞에서 말했듯 전력 제한과 발열은 들어 있지 않습니다.
모든 판정은 다음 조건을 가정합니다. Windows에서 그 GPU가 화면 출력도 맡고, 시스템 RAM은 32GB(DDR5-5600 듀얼 채널)입니다. 노트북의 내장 그래픽이 화면을 그린다면 계산기에서 화면 출력 옵션을 끄세요. 8k 컨텍스트와 f16 KV 캐시로 모델 하나를 띄워, 요청을 하나씩 처리합니다. Ollama와 llama.cpp는 메모리를 스스로 추정해 모델을 나눠 올립니다. 이 글에서 아슬아슬하게 들어가는 모델은 실제로는 일부가 시스템 RAM으로 넘어갈 수 있습니다. 실제 결과는 ollama ps로 확인하세요.
생각 모드가 있는 모델은 속도 기준을 1.5배로 높여 판정합니다. 아래 기준표에는 이 배수가 반영되어 있지 않습니다. 이 글에서는 늘 생각하는 gpt-oss-20b·gpt-oss-120b가 여기에 해당합니다. 생각 모드를 켜고 끌 수 있는 Qwen3 14B, Qwen3.8 27B, Qwen3.5 35B-A3B도 해당합니다. Nemotron 3.5 Lightning 30B-A3B도 마찬가지입니다. EXAONE 4.0 32B는 생각 모드가 기본으로 꺼져 있지만 같은 기준을 적용합니다. Llama 3.1 8B와 Gemma 3 12B에는 생각 모드가 없습니다.
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
자주 묻는 질문
노트북 GPU는 이름이 같은 데스크톱 카드보다 느린가요?
CanRun 데이터로는 그렇습니다. 노트북 GPU 7종 모두 이름이 같은 데스크톱 카드보다 메모리 대역폭이 낮고, 그중 다섯은 VRAM도 적습니다. 데스크톱 카드에는 다 들어가는 모델이 노트북 칩에서는 시스템 RAM으로 넘칠 수 있다는 뜻입니다. 노트북마다 다른 전력 제한은 CanRun 계산에 들어 있지 않고, 이 때문에 속도가 더 낮아질 수 있습니다.
로컬 LLM용 노트북은 VRAM이 얼마나 있어야 하나요?
돌리려는 모델로 정하면 됩니다. Llama 3.1 8B 같은 8B급 모델은 8GB에 들어갑니다. Qwen3 14B는 12GB에 8k까지 아슬아슬하게 들어갑니다. gpt-oss-20b를 GPU에만 올리려면 16GB가 필요합니다. Qwen3.8 27B나 EXAONE 4.0 32B 같은 dense 모델은 24GB가 필요합니다. 노트북 칩 가운데 8k에서 이 둘을 GPU에 다 올리는 것은 RTX 5090 Laptop뿐입니다. MoE 모델이라면 전문가를 시스템 RAM에 두는 방법으로 더 큰 모델도 돌릴 수 있습니다.
게이밍 노트북에서도 시스템 RAM이 중요한가요?
MoE 모델이라면 중요합니다. Qwen3.5 35B-A3B Q4_K_M은 RTX 4060 Laptop에서 RAM이 16GB면 들어가지 않습니다. RAM이 32GB면 전문가 대부분을 RAM에 두고 들어갑니다. gpt-oss-120b는 GPU가 12GB에서 24GB인 노트북이면 시스템 RAM 64GB가 필요합니다. GPU가 8GB라면 96GB가 필요합니다. VRAM에 다 들어가지 않는 dense 모델은 넘친 부분을 RAM에 두는데, 이러면 속도가 크게 떨어집니다. 사기 전에 RAM이 보드에 붙어 있는지도 확인하세요.
로컬 LLM에는 게이밍 노트북과 맥북 중 어느 쪽이 나은가요?
모델 크기에 따라 다릅니다. 24GB에 들어가는 모델은 CanRun 추정으로 RTX 5090 Laptop이 40코어 M5 Max보다 빠릅니다. 메모리를 더 빨리 읽기 때문입니다. 24GB를 크게 넘는 모델은 메모리 용량이 결과를 가릅니다. gpt-oss-120b는 128GB인 40코어 M5 Max에서 GPU 메모리에 다 들어갑니다. 128GB 스트릭스 헤일로 노트북도 마찬가지입니다. RTX 5090 Laptop은 시스템 RAM이 64GB 있어야 들어갑니다. 속도 비교는 위의 맥북·스트릭스 헤일로 절에 있습니다.
출처
- NVIDIA: GeForce 노트북 GPU 비교: RTX 50·40 노트북 GPU별 메모리 용량, 메모리 버스 폭, GPU 서브시스템 전력 범위
- Apple: 맥북 프로 기술 사양: M5·M5 Pro·M5 Max 칩의 통합 메모리 구성과 메모리 대역폭
- llama.cpp: NVIDIA GPU 성능 토론: NVIDIA 카드에서 잰 llama-bench 공개 결과. 노트북 GPU 결과도 몇 건 있지만 전력 제한은 적혀 있지 않음
- llama.cpp 서버 README: 앞쪽 N개 층의 MoE 가중치를 CPU에 두는
--n-cpu-moe N - Ollama FAQ:
ollama ps의 PROCESSOR 열 - Ollama 문서: 하드웨어 지원: 기본으로 켜지는 Vulkan, 내장·외장 그래픽이 함께 있는 PC의
GGML_VK_VISIBLE_DEVICES - NVIDIA: Advanced Optimus: 원래 Optimus 방식에서는 내장 그래픽이 화면을 맡고, Advanced Optimus는 GeForce GPU가 화면을 직접 맡게 함
- Razer 고객 지원: 최대 그래픽 전력 확인: NVIDIA 제어판에서 GPU의 Maximum Graphics Power를 보는 위치
- AMD Ryzen AI Max+ 395: Radeon 8060S 그래픽을 넣은 노트북용 프로세서, 최대 128GB 메모리
- gpt-oss-20b 모델 카드: 전체·활성 파라미터 수, 16GB 메모리 안에서 돌아간다는 설명
- Qwen3.5-35B-A3B 모델 카드: 전체·활성 파라미터 수
- Qwen3-14B 모델 카드: 생각 모드와 일반 모드 전환
이 페이지의 속도는 오차 범위와 신뢰 라벨을 붙인 추정치이거나, 출처를 밝힌 공개 벤치마크 결과입니다. 판정은 표마다 적어 둔 구성을 기준으로 합니다.