라데온·인텔 Arc로 로컬 LLM 돌리기 — ROCm·Vulkan과 돌아가는 모델

CanRun 계산으로는 라데온·인텔 Arc 카드도 VRAM 용량이 같은 NVIDIA 카드와 똑같은 모델을 올릴 수 있습니다. gpt-oss-20b는 RX 9060 XT 16GB에서도 RTX 5060 Ti 16GB처럼 쾌적하게 돌아갑니다. Qwen3 14B는 12GB인 Arc B580에도 RTX 3060 12GB처럼 GPU에 다 들어갑니다. 차이는 속도와 소프트웨어 지원에서 납니다. Windows용 Ollama는 RX 7000 계열 일부만 ROCm으로 돌립니다. RX 9000 계열과 Arc 카드는 Vulkan으로 돌립니다.

라데온·Arc 카드별 판정 — 같은 용량의 NVIDIA 카드와 나란히

모델을 GPU에서만 돌리려면 가중치, KV 캐시, 연산 버퍼가 카드의 사용 가능 메모리에 다 들어가야 합니다. KV 캐시는 컨텍스트를 담는 메모리이고, 연산 버퍼는 계산 중에 쓰는 작업 공간입니다. 어느 회사 카드인지는 이 계산과 상관이 없습니다. CanRun은 Windows 화면 출력 몫으로 모든 그래픽카드에서 같은 양을 뺍니다. 그래서 16GB 라데온과 16GB 지포스는 둘 다 15.4GB를 쓸 수 있습니다. 12GB인 Arc와 지포스는 둘 다 11.4GB를 씁니다.

아래 표는 라데온·Arc 카드와 메모리 용량이 같은 NVIDIA 카드를 한 줄씩 번갈아 놓았습니다. 판정은 모두 8k 컨텍스트, f16 KV 캐시, 시스템 RAM 32GB(DDR5), Windows를 가정합니다. 칸마다 판정과 예상 속도 범위, 신뢰 라벨이 들어 있습니다. 이론 추정 칸의 뜻은 표 아래에 설명했습니다.

12GB: Arc B580과 RTX 3060 12GB

Qwen3 14B를 CanRun 기준 양자화인 Q4_K_M(4비트)으로 받으면 10.5GB가 필요합니다. 두 카드 모두 1GB가 안 되는 여유를 두고 들어가고, 둘 다 원활하게 돌아갑니다. 여유가 적으니 모델을 올린 뒤 ollama ps의 PROCESSOR 열이 100% GPU인지 확인하세요. gpt-oss-20b는 12.3GB가 필요해 두 카드의 사용 가능 메모리를 조금 넘습니다. CanRun 계산으로는 들어가지 않는 전문가 가중치를 시스템 RAM에 두고, 두 카드 모두 원활하게 돌아갑니다. 두 카드 모두 이 속도는 이론 추정입니다.

CanRun 데이터에 올라 있는 가격은 다음과 같습니다.

• Intel Arc B580: 2026-08-09 기준 실거래가 US$290
• GeForce RTX 3060 12GB: 2026-08-09 기준 실거래가 US$250

16GB: RX 9060 XT 16GB·RX 9070 XT·RTX 5060 Ti 16GB·RTX 5070 Ti

gpt-oss-20b는 네 카드 모두에 다 들어가 쾌적하게 돌아갑니다. 16GB 메모리 안에서 돌아간다는 모델 카드 설명과도 맞습니다. Qwen3 30B-A3B는 19.8GB가 필요해 16GB 카드에는 다 들어가지 않습니다. 그래서 네 카드 모두 전문가 일부를 시스템 RAM에 두고 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. dense 모델인 Gemma 3 27B는 17.8GB가 필요합니다. 그래서 가중치 일부를 시스템 RAM에 두는 부분 오프로드가 됩니다. RX 9070 XT와 RTX 5070 Ti 모두에서 겨우 돌아갑니다.

카탈로그에는 16GB 라데온 카드가 두 종 더 있습니다. Radeon RX 9070은 Radeon RX 9070 XT와 메모리 대역폭이 같습니다. 그래서 CanRun은 두 카드의 생성 속도를 똑같이 추정합니다. Qwen3 14B는 RX 9070에서도 쾌적하게 돌아갑니다. 이전 세대인 Radeon RX 7800 XT의 대역폭은 624 GB/s로, RX 9070의 645 GB/s와 거의 같습니다.

CanRun 데이터에 올라 있는 가격은 다음과 같습니다.

• Radeon RX 9060 XT 16GB: 2026-08-09 기준 실거래가 US$449
• GeForce RTX 5060 Ti 16GB: 2026-08-09 기준 실거래가 US$569
• Radeon RX 9070 XT: 2026-08-09 기준 실거래가 US$689
• GeForce RTX 5070 Ti: 2026-08-09 기준 실거래가 US$949

20GB: RX 7900 XT

Radeon RX 7900 XT는 16GB와 24GB 사이에 있는 카드로, 사용 가능 메모리는 19.4GB입니다. 16GB 카드에서 넘치던 Gemma 3 27B가 이 카드에는 다 들어가 쾌적하게 돌아갑니다. Qwen3 30B-A3B는 Q4_K_M에서 19.8GB가 필요합니다. 이 카드의 사용 가능 메모리를 아주 조금(1GB의 절반도 안 되게) 넘습니다. CanRun 계산으로는 전문가 일부만 시스템 RAM에 두고 원활하게 돌아갑니다. 이 속도는 이론 추정입니다. 한 단계 낮은 IQ4_XS는 17.6GB라서 GPU에 다 들어가고 쾌적하게 돌아갑니다. 이쪽은 보정된 추정입니다. 아래 표처럼 IQ4_XS도 Q4_K_M과 같은 균형 등급입니다.

dense 모델인 Qwen3 32B는 22.0GB가 필요해 이 카드의 사용 가능 메모리를 넘습니다. 일부를 시스템 RAM에 두는 부분 오프로드로 겨우 돌아갑니다.

24GB: RX 7900 XTX와 RTX 3090

Radeon RX 7900 XTX와 GeForce RTX 3090은 둘 다 사용 가능 메모리가 23.4GB입니다. Qwen3 30B-A3B는 두 카드 모두 GPU에 다 들어가 쾌적하게 돌아갑니다. dense 모델인 Qwen3 32B는 8k에서 22.0GB가 필요합니다. 두 카드 모두 1GB 남짓 여유를 두고 들어갑니다. 다만 이 모델의 판정은 두 카드에서 다르고, 그 이유는 아래 속도 절에서 설명합니다. gpt-oss-120b는 시스템 RAM이 32GB면 두 카드 어디에도 들어가지 않습니다. 필요한 RAM 용량은 ‘그래픽카드보다 큰 MoE 모델 돌리기 — gpt-oss-120b와 시스템 RAM’ 가이드에서 다룹니다.

카탈로그 전체로 보면

아래 표는 CanRun 카탈로그의 모든 모델을 카드별로 판정해, 판정마다 몇 개인지 센 것입니다. GPU만으로 돌릴 수 있는 가장 큰 모델도 함께 보여 줍니다. 전체 모델 수는 표 제목에 있습니다. 메모리 용량이 같은 두 카드에는 같은 모델이 들어갑니다. 그래서 두 카드의 개수가 다르다면, 속도 때문에 판정 경계를 넘은 모델이 있다는 뜻입니다. 모델이 추가되면 개수도 바뀝니다.

ROCm·Vulkan·SYCL — Windows와 Linux에서 무엇이 되나

Ollama와 LM Studio는 둘 다 llama.cpp로 GGUF 모델을 돌립니다. llama.cpp가 AMD·인텔 GPU를 쓰는 길은 크게 세 가지입니다. ROCm은 AMD의 GPU 연산 플랫폼이고, llama.cpp는 HIP 백엔드로 ROCm을 씁니다. Vulkan은 제조사와 상관없이 쓰는 그래픽·연산 API입니다. Ollama 문서에 따르면 Windows 그래픽 드라이버는 대부분 Vulkan 지원을 함께 담고 있습니다. SYCL은 인텔 GPU용 백엔드입니다. llama.cpp 문서도 주로 인텔 GPU를 위해 만들었다고 설명합니다.

가중치와 KV 캐시는 어느 백엔드로 돌려도 크기가 같습니다. 그래서 CanRun의 메모리 수치는 백엔드와 상관없이 같습니다. 다만 런타임이 계산 중에 쓰는 메모리는 백엔드마다 조금 다를 수 있습니다. 여유가 적은 모델이라면 ollama ps로 확인하세요.

Ollama

Ollama 하드웨어 문서는 ROCm으로 지원하는 라데온 카드를 OS별로 따로 적어 둡니다(2026년 10월 확인).

• Linux(AMD ROCm v7 드라이버): RX 9070 XT·9070 GRE·9070·9060 XT·9060 XT LP·9060, RX 7600 이상의 RX 7000 계열, RX 6800 이상의 RX 6000 계열, Radeon PRO와 Ryzen AI 칩
• Windows(ROCm v7, 즉 HIP 7 지원 드라이버): RX 7900 XTX·7900 XT·7900 GRE·7800 XT·7700 XT·7600 XT·7600과 Radeon PRO W7500~W7900뿐

그 밖의 GPU는 Vulkan으로 돌립니다. 같은 문서에 따르면 Vulkan은 백엔드가 설치돼 있으면 Windows와 Linux에서 기본으로 켜집니다. Windows의 Ollama는 Radeon RX 9070 XT와 Radeon RX 9060 XT 16GB를 Vulkan으로 돌립니다. 인텔 Arc 카드는 문서에 이름이 없지만, 역시 Vulkan으로 돌아갑니다. Linux용으로는 인텔 드라이버 설치 안내 링크가 걸려 있습니다.

Ollama가 실제로 무엇을 골랐는지는 서버 로그의 inference compute 줄에서 봅니다. 찾은 GPU마다 쓸 라이브러리(ROCm·Vulkan·CUDA)가 적혀 있습니다. 로그 위치와 GPU를 못 잡을 때 할 일은 따로 정리했습니다. ‘Ollama·LM Studio가 GPU를 안 쓸 때 — 100% GPU 확인과 오프로드 설정’ 가이드를 보세요.

llama.cpp

llama.cpp는 GitHub 릴리스마다 Windows용 빌드를 여러 개 올립니다. CUDA·CPU 빌드 말고도 Vulkan·ROCm·SYCL 빌드가 따로 있습니다(2026년 10월 b11630에서 확인). Windows용 ROCm 빌드는 Ollama의 Windows 목록보다 많은 라데온 세대를 대상으로 합니다. 릴리스 설정에는 RDNA 2(RX 6000), RDNA 3, RDNA 4 칩이 모두 들어 있습니다. LLVM 프로세서 표에 따르면 gfx1030은 RX 6800~RX 6900 XT, gfx1031은 RX 6700 XT입니다. gfx1200과 gfx1201은 각각 RX 9060 계열과 RX 9070 계열입니다.

Windows의 Ollama는 RX 6000·RX 9000 계열을 Vulkan으로 돌립니다. 그러니 이 카드들에는 llama.cpp의 ROCm 빌드가 또 하나의 선택지입니다. 다만 아래 ‘어느 백엔드가 빠른가’에서 보듯, 공개 결과에서는 RX 9070 XT의 생성 속도가 Vulkan 쪽이 더 빨랐습니다.

인텔 쪽은 llama.cpp SYCL 문서가 Arc B580을 검증된 장치로, Windows 11을 지원 OS로 적어 둡니다. Windows용 패키지에는 필요한 oneAPI 라이브러리가 들어 있고, 인텔 GPU 드라이버는 따로 설치합니다. 릴리스에는 인텔 하드웨어용 OpenVINO 빌드도 있습니다. 다만 llama.cpp README는 이 백엔드를 아직 개발 중으로 표시합니다.

빌드를 풀고 그 폴더에서 PowerShell을 엽니다. 모델을 올리기 전에 빌드가 어떤 장치를 찾았는지 먼저 봅니다. 둘째 줄은 16GB 카드에서 gpt-oss-20b를 돌릴 때 CanRun 조합 페이지가 보여 주는 명령입니다. Linux에서는 그 폴더에서 ./llama-server로 실행합니다.

.\llama-server.exe --list-devices
.\llama-server.exe -hf ggml-org/gpt-oss-20b-GGUF:MXFP4 -c 8192 -ngl all -fa on

--list-devices에 GPU가 하나도 나오지 않으면 그 빌드는 내 카드를 쓰지 못합니다. 그럴 때는 Vulkan 빌드를 받아 다시 해 보세요. 장치가 여러 개 나오면 -dev에 목록에 나온 내 카드 이름을 붙여 고릅니다(예: -dev Vulkan1). CPU에 들어 있는 라데온 내장 그래픽이 함께 잡힐 때가 그렇습니다.

LM Studio

LM Studio는 llama.cpp 엔진을 CPU·CUDA·Vulkan·ROCm·Metal용 런타임으로 나눠 제공합니다. Ctrl+Shift+R로 런타임 탭을 엽니다. 라데온이면 Vulkan이나 ROCm 런타임을, Arc면 Vulkan 런타임을 고릅니다.

어느 백엔드가 빠른가

CanRun 계산에는 백엔드가 들어가지 않습니다. 라데온·Arc의 dense 모델 효율 값은 Vulkan으로 잰 공개 llama-bench 결과에서 나왔습니다. llama.cpp의 공개 성능 모음을 보면 Llama 2 7B 기준으로 대강의 답이 나옵니다. RX 9070 XT에서는 Vulkan의 생성 속도가 ROCm보다 30%쯤 빨랐습니다. RX 7900 XTX에서는 10%쯤 빨랐습니다. 프롬프트 처리 속도는 두 카드 모두 비슷했습니다.

다만 서로 다른 빌드와 PC에서 잰 결과이니, 내 카드에서는 직접 재 보세요. 같은 GGUF를 빌드마다 올리고, 답이 끝날 때마다 llama-server가 찍는 eval time 줄을 비교합니다. 무엇을 비교할지는 ‘로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가’ 가이드에 있습니다. gpt-oss-20b를 ROCm으로 잰 공개 결과는 아래 ‘이 숫자는 얼마나 확실한가’에서 다룹니다.

같은 VRAM, 다른 속도 — RX 9070 XT와 RTX 5070 Ti, RX 7900 XTX와 RTX 3090

모델이 다 들어가면 생성 속도는 메모리 대역폭을 따라갑니다. 토큰 하나를 만들 때마다 활성 가중치와 KV 캐시를 VRAM에서 읽기 때문입니다. CanRun은 카드의 대역폭에 제조사별 효율 값을 곱해 속도를 추정합니다. 이 값은 공개 llama-bench 결과에 맞춰 정했습니다. 라데온 값은 NVIDIA보다 10% 가까이 높고, 인텔 Arc 값은 15%쯤 낮습니다.

RX 9070 XT와 RTX 5070 Ti

대역폭은 RX 9070 XT가 645 GB/s, RTX 5070 Ti가 896 GB/s입니다. 그래서 CanRun은 RX 9070 XT의 생성 속도를 RTX 5070 Ti의 80% 정도로 봅니다. Qwen3 14B와 gpt-oss-20b는 두 카드 모두 판정 경계에서 멀리 있습니다. 두 모델 모두 두 카드에서 쾌적하게 돌아갑니다.

공개 벤치마크 결과도 비슷합니다. 카탈로그 밖 모델인 Llama 2 7B Q4_0을 llama-bench로 잰 결과가 있습니다. 여기서 Vulkan으로 돌린 RX 9070 XT는 CUDA로 돌린 RTX 5070 Ti의 75% 안팎이 나왔습니다. 생성과 프롬프트 처리 모두 그렇습니다. 이 결과들은 서로 다른 토론 글에서 다른 빌드와 백엔드로 잰 값입니다. 이 글에 나오는 다른 공개 결과도 마찬가지이니, 대략적인 경향으로만 보세요.

RX 9060 XT 16GB와 RTX 5060 Ti 16GB

더 저렴한 두 카드는 차이가 더 큽니다. 대역폭은 RX 9060 XT 16GB가 322 GB/s, RTX 5060 Ti 16GB가 448 GB/s입니다. Qwen3 14B는 RX 9060 XT 16GB에서 원활하게, RTX 5060 Ti 16GB에서 쾌적하게 돌아갑니다. Qwen3 14B는 답하기 전에 생각하는 모드가 있어 답 하나에 토큰을 훨씬 많이 씁니다. 그래서 CanRun은 생각 모드가 있는 모델의 속도 기준을 1.5배로 높여 잡습니다. 이 글 끝의 기준표에는 이 배수가 반영되어 있지 않습니다. RTX 5060 Ti 16GB의 추정치는 이 기준을 간신히 넘고, RX 9060 XT 16GB는 넘지 못합니다. 생각 모드가 없는 14B 모델 Phi-4는 두 카드에서 모두 쾌적하게 돌아갑니다.

RX 7900 XTX와 RTX 3090

두 카드는 대역폭이 거의 같습니다(960 GB/s, 936 GB/s). 그래서 순서는 제조사별 효율 값이 정합니다. Qwen3 32B는 RX 7900 XTX에서 쾌적하게, RTX 3090에서 원활하게 돌아갑니다. 여기서도 두 추정치 사이로 생각 모드 기준선이 지나갑니다. 두 추정치의 오차 범위(±12%)도 서로 겹칩니다. 그러니 실제로 잰 성능 차이가 아니라, 두 카드가 기준선 양쪽에 걸쳐 있다는 뜻으로 읽어야 합니다.

공개 벤치마크에서도 생성은 RX 7900 XTX가 빨랐지만, 프롬프트 처리는 반대로 RTX 3090이 빨랐습니다. 같은 Llama 2 7B 결과에서 RX 7900 XTX는 Vulkan으로, RTX 3090은 CUDA로 돌렸습니다. RX 7900 XTX의 생성 속도가 15% 남짓 빨랐고, 프롬프트 처리는 30% 가까이 느렸습니다. 라데온은 프롬프트 처리 속도와 MoE 모델 속도를 보여 주는 공개 결과가 아직 적습니다. 프롬프트 처리는 아래 ‘라데온·Arc의 프롬프트 처리가 느린 이유’에서 다룹니다. 라데온의 MoE 공개 결과는 ‘이 숫자는 얼마나 확실한가’에 있습니다.

인텔 Arc B580 — 12GB와 MoE 추정의 한계

Intel Arc B580은 GeForce RTX 3060 12GB처럼 메모리가 12GB입니다.

메모리 대역폭은 B580이 456 GB/s로, RTX 3060 12GB의 360 GB/s보다 큽니다. 반면 CanRun의 Arc 효율 값은 NVIDIA보다 낮습니다. B580의 Vulkan 공개 결과에 맞춘 값입니다. 두 효과가 거의 상쇄돼서, B580의 dense 모델 추정치는 RTX 3060 12GB와 비슷하게 나옵니다.

Phi-4는 B580에서 쾌적하게 돌아갑니다. 다만 8k에서 11.0GB가 필요해 여유가 적으니 ollama ps로 확인하세요. Qwen3 14B는 원활하게 돌아갑니다. 생각 모드 모델이라 속도 기준이 더 높아서 한 단계 낮게 나옵니다. 16k로 늘리면 f16 KV 캐시로는 GPU에 다 들어가지 않아, 일부가 시스템 RAM으로 넘어갑니다. KV 캐시를 q8_0(8비트)으로 바꾸면 16k도 GPU에 다시 들어갑니다. 이 방법은 ‘KV 캐시와 컨텍스트 길이 — 컨텍스트를 늘리면 VRAM이 얼마나 더 필요할까’ 가이드에서 설명합니다.

Arc에서 돌리는 MoE 모델

CanRun 데이터에는 Arc 카드에서 MoE 모델을 잰 공개 결과가 없습니다. MoE 모델에는 토큰마다 층 하나에서 전문가 하나를 돌릴 때 드는 고정 시간을 더합니다. 이 값은 NVIDIA·AMD를 비롯한 다른 하드웨어 종류의 공개 벤치마크에 맞춘 것입니다. Arc에는 맞출 결과가 없어서 그 가운데 가장 큰 값을 빌려 씁니다. 그래서 B580의 MoE 추정치는 낮은 쪽으로 기울 수 있습니다. 이런 이유로 B580의 MoE 칸은 모델이 GPU에 다 올라가도 전부 이론 추정(±30%)입니다.

한국 MoE 모델인 Kanana 1.5 15.7B-A3B가 좋은 예입니다. IQ4_XS로 받으면 B580에 다 들어가 쾌적하게 돌아갑니다. 다만 이 속도는 이론 추정입니다. 같은 파일을 RTX 3060 12GB에 올려도 쾌적하게 돌아가고, 이쪽은 보정된 추정입니다. 그런데 B580의 추정 속도는 RTX 3060 12GB보다 10%쯤 낮게 나옵니다. dense 모델 추정은 B580이 조금 앞서는데도 그렇습니다. 이 차이는 빌려 쓴 MoE 값 때문에 생긴 것이고, 실제로 잰 차이가 아닙니다.

gpt-oss-20b는 12.3GB가 필요해 B580의 사용 가능 메모리를 조금 넘습니다. 그래서 CanRun 계산은 들어가지 않는 전문가 가중치를 시스템 RAM에 둡니다.

이 구성에서 gpt-oss-20b는 원활하게 돌아갑니다. 전문가 일부를 RAM에 두는 데다 Arc에서 돌리는 MoE 모델이라, 두 가지 이유로 이론 추정입니다.

Arc의 프롬프트 처리

B580의 약점은 프롬프트를 읽는 속도입니다. llama.cpp에 공개된 Llama 2 7B 결과가 있습니다. Vulkan으로 돌린 B580은 프롬프트 처리 속도가 CUDA로 돌린 RTX 3060 12GB의 3분의 1에 못 미쳤습니다. 생성 속도는 조금 느린 정도였습니다. llama.cpp SYCL 문서는 oneAPI 2026.1로 만든 빌드의 결과를 소개합니다. 이 빌드는 Arc B570에서 프롬프트를 세 배쯤 빨리 처리했습니다. 비교 대상은 oneAPI 2025.3 기반의 이전 릴리스 빌드입니다. Arc에서 긴 프롬프트를 자주 쓴다면 Vulkan과 함께 SYCL 빌드도 시험해 보세요.

라데온·Arc의 프롬프트 처리가 느린 이유

생성은 토큰을 하나씩 만들며 메모리를 읽습니다. 프롬프트 처리는 프롬프트 전체를 크게 묶어 한꺼번에 읽습니다. 그래서 메모리 대신 GPU 연산 성능이 속도를 정합니다. 자세한 원리는 ‘로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가’ 가이드에 있습니다. 이 차이는 모델이 답하기 전에 읽을 내용이 많을 때 크게 느껴집니다. 긴 문서를 붙여 넣을 때, 캐시가 비워진 긴 대화를 이어 갈 때가 그렇습니다. 코딩 에이전트의 긴 지시문과 도구 설명을 읽을 때도 마찬가지입니다.

CanRun 조합 페이지는 모델이 GPU에 다 올라갈 때 프롬프트 처리 속도를 대략적 추정(±40%)으로 보여 줍니다. 카드의 FP16 연산 성능에서 출발해 모델 크기로 나눈 값입니다. 자세한 계산은 ‘로컬 LLM 속도 읽는 법 — 초당 토큰, 생성과 프롬프트 처리, 몇이면 쓸 만한가’ 가이드에 있습니다. 라데온 카드는 AMD 사양 페이지의 FP16 행렬 연산 성능을 씁니다. RX 9000 시리즈는 이 값이 GPU 페이지의 FP16 값의 두 배이고, RX 7000 시리즈는 같습니다. 계수는 RX 9060 XT·RX 9070 XT·RX 7900 XTX를 2026년 llama.cpp 빌드로 잰 공개 llama-bench 결과에 맞췄습니다. 이 추정에서 RX 9070 XT의 프롬프트 처리 속도는 RTX 5070 Ti의 10분의 7쯤입니다. 생성 속도는 80% 정도입니다. RX 7900 XTX는 RTX 3090의 절반을 조금 넘습니다.

Arc B580의 프롬프트 처리 추정이 가장 불확실합니다. Llama 2 7B를 Vulkan으로 잰 2025년 결과는 CanRun 추정보다 3분의 1쯤 낮았습니다. 반대로 새 빌드와 드라이버로 잰 2026년 결과는 훨씬 빨랐습니다. 다만 카탈로그 밖 모델로 잰 값입니다. 그러니 라데온·Arc 페이지의 프롬프트 처리 속도는 대략적인 범위로만 보세요. 긴 프롬프트가 중요하다면 직접 재는 편이 낫습니다. ollama run에 --verbose를 붙이면 prompt eval rate가 나옵니다. llama-server는 답이 끝날 때마다 prompt eval time 줄을 찍습니다.

이 숫자는 얼마나 확실한가

메모리 수치는 실제 GGUF 파일의 크기와 헤더, 모델이 공개한 설정값으로 공식에 따라 계산한 값입니다. 이 값은 제조사와 상관없이 같습니다. 그래서 어떤 모델이 들어가는지는 라데온·Arc 카드도 NVIDIA 카드와 똑같이 계산됩니다.

속도는 추정치라서 오차 범위와 신뢰 라벨을 붙입니다. ‘실측’은 그 카드·모델·양자화 조합의 공개 벤치마크 결과입니다. ‘보정된 추정’은 NVIDIA·AMD 카드에서 dense 모델을 GPU에만 올릴 때 ±12%입니다. MoE 모델, 부분 오프로드, 인텔 Arc를 포함한 그 밖의 하드웨어에서는 ±20%입니다. ‘이론 추정’은 ±30%입니다. 이 글에서는 전문가를 시스템 RAM에 둔 구성과 Arc B580의 모든 MoE 모델이 여기에 해당합니다.

라데온·Arc의 dense 모델 효율 값은 Llama 2 7B의 Vulkan 공개 결과에 기대고 있습니다. Llama 2 7B는 카탈로그에 없고, 위 표의 라데온·Arc 칸 가운데 공개 벤치마크 결과가 붙은 칸은 없습니다. MoE 모델은 llama.cpp의 gpt-oss 안내 토론 글에 gpt-oss-20b를 ROCm으로 잰 결과가 두 건 있습니다. 둘 다 llama-bench로 2k 컨텍스트에서 잰 값이고, CanRun이 직접 잰 값은 아닙니다. 카탈로그에 없는 RX 7900 GRE는 CanRun이 쓰는 것과 같은 MXFP4 파일로 쟀습니다. CanRun 계산식은 이 카드를 잰 값보다 10%쯤 빠르게 봅니다. Radeon RX 7900 XT 결과는 이보다 한참 느립니다. 이 결과를 올린 사람은 모델을 직접 변환했고, 그 파일은 전문가 밖 가중치를 16비트로 담고 있어 토큰마다 MXFP4 파일보다 메모리를 더 많이 읽습니다. 그래서 CanRun은 이 결과를 MXFP4 칸에 붙이지 않습니다. RX 7900 XT의 gpt-oss-20b는 보정된 추정으로 쾌적하게 돌아갑니다. 파일 차이를 감안해도 이 결과는 CanRun 추정보다 낮습니다. 그러니 결과가 더 쌓이기 전까지는 라데온 카드의 MoE 속도 추정이 높게 나왔을 수 있다고 보세요.

표는 다음 조건을 가정합니다. Windows에서 그 카드로 화면을 출력하고, 시스템 RAM은 DDR5-5600 듀얼 채널 32GB입니다. 컨텍스트는 8k, KV 캐시는 f16입니다. 모델은 하나만 올리고 요청은 한 번에 하나씩 처리하며, 런타임은 llama.cpp 계열로 봅니다. ROCm·Vulkan·SYCL 같은 백엔드 차이는 계산에 들어가지 않습니다. 내 PC에서 실제로 어떻게 올라갔는지는 ollama ps의 PROCESSOR 열이 알려 줍니다.

본문의 판정은 8k 컨텍스트, f16 KV 캐시 기준입니다. Qwen3 14B·Qwen3 32B·gpt-oss처럼 생각 모드가 있는 모델에는 앞에서 말한 1.5배 높은 속도 기준을 적용합니다. 아래 기준표에는 이 배수가 반영되어 있지 않습니다.

자주 묻는 질문

라데온이나 Arc 카드로도 NVIDIA 카드와 같은 모델을 돌릴 수 있나요?

메모리 용량이 같으면 CanRun 계산으로는 같은 모델이 들어갑니다. 들어가는지는 카드가 쓸 수 있는 VRAM만으로 정해지기 때문입니다. gpt-oss-20b는 RX 9070 XT에도 RTX 5070 Ti처럼 GPU에 다 들어갑니다. Qwen3 30B-A3B는 24GB인 RX 7900 XTX에도 RTX 3090처럼 다 들어갑니다. 다만 속도와 소프트웨어 지원은 위에서 본 것처럼 다릅니다.

Windows에서 Ollama가 라데온 RX 9000 계열을 ROCm으로 돌리나요?

아니요. 2026년 10월에 Ollama의 Windows ROCm 목록을 확인했습니다. 목록에는 RX 7000 계열 일곱 종과 Radeon PRO W7000 계열만 있습니다. 일곱 종은 RX 7600부터 RX 7900 XTX까지입니다. Windows의 Ollama는 RX 9070 XT·RX 9060 XT 같은 RX 9000 계열을 Vulkan으로 돌립니다. Vulkan은 기본으로 켜져 있습니다. Linux에서는 RX 9000 계열도 ROCm 목록에 있습니다. llama.cpp가 직접 내는 Windows용 ROCm 빌드는 RX 9000 계열 칩도 대상에 넣고 있습니다.

ROCm과 Vulkan 중 무엇을 써야 하나요?

먼저 쓰는 도구가 내 카드에서 지원하는 백엔드로 시작하세요. 속도가 중요하다면 그다음에 직접 재 보면 됩니다. llama.cpp의 Llama 2 7B 공개 결과를 보면 생성은 Vulkan이 빨랐습니다. RX 9070 XT와 RX 7900 XTX 모두 그랬고, 프롬프트 처리 속도는 비슷했습니다. Ollama는 백엔드를 스스로 고르고, llama.cpp와 LM Studio는 빌드를 직접 고를 수 있습니다. CanRun 추정은 백엔드를 따지지 않아서 어느 쪽이든 같은 값입니다. 결국 같은 GGUF를 빌드마다 올려 보고, 찍히는 속도를 비교해야 답이 나옵니다. Arc라면 프롬프트가 길 때 SYCL 빌드도 함께 시험해 보세요.

메모리 대역폭이 같으면 라데온이 NVIDIA보다 빠른가요?

CanRun 계산으로는 생성 속도가 조금 빠릅니다. 라데온의 효율 값이 10% 가까이 높기 때문입니다. 그래서 Qwen3 32B는 RX 7900 XTX에서 쾌적하게, RTX 3090에서 원활하게 돌아갑니다. 두 추정치가 생각 모드 기준선 양쪽에 걸쳐 있어서 생긴 차이입니다. Llama 2 7B 공개 결과에서는 RX 7900 XTX의 생성 속도가 RTX 3090보다 15% 남짓 빨랐습니다. 하지만 프롬프트 처리는 30% 가까이 느렸습니다.

12GB인 Arc나 라데온 카드로 14B 모델을 돌릴 수 있나요?

여기서 든 14B 모델은 Q4_K_M과 8k 컨텍스트라면 아슬아슬하게 들어갑니다. Arc B580에는 Qwen3 14B, Phi-4, HyperCLOVA X SEED Think 14B가 모두 GPU에 다 들어갑니다. 여유가 가장 적은 것은 Phi-4이니 ollama ps로 확인하세요. CanRun은 12GB 카드라면 어느 카드든 같은 양을 빼고 계산합니다. 그래서 12GB 라데온에도 같은 모델이 들어갑니다. 16k로 늘릴 때는 KV 캐시를 q8_0으로 바꾸면 Qwen3 14B가 B580의 GPU에 다 들어갑니다.

출처

• Ollama 문서: 하드웨어 지원: Linux·Windows별 ROCm 지원 목록과 드라이버 요구 사항, 설치돼 있으면 기본으로 켜지는 Vulkan, Windows 드라이버 대부분에 들어 있는 Vulkan 지원, Linux용 인텔 드라이버 안내 링크
• llama.cpp README: AMD GPU용 HIP, 인텔 GPU용 SYCL, Vulkan 등 지원 백엔드 목록
• llama.cpp b11630 릴리스: Windows용 Vulkan·ROCm·SYCL·CUDA·CPU 빌드
• b11630의 llama.cpp 릴리스 설정: gfx1030·gfx1031·gfx1200·gfx1201을 포함한 Windows용 ROCm 빌드의 GPU 대상
• LLVM: AMDGPU 프로세서 표: gfx1030은 RX 6800·RX 6800 XT·RX 6900 XT, gfx1031은 RX 6700 XT, gfx1200은 RX 9060·RX 9060 XT, gfx1201은 RX 9070·RX 9070 XT·RX 9070 GRE
• llama.cpp 문서: SYCL 백엔드: 인텔 GPU가 주 대상, 검증된 장치의 Arc B580, Windows 11 지원, oneAPI 라이브러리가 든 Windows 패키지, Arc B570에서 잰 oneAPI 2026.1 빌드의 프롬프트 처리 개선
• llama.cpp 문서: server README: --list-devices와 -dev(--device) 옵션
• llama.cpp 소스: server-context.cpp: 답이 끝날 때마다 찍는 prompt eval time·eval time 줄
• LM Studio 0.3.9 릴리스 노트: CPU·CUDA·Vulkan·ROCm·Metal용 llama.cpp 런타임과 런타임 탭
• llama.cpp: Vulkan 성능 토론: RX 7900 XTX·RX 9070 XT·Arc B580에서 Llama 2 7B Q4_0을 잰 llama-bench 결과, CanRun의 라데온·Arc 효율 값의 근거
• llama.cpp: AMD ROCm(HIP) 성능 토론: 같은 벤치마크를 ROCm으로 잰 RX 9070 XT·RX 7900 XTX 결과, 이 글에서 Vulkan 결과와 비교
• llama.cpp: NVIDIA CUDA 성능 토론: 같은 벤치마크의 RTX 5070 Ti·RTX 3090·RTX 3060 12GB 결과
• llama.cpp: gpt-oss 실행 안내 토론: ROCm으로 잰 gpt-oss-20b 결과 — RX 7900 XT(직접 변환한 파일)와 RX 7900 GRE(MXFP4 파일)
• gpt-oss-20b 모델 카드: 전체·활성 파라미터, 16GB 메모리 안에서 구동
• AMD: Radeon RX 9070 XT 사양·Radeon RX 7900 XTX 사양: FP16 벡터·행렬 연산 성능
• llama.cpp 이슈 #30009: Arc B580에서 Vulkan으로 잰 2026년 프롬프트 처리 결과(Gemma 4 E4B Q4_0)