gpt-oss-20b 필요 사양: VRAM과 돌아가는 GPU

gpt-oss-20b, 어떤 모델인가요

gpt-oss-20b는 OpenAI가 2025년 8월에 공개한 오픈 웨이트 리즈닝 모델입니다. 로컬 실행이나 지연 시간이 중요한 용도를 겨냥했고, 추론 강도를 조절할 수 있습니다. 함수 호출·웹 브라우징·파이썬 실행 도구를 쓰도록 학습됐지만, 도구 자체는 모델을 돌리는 프로그램이 제공해야 합니다. MoE 모델이라 전체 21B 가운데 토큰마다 3.6B만 활성화되며, 라이선스는 Apache 2.0입니다.

모델 카드 · GitHub

gpt-oss-20b, 돌리기 전에 알아 둘 점

gpt-oss-20b는 MXFP4 파일 하나로만 나와서 더 작은 양자화로 낮출 수 없습니다. 파일은 12.1GB이고, 8k 컨텍스트에서 12.3GB가 필요합니다. 그래서 VRAM 16GB가 경계입니다. 16GB 카드에서는 GPU에 전부 올라가 쾌적하게 돌아갑니다. 실행 명령은 GeForce RTX 5060 Ti 16GB에서 gpt-oss-20b 페이지에 있습니다. 12GB 카드에는 아깝게, 8GB 카드에는 한참 모자랍니다. 다만 MoE 모델이라 다 들어가지 않는 전문가를 시스템 RAM에 둘 수 있습니다. 그렇게 하면 GeForce RTX 3060 12GB와 GeForce RTX 4060에서도 원활하게 돌아간다고 CanRun은 추정합니다(이론 추정 ±30%).

이 모델은 항상 추론을 거친 뒤에 답합니다. 모델 카드에 따르면 추론 강도를 low·medium·high로 정할 수 있습니다. CanRun은 어느 강도든 생각 모드 모델로 보고 속도 기준을 1.5배 엄격하게 잡습니다. 예를 들어 GeForce RTX 4060 Laptop 같은 8GB 카드에서는 전문가 일부를 시스템 RAM에 두는데도 이 기준을 넘어 원활하게 돌아갑니다(이론 추정 ±30%). 맥은 통합 메모리 24GB면 충분하고, Apple M4 Pro에서 쾌적하게 돌아갑니다.

모델 정보

파라미터: 총 20.9B · 활성 3.6B (MoE)
어텐션: 슬라이딩 윈도 어텐션
최대 컨텍스트: 131,072 토큰
공개일: 2025-08-05
모델 카드: Hugging Face의 gpt-oss-20b 모델 카드

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델	파라미터	기준 양자화	필요 메모리(8k)	GeForce RTX 4060	GeForce RTX 5060 Ti 16GB	GeForce RTX 3090
gpt-oss-20b지금 보는 모델	총 20.9B · 활성 3.6B (MoE)	MXFP4	12.3GB	원활	쾌적	쾌적
gpt-oss-120b	총 116.8B · 활성 5.1B (MoE)	MXFP4	63.6GB	불가	불가	불가

GGUF 파일

등록된 gpt-oss-20b 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
MXFP4기준	12.11GB	준무손실	llama.cpp 팀 · ggml-org

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
양자화	4k	8k	16k	32k	64k	128k
MXFP4	12.1	12.3	12.5	13.1	14.2	16.4

gpt-oss-20b, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

정렬

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

MXFP4·8k 컨텍스트 기준 GPU·맥·CPU 58종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
NVIDIA RTX PRO 6000 Blackwell Max-Q	쾌적	373.9 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)	MXFP4	12.9 / 96.0GB	풀 GPU	최대 128k	—	—
NVIDIA RTX PRO 6000 Blackwell	쾌적	추정 338.9 tok/s271.1–406.7보정된 추정 ±20%	MXFP4	12.9 / 96.0GB	풀 GPU	최대 128k	—	—
GeForce RTX 5090	쾌적GeForce RTX 5090에서 gpt-oss-20b 판정 보기	282.3 tok/s8k 추정 338.9 tok/s (271.1–406.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 32.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$4,200(약 557만 원)
GeForce RTX 4090	쾌적GeForce RTX 4090에서 gpt-oss-20b 판정 보기	225.2 tok/s8k 추정 214.1 tok/s (171.3–256.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 24.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$2,755(약 365만 원)
GeForce RTX 3090 Ti	쾌적	추정 214.1 tok/s171.3–256.9보정된 추정 ±20%	MXFP4	12.9 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$1,999(약 265만 원)
GeForce RTX 5080	쾌적	204.9 tok/s8k 추정 205.5 tok/s (164.4–246.6, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 5080 Laptop	쾌적	추정 193.7 tok/s155.0–232.5보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	—
GeForce RTX 5090 Laptop	쾌적	추정 193.7 tok/s155.0–232.5보정된 추정 ±20%	MXFP4	12.9 / 24.0GB	풀 GPU	최대 128k	—	—
GeForce RTX 5070 Ti	쾌적	189.5 tok/s8k 추정 193.7 tok/s (155.0–232.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$949(약 126만 원)
Radeon RX 7900 XTX	쾌적	추정 189.0 tok/s151.2–226.8보정된 추정 ±20%	MXFP4	12.9 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$999(약 132만 원)
Apple M5 Ultra · 96GB	쾌적	추정 187.4 tok/s149.9–224.9보정된 추정 ±20%	MXFP4	12.9 / 67.2GB	통합 메모리	최대 128k	—	—
GeForce RTX 4080 Super	쾌적	186.4 tok/s8k 추정 163.3 tok/s (130.7–196.0, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$999(약 132만 원)
Radeon RX 7900 XT	쾌적	추정 165.3 tok/s132.2–198.3보정된 추정 ±20%	MXFP4	12.9 / 20.0GB	풀 GPU	최대 128k	—	출시가 US$899(약 119만 원)
GeForce RTX 3090	쾌적GeForce RTX 3090에서 gpt-oss-20b 판정 보기	162.0 tok/s8k 추정 201.1 tok/s (160.9–241.3, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 24.0GB	풀 GPU	최대 128k	—	2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 4080	쾌적	추정 159.6 tok/s127.7–191.5보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$1,199(약 159만 원)
GeForce RTX 4070 Ti Super	쾌적	추정 150.7 tok/s120.6–180.8보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$799(약 106만 원)
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 145.2 tok/s116.2–174.3보정된 추정 ±20%	MXFP4	12.9 / 33.6GB	통합 메모리	최대 128k	—	—
Radeon RX 9070	쾌적	추정 139.9 tok/s111.9–167.9보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 9070 XT	쾌적	추정 139.9 tok/s111.9–167.9보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$689(약 91만 원)
Radeon RX 7800 XT	쾌적	추정 136.3 tok/s109.0–163.6보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$499(약 66만 원)
Apple M2 Ultra · 64GB	쾌적	추정 134.1 tok/s107.3–160.9보정된 추정 ±20%	MXFP4	12.9 / 44.8GB	통합 메모리	최대 128k	—	—
GeForce RTX 4090 Laptop	쾌적	추정 131.3 tok/s105.0–157.5보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	—
Apple M4 Max (40-core GPU) · 48GB	쾌적	추정 131.1 tok/s104.9–157.4보정된 추정 ±20%	MXFP4	12.9 / 33.6GB	통합 메모리	최대 128k	—	—
Apple M3 Ultra · 96GB	쾌적	115.5 tok/s8k 추정 136.7 tok/s (109.4–164.1, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 67.2GB	통합 메모리	최대 128k	—	—
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 112.7 tok/s90.1–135.2보정된 추정 ±20%	MXFP4	12.9 / 25.2GB	통합 메모리	최대 128k	—	—
GeForce RTX 5060 Ti 16GB	쾌적GeForce RTX 5060 Ti 16GB에서 gpt-oss-20b 판정 보기	111.6 tok/s8k 추정 104.3 tok/s (83.5–125.2, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$569(약 75만 원)
Apple M4 Max (32-core GPU) · 36GB	쾌적	92.4 tok/s8k 추정 101.6 tok/s (81.3–121.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 25.2GB	통합 메모리	최대 128k	—	—
Radeon RX 9060 XT 16GB	쾌적	추정 78.0 tok/s62.4–93.6보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	2026-08-09 기준 실거래가 US$449(약 60만 원)
Apple M5 Pro · 24GB	쾌적	추정 77.9 tok/s62.4–93.5보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 64k	—	—
NVIDIA DGX Spark · 128GB	쾌적	추정 71.7 tok/s57.4–86.0보정된 추정 ±20%	MXFP4	12.9 / 116.9GB	통합 메모리	최대 128k	—	128GB 구성 출시가 US$3,999(약 530만 원)
Apple M4 Pro · 24GB	쾌적Apple M4 Pro에서 gpt-oss-20b 판정 보기	추정 69.9 tok/s55.9–83.9보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 64k	—	—
GeForce RTX 4060 Ti 16GB	쾌적	추정 69.0 tok/s55.2–82.8보정된 추정 ±20%	MXFP4	12.9 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$499(약 66만 원)
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	추정 68.6 tok/s54.8–82.3보정된 추정 ±20%	MXFP4	12.9 / 22.4GB	통합 메모리	최대 128k	—	128GB 구성 출시가 US$1,999(약 265만 원)
Apple M6 · 24GB	쾌적	추정 44.8 tok/s35.8–53.7보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 64k	—	—
Apple M5 · 24GB	쾌적	추정 40.5 tok/s32.4–48.6보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 32k	—	—
Apple M4 · 24GB	쾌적Apple M4에서 gpt-oss-20b 판정 보기	추정 31.9 tok/s25.5–38.3보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 8k	—	—
GeForce RTX 3080 12GB	원활	추정 105.4 tok/s73.8–137.0이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$799(약 106만 원)
GeForce RTX 5070	원활GeForce RTX 5070에서 gpt-oss-20b 판정 보기	추정 91.6 tok/s64.1–119.1이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti Laptop	원활	추정 91.6 tok/s64.1–119.1이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	—
GeForce RTX 4070	원활GeForce RTX 4070에서 gpt-oss-20b 판정 보기	추정 78.5 tok/s55.0–102.1이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$599(약 79만 원)
GeForce RTX 4070 Super	원활	추정 78.5 tok/s55.0–102.1이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$599(약 79만 원)
GeForce RTX 2080 Ti	원활	추정 73.9 tok/s51.7–96.0이론 추정 ±30%	MXFP4	10.3 / 11.0GB + RAM 3.2GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$999(약 132만 원)
GeForce RTX 4080 Laptop	원활	추정 71.7 tok/s50.2–93.2이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	—
GeForce RTX 3080 10GB	원활	추정 68.4 tok/s47.9–88.9이론 추정 ±30%	MXFP4	9.5 / 10.0GB + RAM 4.0GB	MoE 전문가 RAM 배치	최대 128k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$699(약 93만 원)
GeForce GTX 1080 Ti	원활	추정 66.3 tok/s46.4–86.2이론 추정 ±30%	MXFP4	10.3 / 11.0GB + RAM 3.2GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$699(약 93만 원)
GeForce RTX 3060 12GB	원활GeForce RTX 3060 12GB에서 gpt-oss-20b 판정 보기	추정 63.9 tok/s44.8–83.1이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	2026-08-09 기준 실거래가 US$250(약 33만 원)
Intel Arc B580	원활	추정 63.5 tok/s44.5–82.6이론 추정 ±30%	MXFP4	11.2 / 12.0GB + RAM 2.3GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	2026-08-09 기준 실거래가 US$290(약 38만 원)
GeForce RTX 3070	원활	추정 43.9 tok/s30.7–57.1이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$499(약 66만 원)
GeForce RTX 5060	원활	추정 43.9 tok/s30.7–57.1이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 8GB	원활	추정 43.9 tok/s30.7–57.1이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 64k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	2026-08-09 기준 실거래가 US$429(약 57만 원)
GeForce RTX 4060 Ti 8GB	원활	추정 37.8 tok/s26.5–49.1이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$399(약 53만 원)
GeForce RTX 4060	원활GeForce RTX 4060에서 gpt-oss-20b 판정 보기	추정 36.9 tok/s25.9–48.0이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop	원활	추정 36.0 tok/s25.2–46.8이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	—
GeForce RTX 4070 Laptop	원활	추정 36.0 tok/s25.2–46.8이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 32k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	—
GeForce RTX 3050 8GB	원활	추정 34.0 tok/s23.8–44.2이론 추정 ±30%	MXFP4	7.3 / 8.0GB + RAM 6.1GB	MoE 전문가 RAM 배치	최대 16k	모델이 GPU에 다 올라가지 않습니다. 쾌적하게 돌리려면 모델 전체가 GPU 메모리에 있어야 합니다.	출시가 US$249(약 33만 원)
DDR5-6000 듀얼채널 CPU · 32GB	겨우 가능	추정 18.0 tok/s14.4–21.7보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR5-5600 듀얼채널 CPU · 32GB	겨우 가능	추정 16.8 tok/s13.5–20.2보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR4-3200 듀얼채널 CPU · 32GB	겨우 가능	추정 9.6 tok/s7.7–11.6보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	—	—

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

쾌적Radeon RX 9060 XT 16GB2026-08-09 기준 실거래가 US$449(약 60만 원), 속도 추정 78.0 tok/s (62.4–93.6, 보정된 추정 ±20%)
원활GeForce RTX 3060 12GB2026-08-09 기준 실거래가 US$250(약 33만 원), 속도 추정 63.9 tok/s (44.8–83.1, 이론 추정 ±30%)

gpt-oss-20b 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

gpt-oss-20b 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
NVIDIA RTX PRO 6000 Blackwell Max-Q	MXFP4	llama.cpp	512	17,385.0	373.9	CUDA, -fa 1	github.com	2026-06-24
GeForce RTX 5090	MXFP4	llama.cpp	2k	9,841.0	282.3	—	github.com	2025-08-20
GeForce RTX 4090	MXFP4	llama.cpp	2k	8,078.0	225.2	—	github.com	2025-08-20
GeForce RTX 5080	MXFP4	llama.cpp	2k	7,469.0	204.9	—	github.com	2025-08-20
GeForce RTX 5070 Ti	MXFP4	llama.cpp	2k	6,326.0	189.5	—	github.com	2025-08-20
GeForce RTX 4080 Super	MXFP4	llama.cpp	2k	8,111.0	186.4	—	github.com	2025-08-29
GeForce RTX 3090	MXFP4	llama.cpp	2k	5,143.0	162.0	—	github.com	2025-08-20
GeForce RTX 5060 Ti 16GB	MXFP4	llama.cpp	2k	3,821.0	111.6	—	github.com	2025-08-20
Radeon RX 7900 XT	BF16	llama.cpp	2k	4,252.0	101.9	ROCm 6.4.1	github.com	2025-08-18
Apple M3 Ultra	MXFP4	llama.cpp	2k	2,816.0	115.5	—	github.com	2025-08-28
Apple M4 Max (32-core GPU)	MXFP4	llama.cpp	2k	1,277.0	92.4	—	github.com	2025-08-18

자주 묻는 질문

gpt-oss-20b 실행에 VRAM이 얼마나 필요한가요?

MXFP4 파일은 12.11GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 12.3GB가 필요합니다(가중치 11.48GB, KV 캐시 0.2GB, 연산 버퍼 0.6GB). 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.

gpt-oss-20b, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 Radeon RX 9060 XT 16GB입니다. 실거래가는 2026-08-09 기준 US$449(약 60만 원)이고, 속도는 추정 78.0 tok/s (62.4–93.6, 보정된 추정 ±20%)입니다. 원활하게만 돌려도 된다면 더 싼 GPU는 GeForce RTX 3060 12GB입니다. 실거래가는 2026-08-09 기준 US$250(약 33만 원)이고, 속도는 추정 63.9 tok/s (44.8–83.1, 이론 추정 ±30%)입니다.

gpt-oss-20b, 8GB·16GB·24GB GPU에서 돌아가나요?

MXFP4·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 원활, 추정 36.9 tok/s (25.9–48.0, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 쾌적, 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 104.3 tok/s, 83.5–125.2, 보정된 추정 ±20%); GeForce RTX 3090: 쾌적, 실측 162.0 tok/s (2k 컨텍스트, 1건; 8k 추정 201.1 tok/s, 160.9–241.3, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.