CanRun

gpt-oss-120b 필요 사양: VRAM과 돌아가는 GPU

gpt-oss-120b, 어떤 모델인가요

gpt-oss-120b는 OpenAI가 2025년 8월에 공개한 오픈 웨이트 리즈닝 모델 두 개 중 큰 쪽입니다. 범용 작업과 깊이 생각해야 하는 작업을 겨냥했고, 추론 강도를 조절할 수 있습니다. 함수 호출·웹 브라우징·파이썬 실행 도구를 쓰도록 학습됐지만, 도구 자체는 모델을 돌리는 프로그램이 제공해야 합니다. MoE 모델이라 전체 117B 가운데 토큰마다 5.1B만 활성화되며, 라이선스는 Apache 2.0입니다.

모델 카드 · GitHub

gpt-oss-120b, 돌리기 전에 알아 둘 점

gpt-oss-120b는 63.4GB짜리 MXFP4 파일 하나로만 나오고, 일반 그래픽카드 한 장에는 들어가지 않습니다. CanRun 기본값인 시스템 RAM 32GB로는 어떤 카드에서도 올라가지 않습니다. VRAM 32GB인 GeForce RTX 5090도 마찬가지입니다. 다만 토큰마다 5B 정도만 쓰는 MoE 모델이라, 시스템 RAM이 64GB면 전문가를 RAM에 둘 수 있습니다. 그러면 GeForce RTX 3090과 GeForce RTX 5060 Ti 16GB에서 느리게 돌아간다고 CanRun은 추정합니다(이론 추정 ±30%). GeForce RTX 4060 같은 8GB 카드는 시스템 RAM이 96GB는 있어야 올라갑니다.

이 모델을 전부 올리려면 통합 메모리가 96GB 이상이어야 합니다. 64GB 맥이나 64GB DGX Spark로는 부족합니다. 이 모델에는 64.3GB가 필요한데, 64GB에서 GPU가 쓸 수 있는 몫은 그보다 작습니다. 96GB인 Apple M3 Ultra에서 쾌적하게 돌아갑니다. 128GB인 Ryzen AI Max+ 395 (Strix Halo), NVIDIA DGX Spark, Apple M4 Max (40-core GPU)도 마찬가지입니다. gpt-oss-20b처럼 항상 추론을 거쳐 답하기 때문에 CanRun은 속도 기준을 1.5배 엄격하게 잡습니다.

모델 정보

파라미터
총 116.8B · 활성 5.1B (MoE)
어텐션
슬라이딩 윈도 어텐션
최대 컨텍스트
131,072 토큰
공개일
2025-08-05

같은 계열의 다른 크기

기준 양자화·8k 컨텍스트에서 모델마다 필요한 그래픽카드 메모리와, 많이 쓰는 그래픽카드에서의 판정을 작은 모델부터 정리했습니다
모델파라미터기준 양자화필요 메모리(8k)GeForce RTX 4060GeForce RTX 5060 Ti 16GBGeForce RTX 3090
gpt-oss-20b총 20.9B · 활성 3.6B (MoE)MXFP412.3GB원활쾌적쾌적
gpt-oss-120b지금 보는 모델총 116.8B · 활성 5.1B (MoE)MXFP463.6GB불가불가불가

GGUF 파일

등록된 gpt-oss-120b 양자화 파일(작은 파일부터)
양자화파일 크기품질배포처
MXFP4기준63.39GB준무손실llama.cpp 팀 · ggml-org

양자화·컨텍스트별 필요 메모리

그래픽카드 메모리(GB): 그래픽카드에 올라가는 가중치 + f16 KV 캐시 + 연산 버퍼. Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요. 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.
양자화4k8k16k32k64k128k
MXFP463.463.664.064.866.369.3

gpt-oss-120b, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적
GPU에 전부 올라가고 20 tok/s 이상
원활
GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능
2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가
메모리에 안 들어가거나 2 tok/s 미만

계산기에서 예산·종류·컨텍스트로 걸러 보기

옆으로 밀면 모든 열을 볼 수 있습니다.

MXFP4·8k 컨텍스트 기준 GPU·맥·CPU 58종을 판정·속도 순으로 정렬했습니다
하드웨어판정속도양자화메모리실행 방식컨텍스트참고가격
NVIDIA RTX PRO 6000 Blackwell
쾌적
추정 237.1 tok/s189.7–284.5보정된 추정 ±20%
MXFP464.2 / 96.0GB풀 GPU최대 128k——
NVIDIA RTX PRO 6000 Blackwell Max-Q
쾌적
추정 237.1 tok/s189.7–284.5보정된 추정 ±20%
MXFP464.2 / 96.0GB풀 GPU최대 128k——
Apple M5 Ultra · 96GB
쾌적
추정 131.0 tok/s104.8–157.2보정된 추정 ±20%
MXFP464.3 / 67.2GB통합 메모리최대 64k——
Apple M5 Max (40-core GPU) · 128GB
쾌적
추정 102.4 tok/s81.9–122.8보정된 추정 ±20%
MXFP464.3 / 89.6GB통합 메모리최대 128k——
Apple M3 Ultra · 96GB
쾌적
추정 96.0 tok/s76.8–115.2보정된 추정 ±20%
MXFP464.3 / 67.2GB통합 메모리최대 64k——
Apple M4 Max (40-core GPU) · 128GB
쾌적
추정 92.5 tok/s74.0–111.0보정된 추정 ±20%
MXFP464.3 / 89.6GB통합 메모리최대 128k——
Apple M2 Ultra · 128GB
쾌적
79.7 tok/s8k 추정 94.2 tok/s (75.4–113.1, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)
MXFP464.3 / 89.6GB통합 메모리최대 128k——
NVIDIA DGX Spark · 128GB
쾌적
58.7 tok/s8k 추정 50.8 tok/s (40.6–60.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)
MXFP464.3 / 116.9GB통합 메모리최대 64k—128GB 구성 출시가 US$3,999(약 530만 원)
Ryzen AI Max+ 395 (Strix Halo) · 128GB
쾌적
50.2 tok/s8k 추정 48.5 tok/s (38.8–58.1, 보정된 추정 ±20%)실측 1건 (512 컨텍스트)
MXFP464.3 / 89.6GB통합 메모리최대 64k—128GB 구성 출시가 US$1,999(약 265만 원)
DDR5-6000 듀얼채널 CPU · 96GB
겨우 가능
추정 13.4 tok/s10.8–16.1보정된 추정 ±20%
MXFP4RAM 63.7GBCPU 전용최대 128k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
DDR5-5600 듀얼채널 CPU · 96GB
겨우 가능
추정 12.6 tok/s10.0–15.1보정된 추정 ±20%
MXFP4RAM 63.7GBCPU 전용최대 128k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
Apple M4 · 32GB—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB).
—
Apple M4 Max (32-core GPU) · 36GB
불가
—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB).
—
Apple M4 Pro · 64GB—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 60.0GB입니다(GPU가 쓸 수 있는 양 44.8GB).
—
Apple M5 · 32GB
불가
—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB).
—
Apple M5 Max (32-core GPU) · 36GB
불가
—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 32.0GB입니다(GPU가 쓸 수 있는 양 25.2GB).
—
Apple M5 Pro · 64GB
불가
—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 60.0GB입니다(GPU가 쓸 수 있는 양 44.8GB).
—
Apple M6 · 32GB
불가
—MXFP464.3GB 필요——
  • 약 64.3GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB).
—
Intel Arc B580
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$290(약 38만 원)
DDR4-3200 듀얼채널 CPU · 64GB
불가
—MXFP463.7GB 필요——
  • 약 63.7GB가 필요한데, 여유 RAM은 60.0GB입니다.
—
GeForce GTX 1080 Ti
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 10.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$699(약 93만 원)
GeForce RTX 2080 Ti
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 10.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$999(약 132만 원)
GeForce RTX 3050 8GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
출시가 US$249(약 33만 원)
GeForce RTX 3060 12GB—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$250(약 33만 원)
GeForce RTX 3070
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
출시가 US$499(약 66만 원)
GeForce RTX 3080 10GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 9.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$699(약 93만 원)
GeForce RTX 3080 12GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$799(약 106만 원)
GeForce RTX 3090—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 23.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$1,050(약 139만 원)
GeForce RTX 3090 Ti
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 23.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$1,999(약 265만 원)
GeForce RTX 4060—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
출시가 US$299(약 40만 원)
GeForce RTX 4060 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
—
GeForce RTX 4060 Ti 16GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$499(약 66만 원)
GeForce RTX 4060 Ti 8GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
출시가 US$399(약 53만 원)
GeForce RTX 4070—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$599(약 79만 원)
GeForce RTX 4070 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
—
GeForce RTX 4070 Super
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$599(약 79만 원)
GeForce RTX 4070 Ti Super
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$799(약 106만 원)
GeForce RTX 4080
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$1,199(약 159만 원)
GeForce RTX 4080 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
—
GeForce RTX 4080 Super
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$999(약 132만 원)
GeForce RTX 4090—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 23.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$2,755(약 365만 원)
GeForce RTX 4090 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
—
GeForce RTX 5060
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$339(약 45만 원)
GeForce RTX 5060 Ti 16GB—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$569(약 75만 원)
GeForce RTX 5060 Ti 8GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 96GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$429(약 57만 원)
GeForce RTX 5070—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$629(약 83만 원)
GeForce RTX 5070 Ti
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$949(약 126만 원)
GeForce RTX 5070 Ti Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 11.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
—
GeForce RTX 5080
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$1,256(약 166만 원)
GeForce RTX 5080 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
—
GeForce RTX 5090—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 31.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 원활
2026-08-09 기준 실거래가 US$4,200(약 557만 원)
GeForce RTX 5090 Laptop
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 23.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
—
Radeon RX 7800 XT
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$499(약 66만 원)
Radeon RX 7900 XT
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 19.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$899(약 119만 원)
Radeon RX 7900 XTX
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 23.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
출시가 US$999(약 132만 원)
Radeon RX 9060 XT 16GB
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$449(약 60만 원)
Radeon RX 9070
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$639(약 85만 원)
Radeon RX 9070 XT
불가
—MXFP463.6GB 필요——
  • 약 63.6GB가 필요한데, 쓸 수 있는 VRAM은 15.4GB, 여유 RAM은 28.0GB입니다.
  • RAM 64GB라면: 겨우 가능
2026-08-09 기준 실거래가 US$689(약 91만 원)

생각 모드가 있는 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s). 생각 모드를 끄고 쓰면 실제로는 한 단계 위일 수 있습니다.

원화 금액은 미국 달러 가격을 2026-10-21 환율(1달러 1,326원)로 단순 환산한 참고값이라 국내 판매가와 다를 수 있습니다.

가장 싸게 돌릴 수 있는 GPU

실거래가가 확인된 GPU 가운데 MXFP4 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 맥, 통합 메모리 PC, CPU 구성은 위 표에서 확인하세요.

gpt-oss-120b 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

gpt-oss-120b 벤치마크 결과
하드웨어양자화백엔드컨텍스트프롬프트 (tok/s)생성 (tok/s)플래그출처측정일
Apple M2 UltraMXFP4llama.cpp2k1,245.079.7—github.com2025-08-18
Ryzen AI Max+ 395 (Strix Halo)MXFP4llama.cpp512707.050.2ROCm 7.0.2, no mmapquozul.dev2025-10-27
NVIDIA DGX SparkMXFP4llama.cpp2k2,444.058.7CUDA, no mmapgithub.com2026-02-05
GeForce RTX 5090MXFP4llama.cpp4k—9.6--n-cpu-moe 21, DDR4 serverhardware-corner.net2026-08-09

자주 묻는 질문

gpt-oss-120b 실행에 VRAM이 얼마나 필요한가요?

MXFP4 파일은 63.39GB입니다. 8k 컨텍스트로 그래픽카드에 올리면 약 63.6GB가 필요합니다(가중치 62.76GB, KV 캐시 0.3GB, 연산 버퍼 0.6GB). 파일 일부는 그래픽카드에 올라가지 않습니다. llama.cpp는 입력 임베딩 표를 시스템 RAM에 둡니다. 맥은 파일 전체로 계산해서 조금 더 필요합니다.

gpt-oss-120b, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

실거래가가 확인된 GPU 가운데 MXFP4 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 출시가만 나와 있는 하드웨어까지 넣으면 가장 나은 선택은 NVIDIA DGX Spark · 128GB입니다(판정: 쾌적).

gpt-oss-120b, 8GB·16GB·24GB GPU에서 돌아가나요?

MXFP4·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 불가; GeForce RTX 5060 Ti 16GB: 불가; GeForce RTX 3090: 불가.

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.