Llama 3.3 70B 필요 사양: VRAM과 돌아가는 GPU

모델 정보

파라미터: 70.6B
어텐션: 풀 어텐션
최대 컨텍스트: 131,072 토큰
공개일: 2024-12-06
모델 카드: Hugging Face의 Llama 3.3 70B 모델 카드

GGUF 파일

등록된 Llama 3.3 70B 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
IQ2_M	24.12GB	손실 큼	커뮤니티 GGUF · bartowski
Q2_K	26.38GB	손실 큼	커뮤니티 GGUF · bartowski
IQ4_XS	37.90GB	균형	커뮤니티 GGUF · bartowski
Q4_K_M기준	42.52GB	균형	커뮤니티 GGUF · bartowski
Q8_0	74.98GB	준무손실	커뮤니티 GGUF · bartowski

양자화·컨텍스트별 필요 메모리

가중치 + f16 KV 캐시 + 연산 버퍼(GB). Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화	4k	8k	16k	32k	64k	128k
IQ2_M	26.0	27.4	30.1	35.7	46.7	68.8
Q2_K	28.3	29.6	32.4	37.9	49.0	71.0
IQ4_XS	39.8	41.2	43.9	49.4	60.5	82.5
Q4_K_M	44.4	45.8	48.5	54.1	65.1	87.2
Q8_0	76.9	78.2	81.0	86.5	97.6	119.6

Llama 3.3 70B, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

dense 모델을 GPU와 CPU에 나눠 올리면 속도가 크게 떨어집니다. 전체 속도가 느린 CPU 쪽에 맞춰지기 때문입니다. 전문가만 시스템 RAM에 두는 MoE 모델은 훨씬 덜 느려집니다.

정렬

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 54종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
Apple M5 Max (40-core GPU) · 128GB	원활	추정 8.1 tok/s6.5–9.8보정된 추정 ±20%	Q4_K_M	45.8 / 89.6GB	통합 메모리	최대 8k	—	—
Apple M3 Ultra · 96GB	겨우 가능	추정 8.0 tok/s6.4–9.6보정된 추정 ±20%	Q4_K_M	45.8 / 67.2GB	통합 메모리	최대 64k	IQ4_XS: 원활	—
Apple M2 Ultra · 64GB	겨우 가능	추정 6.0 tok/s4.2–7.8이론 추정 ±30%	Q4_K_M	RAM 45.2GB	CPU 전용	최대 32k	IQ4_XS: 원활	—
Apple M4 Max (40-core GPU) · 64GB	겨우 가능	추정 4.2 tok/s2.9–5.5이론 추정 ±30%	Q4_K_M	RAM 45.2GB	CPU 전용	최대 32k	IQ4_XS: 원활	—
Ryzen AI Max+ 395 (Strix Halo) · 64GB	겨우 가능	추정 2.8 tok/s2.0–3.7이론 추정 ±30%	Q4_K_M	RAM 45.2GB	CPU 전용	최대 32k	—	출시가 US$1,999
GeForce RTX 5090	겨우 가능	추정 2.7 tok/s2.2–3.3보정된 추정 ±20%	Q4_K_M	32.0 / 32.0GB + RAM 14.4GB	부분 오프로드	최대 16k	Q2_K (품질 손실 큼): 쾌적	실거래가 US$4,200 (2026-08-09 기준)
NVIDIA DGX Spark · 128GB	겨우 가능	추정 2.4 tok/s1.9–2.9보정된 추정 ±20%	Q4_K_M	45.8 / 89.6GB	통합 메모리	최대 32k	—	출시가 US$3,999
Apple M5 Pro · 64GB	겨우 가능	추정 2.4 tok/s1.7–3.1이론 추정 ±30%	Q4_K_M	RAM 45.2GB	CPU 전용	최대 32k	—	—
Apple M4 Pro · 64GB	겨우 가능	추정 2.1 tok/s1.5–2.7이론 추정 ±30%	Q4_K_M	RAM 45.2GB	CPU 전용	최대 8k	—	—
Apple M5 Max (32-core GPU) · 48GB	불가IQ4_XS: 겨우 가능	추정 4.0 tok/s2.8–5.1이론 추정 ±30%	IQ4_XS	RAM 40.6GB	CPU 전용	최대 16k	Q2_K (품질 손실 큼): 원활	—
Radeon RX 7900 XT	불가Q2_K (품질 손실 큼): 겨우 가능	추정 3.6 tok/s2.9–4.3보정된 추정 ±20%	Q2_K	20.0 / 20.0GB + RAM 10.2GB	부분 오프로드	최대 16k	—	출시가 US$899
Apple M4 Max (32-core GPU) · 48GB	불가IQ4_XS: 겨우 가능	추정 3.5 tok/s2.5–4.6이론 추정 ±30%	IQ4_XS	RAM 40.6GB	CPU 전용	최대 16k	Q2_K (품질 손실 큼): 원활	—
GeForce RTX 5080	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.2–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	실거래가 US$1,256 (2026-08-09 기준)
GeForce RTX 5070 Ti	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.2–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	실거래가 US$949 (2026-08-09 기준)
GeForce RTX 5080 Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.2–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	—
GeForce RTX 4080 Super	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	출시가 US$999
Radeon RX 9070	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	실거래가 US$639 (2026-08-09 기준)
Radeon RX 9070 XT	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	실거래가 US$689 (2026-08-09 기준)
GeForce RTX 4080	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.7 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	출시가 US$1,199
Radeon RX 7800 XT	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.6 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	출시가 US$499
GeForce RTX 4070 Ti Super	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.6 tok/s2.1–3.2보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	출시가 US$799
GeForce RTX 4090 Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.6 tok/s2.1–3.1보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	—
GeForce RTX 5060 Ti 16GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.5 tok/s2.0–3.1보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 16k	—	실거래가 US$569 (2026-08-09 기준)
Radeon RX 9060 XT 16GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.5 tok/s2.0–3.0보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 8k	—	실거래가 US$449 (2026-08-09 기준)
GeForce RTX 4060 Ti 16GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.4 tok/s1.9–2.9보정된 추정 ±20%	Q2_K	16.0 / 16.0GB + RAM 14.2GB	부분 오프로드	최대 8k	—	출시가 US$499
Radeon RX 7900 XTX	불가IQ4_XS: 겨우 가능	추정 2.2 tok/s1.8–2.6보정된 추정 ±20%	IQ4_XS	24.0 / 24.0GB + RAM 17.8GB	부분 오프로드	최대 8k	—	출시가 US$999
GeForce RTX 3090 Ti	불가IQ4_XS: 겨우 가능	추정 2.2 tok/s1.8–2.6보정된 추정 ±20%	IQ4_XS	24.0 / 24.0GB + RAM 17.8GB	부분 오프로드	최대 8k	—	출시가 US$1,999
GeForce RTX 4090	불가IQ4_XS: 겨우 가능	추정 2.2 tok/s1.8–2.6보정된 추정 ±20%	IQ4_XS	24.0 / 24.0GB + RAM 17.8GB	부분 오프로드	최대 8k	—	실거래가 US$2,755 (2026-08-09 기준)
GeForce RTX 3090	불가IQ4_XS: 겨우 가능	추정 2.2 tok/s1.7–2.6보정된 추정 ±20%	IQ4_XS	24.0 / 24.0GB + RAM 17.8GB	부분 오프로드	최대 8k	—	실거래가 US$1,050 (2026-08-09 기준)
GeForce RTX 3080 10GB	불가IQ2_M (품질 손실 큼): 겨우 가능	추정 2.2 tok/s1.7–2.6보정된 추정 ±20%	IQ2_M	10.0 / 10.0GB + RAM 18.0GB	부분 오프로드	최대 8k	—	출시가 US$699
GeForce RTX 5090 Laptop	불가IQ4_XS: 겨우 가능	추정 2.2 tok/s1.7–2.6보정된 추정 ±20%	IQ4_XS	24.0 / 24.0GB + RAM 17.8GB	부분 오프로드	최대 8k	—	—
GeForce RTX 3080 12GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.2 tok/s1.7–2.6보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	출시가 US$799
GeForce RTX 5070	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.6보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	실거래가 US$629 (2026-08-09 기준)
GeForce RTX 5070 Ti Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.6보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	—
GeForce RTX 4070	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.5보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	출시가 US$599
GeForce RTX 4070 Super	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.5보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	출시가 US$599
GeForce RTX 4080 Laptop	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.5보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	—
Intel Arc B580	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.5보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	실거래가 US$290 (2026-08-09 기준)
GeForce RTX 3060 12GB	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.1 tok/s1.7–2.5보정된 추정 ±20%	Q2_K	12.0 / 12.0GB + RAM 18.2GB	부분 오프로드	최대 8k	—	실거래가 US$250 (2026-08-09 기준)
GeForce RTX 2080 Ti	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.0 tok/s1.6–2.4보정된 추정 ±20%	Q2_K	11.0 / 11.0GB + RAM 19.2GB	부분 오프로드	최대 8k	—	출시가 US$999
GeForce GTX 1080 Ti	불가Q2_K (품질 손실 큼): 겨우 가능	추정 2.0 tok/s1.4–2.6이론 추정 ±30%	Q2_K	11.0 / 11.0GB + RAM 19.2GB	부분 오프로드	최대 8k	—	출시가 US$699
DDR5-6000 듀얼채널 CPU · 96GB	불가	추정 1.1 tok/s0.8–1.3보정된 추정 ±20%	Q4_K_M	RAM 45.2GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다.	—
DDR5-5600 듀얼채널 CPU · 96GB	불가	추정 1.0 tok/s0.8–1.2보정된 추정 ±20%	Q4_K_M	RAM 45.2GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다.	—
DDR4-3200 듀얼채널 CPU · 64GB	불가	추정 0.6 tok/s0.5–0.7보정된 추정 ±20%	Q4_K_M	RAM 45.2GB	CPU 전용	—	메모리에는 들어가지만 너무 느려서 실제로 쓰기 어렵습니다.	—
Apple M4 · 32GB	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB).	—
Apple M5 · 32GB	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 여유 메모리는 28.0GB입니다(GPU가 쓸 수 있는 양 22.4GB).	—
GeForce RTX 3050 8GB	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	출시가 US$249
GeForce RTX 3070	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	출시가 US$499
GeForce RTX 4060	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	출시가 US$299
GeForce RTX 4060 Laptop	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	—
GeForce RTX 4060 Ti 8GB	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	출시가 US$399
GeForce RTX 4070 Laptop	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	—
GeForce RTX 5060	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	실거래가 US$339 (2026-08-09 기준)
GeForce RTX 5060 Ti 8GB	불가	—	Q4_K_M	45.8GB 필요	—	—	약 45.8GB가 필요한데, 쓸 수 있는 VRAM은 7.4GB, 여유 RAM은 28.0GB입니다.	실거래가 US$429 (2026-08-09 기준)

가장 싸게 돌릴 수 있는 GPU

실거래가가 확인된 GPU 가운데 Q4_K_M 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 맥, 통합 메모리 PC, CPU 구성은 위 표에서 확인하세요.

Llama 3.3 70B 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Llama 3.3 70B 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
Apple M3 Max 128GB	Q4_K_M	ollama	2k	—	9.8	—	heyuan110.com	2026-04-14

자주 묻는 질문

Llama 3.3 70B 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 기준으로 가중치가 42.52GB이고, 8k 컨텍스트까지 더하면 약 45.8GB가 필요합니다(KV 캐시 2.7GB, 연산 버퍼 0.6GB). 가장 작은 파일(IQ2_M (품질 손실 큼))은 약 27.4GB가 필요합니다.

Llama 3.3 70B, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

실거래가가 확인된 GPU 가운데 Q4_K_M 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 그중 가장 나은 선택은 Apple M5 Max (40-core GPU) · 128GB입니다(판정: 원활).

Llama 3.3 70B, 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 불가; GeForce RTX 5060 Ti 16GB: 불가; GeForce RTX 3090: 불가, 추정 1.8 tok/s (1.4–2.1, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.