하드웨어 세팅은 어떻게 진행하셨나요?

by Limkm - opened Aug 20

Limkm

Aug 20

쓰레드리퍼 3970X
RTX 4080 super로 세팅 후 배치사이크 최대한 줄이고 할 수 있는 모든 옵션은 다 사용해도 OOM이 발생하네요...

beomi

Owner Aug 21

단순 inference는 약 16GB vram을 사용합니다. 4080 super는 16GB라서 아슬아슬하게 초과하는 듯 합니다.
8bit load해서 사용하시면 될것 같아요.

beomi changed discussion status to closed Aug 21

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment