root layout

패스트캠퍼스

  1. 강의 질문
  2. AI TECH

분산 기법의 현실적인 적용에 관한 질문

2025.07.18 21:47 수정

안녕하세요, 강의에서 크게 7가지로 나눠서 분산 기법에 대해 설명해주셨는데요, 당장 실무에서 RTX 4090 두 개의 multi GPU로 모델을 테스트 해보려고 하다가 모델 하나를 로드하는데 VRAM 24GB를 초과하여 테스트해볼 수 없는 상황이 되었습니다.


강의 들은게 생각이 나서 모델 병렬화, FSDP, ZeRO등을 검색해보았는데, 이러한 분산 기법을 아무데나 적용할 수 있는게 아니라, 지원하는 모델에서만 적용이 가능한건가요?


예를 들어, 변형 모델(SDXL-refiner), 최신 모델(black-forest-labs/FLUX.1-Kontext-dev) 같은 경우는 적용이 안되나요?


강의때 설명하는 기법들이 모든 모델에 대해 커스터마이징이 가능하다는걸로 받아들였는데 아닌 것 같아서요..


답변 

연관 질문

커뮤니티 질문보기