img2img (image editing) 태스크 돌파구를 못찾겠습니다..

저의 태스크는 기술문헌, 특허, 논문 등에 있는 figure, table, 도면 등의 이미지를 수정하는 모델을 만드는 것인데요, 허깅페이스에 있는 image2image 태스크 상위 모델들 여러가지를 가지고 학습없이 추론을 해봤는데 무리인 것 같네요..ㅠㅠ (RTX 4090 2장 VRAM 24+24GB)

제가 생각하는 돌파구로는,

1. 더 좋은 모델 찾기

2. 프롬프트를 잘 작성하기

3. 기술 도면 등의 데이터셋 만들어서 학습부터 하기

이렇게 있는데요,

---

1번은 GPU 병렬처리를 지원을 하는 모델이 있고 하지 않는 모델이 있던데, 지원을 하지 않는 모델은 어떻게 해야할지를 몰라 GPU 자원을 덜컥 구매하기도 애매합니다. GPU 병렬처리는 모델의 제한없이 항상 적용이 가능한 기법인가요?

2번은 여러모로 시도해보았지만 개선 효과가 거의 없었습니다.

3번은 데이터셋을 만드는걸 어디서부터 어떻게 시작해야할지 엄두도 안나네요..

그리고 학습을 하려면 GPU 자원은 AWS나 Runpod 같은걸로 확보를 하는 것이 더 나을까요..??

😭