안녕하세요. Chapter3. 프롬프트 엔지니어링 강의를 듣다가 토큰 제한에 대해서는 어떻게 해결을 해야하는지 궁금해서 글을 올립니다.

모든 모델이 프롬프트 입력 및 출력에 대한 토큰 수 제한이 있는데요. 대용량의 학습 자료를 생성하고자 할 때 프롬프트를 어떤 방식으로 운영해야 할 지 궁금합니다.

강의의 예시는 적은 토큰 수에 대한 내용이라 실질적으로 사내의 많은 자료를 대상으로 몇 개 씩만 추출해서 프롬프트를 만들어서 결과를 얻는 방식은 시간과 리소스 측면에서 상당한 비용이 들 것 같은데 좋은 해결 방법이 있는지요?