대규모 평가 스크립트 작성 시, 아래와 같은 코드를 작성하였습니다.

from tqdm import tqdm

from google.api_core.exceptions import ResourceExhausted

import time

import re

# 대규모 평가 스크립트

models = [

    'claude-3-haiku-20240307',

    'gemini-1.5-flash',

    'gpt-3.5-turbo-0125'

]

scores = {model: [] for model in models}

pattern = r'\[\[\d+\]\]'

for model in models:

    for i in tqdm(range(len(get_eval_data()))):

        summary = summarize(

            conversation=get_eval_data()[i],

            prompt=PROMPT_BASELINE,

            model=model

        )

        eval_commnet = pointwise_eval(get_eval_data()[i], summary)

        match = re.search(pattern, eval_comment)

        matched_string = match.group(0)

        score = int(matched_string[2])

        scores[model].append(score)

그러나, 에러가 아래와 같습니다.

--------------------------------------------------------------------------- ResourceExhausted Traceback (most recent call last) Cell In[14], line 18 16 for model in models: 17 for i in tqdm(range(len(get_eval_data()))): ---> 18 summary = summarize( 19 conversation=get_eval_data()[i], 20 prompt=PROMPT_BASELINE, 21 model=model 22 ) 23 eval_commnet = pointwise_eval(get_eval_data()[i], summary) 24 match = re.search(pattern, eval_comment) File c:\Summarize KakaoTalk\utils.py:53, in summarize(conversation, prompt, temperature, model) 51 genai.configure(api_key=GOOGLE_API_KEY) 52 client = genai.GenerativeModel(model) ---> 53 response = client.generate_content( 54 contents=prompt, 55 safety_settings={ 56 HarmCategory.HARM_CATEGORY_HARASSMENT: HarmBlockThreshold.BLOCK_NONE 57 } 58 ) 59 time.sleep(1) 61 return response.text

...

} , retry_delay { seconds: 54 } ]

Gemini 에서 내부적으로 과도한 리소스를 요청했을 때 발생하는데 원인을 모르겠습니다. utils.py를 어떻게 수정해야 할 지, 문의드립니다.

출력 토큰 수 제한, 입력 길이 제한 등 utils.py를 수정해 보았으나 항상 같은 에러가 발생합니다.