- 강의 질문
- AI TECH
with_structured_output 관련 문의
2025.10.20 19:52 작성
현재 vllm을 통해서 gpt-oss-20b를 serving 하면서 pydantic basemodel을 통해 output을 정해놓고 with_structured_output 을 사용하면 잦은 현상은 아니나 가끔씩 error가 나옵니다 제대로 parsing하지 못해서 이런 경우에는 어떻게 해야할까요? retry 로직을 만들어야할까요
현재 vllm을 통해서 gpt-oss-20b를 serving 하면서 pydantic basemodel을 통해 output을 정해놓고 with_structured_output 을 사용하면 잦은 현상은 아니나 가끔씩 error가 나옵니다 제대로 parsing하지 못해서 이런 경우에는 어떻게 해야할까요? retry 로직을 만들어야할까요