root layout

패스트캠퍼스

커스텀 체인 구축 관련

2024.12.12 21:31 작성

안녕하세요. 좋은 강의를 제공해주셔서 감사합니다.


langgraph로 구축할 때, 자체적인 sLLM 쓰기 위해서 자체 triton 서버에서 호출해오는 방식으로 적용을 하고 싶은데,

langgraph 특성 상 LLM이 반드시 포함되도록 라이브러리가 작성된 것 같습니다.

LLM을 쓰지 않거나 자체 sLLM을 triton server에서 호출하는 방법이 있을까요?

ollama의 경우 tensorrt를 지원하지 않는 문제가 있고,

ChatNVIDIA를 쓸 경우 Nvidia API키를 제공하라고 하는데, 본 방식과 무관하다고 생각이 돼서요.

감사합니다.


답변 

연관 질문

커뮤니티 질문보기