커스텀 체인 구축 관련
2024.12.12 21:31 작성
안녕하세요. 좋은 강의를 제공해주셔서 감사합니다.
langgraph로 구축할 때, 자체적인 sLLM 쓰기 위해서 자체 triton 서버에서 호출해오는 방식으로 적용을 하고 싶은데,
langgraph 특성 상 LLM이 반드시 포함되도록 라이브러리가 작성된 것 같습니다.
LLM을 쓰지 않거나 자체 sLLM을 triton server에서 호출하는 방법이 있을까요?
ollama의 경우 tensorrt를 지원하지 않는 문제가 있고,
ChatNVIDIA를 쓸 경우 Nvidia API키를 제공하라고 하는데, 본 방식과 무관하다고 생각이 돼서요.
감사합니다.