root layout

패스트캠퍼스

  1. 강의 질문
  2. AI TECH

chunked prefill 02:34분 정적배치 관련 설명 질문입니

2025.04.29 11:10 작성

fastertransformer에서 사용한 정적배치 성질 설명하면서


처리량은 좋은데, 레이턴시가 있다는게 정확한 정적 배치 설명이 아닌가요?


반대로 말씀하셔서 좀 궁금해서 말씀드렸습니다


답변 

연관 질문

커뮤니티 질문보기