- 강의 질문
- AI TECH
chunked prefill 02:34분 정적배치 관련 설명 질문입니
2025.04.29 11:10 작성
fastertransformer에서 사용한 정적배치 성질 설명하면서
처리량은 좋은데, 레이턴시가 있다는게 정확한 정적 배치 설명이 아닌가요?
반대로 말씀하셔서 좀 궁금해서 말씀드렸습니다
fastertransformer에서 사용한 정적배치 성질 설명하면서
처리량은 좋은데, 레이턴시가 있다는게 정확한 정적 배치 설명이 아닌가요?
반대로 말씀하셔서 좀 궁금해서 말씀드렸습니다