Late Chunking 실습의

jinaai/jina-embeddings-v3 모델과 토크나이저 부분에서 flash_attn is not installed.경고가 떠서 !pip install flash-attn --no-build-isolation 이걸로 해결해보려고 했는데 이 코드에서도 에러가 납니다. 검색해보니 윈도우환경에서는 공식적으로 설치와 사용이 어렵다고 뜨는데요.

어떻게 하면 좋을지요? 이거 때문인지 임베딩 생성 시간이 80분 넘게해도 안나와서 중단시켰습니다. v2 모델로 했을 때 flash_attn 경고는 안뜨는데 여전히 임베딩 생성이 되지 않습니다.

>> 해결

v3_model.to('cuda')

    if torch.cuda.is_available():

        inputs = {k: v.to('cuda') for k, v in inputs.items()}

    else:

        print("  GPU 사용 불가. CPU 사용.")

    print("  모델 추론 시작...")

    with torch.no_grad():

        model_output = v3_model(**inputs)