# Model 로드 하기

model = AutoModelForCausalLM.from_pretrained(

    model_path,

    quantization_config = quantization_config,

    torch_dtype = torch.bfloat16,

    device_map = {"" : 0}

    )

에서

device_map = "auto"

로만 적용이 됩니다.

이렇게 하니 정상적으로 되는데 이렇게 해도 문제가 없는지 확인 부탁드립니다.