- 강의 질문
- AI TECH
Part3 Chapter 1 - Ch01-07. LLaMA3 Fine Tuning(1) (10:31 부분 관련)
강의 중 다음 코드 실행 시 samsum_dataset
로드 부분에서 에러가 발생하고 있습니다:
from llama_recipes.configs.datasets import samsum_dataset
from llama_recipes.data.concatenator import ConcatDataset
from llama_recipes.utils.config_utils import get_dataloader_kwargs
from llama_recipes.utils.dataset_utils import get_preprocessed_dataset
train_dataset = get_preprocessed_dataset(tokenizer, samsum_dataset, 'train')
이 때 아래와 같은 에러 메시지가 발생합니다:
FileNotFoundError: Couldn't find a dataset script at /content/Samsung/samsum/samsum.py or any data file in the same directory.
Couldn't find 'Samsung/samsum' on the Hugging Face Hub either: FileNotFoundError: Dataset 'Samsung/samsum' doesn't exist on the Hub
문의사항
samsum_dataset
객체가 정의되어 있지 않으며,llama_recipes.configs.datasets
에서도 해당 항목을 찾을 수 없습니다.Hugging Face Hub에서
Samsung/samsum
도 존재하지 않는다고 나옵니다.강의에서는 이 부분을 별다른 설명 없이 넘어가는데, 해당 데이터셋을 어떻게 정의하거나 다운로드 받아야 하는지에 대한 설명이 필요합니다.
요청 사항
samsum_dataset
변수 또는 객체를 강의에서 어떻게 정의하거나 구성했는지 설명 부탁드립니다.혹은
llama_recipes
내부에서 직접 구현해야 하는 항목이라면, 관련 샘플 코드나 설명 자료 제공 부탁드립니다.
감사합니다.