Retrieval 평가하기위해 Evaluator를 활용해서 평가 진행합니다.

embedding model을 huggingface 제공하는 모델로 사용하여

yaml 파일도 그 형식에 맞게 생성 하였습니다.

embedding model이 변경되면 그에 따라 recall, precision, f1-score가 달라져야한다고 생각이 드는데

실제 결과값은 어떤 모델을 써도 동일하여 이 문제를 어떻게 해결해 나가면 좋을지 고민이어서 남김니다.

————————————-

yaml

node_lines

- node_line_name:retrieve_node_line

nodes:

- node_type : retrieval

strategy:

metrics :[ retrieval_f1, retrieval_recall, retrieval_precision]

top_k : [1,3,5]

modules:

- module_type : vectordb

vectordb : default

embedding_model : huggingface

embedding_model_name :

- XXXX