해석의 정확도에 중점을 맞춘
번역 목적 LLM 성능 평가

---

| 주요 학습 포인트
성능평가 중 가장 간단한 평가로, NLP 평가 지표를 이해하고 적용하는 학습합니다.
| 사용되는 평가지표
NLP 평가지표

축약에 중점을 맞춘
요약 목적 LLM 성능 평가

---

| 주요 학습 포인트
요약 평가를 위한 올바른 LLM as a judge 구성법을 배웁니다.
| 사용되는 평가지표
NLP 평가지표 LLM as a judge

질문의 의도에 알맞은 답변 도출에 중점을 맞춘
질의응답 목적 LLM 성능 평가

---

| 주요 학습 포인트
각 평가 지표에 대한 이해와 평가 결과의 합산법을 학습합니다.
| 사용되는 평가지표

Sem-score NLP 평가지표 LM 기반 메트릭 LLM as a judge

장기기억력에 중점을 맞춘
대화데이터에서 LLM 성능 평가

---

| 주요 학습 포인트
질의응답에 활용된 평가지표를 그대로 활용하나,
대화형으로 변형한 incremental 메트릭 합산법에 집중하여 학습합니다.
| 사용되는 평가지표

Sem-score NLP 평가지표 LM 기반 메트릭 LLM as a judge

정답과 복잡한 문제풀이 과정을 함께 도출해야 하는
Reasoning 목적 LLM 성능 평가

---

| 주요 학습 포인트
복잡한 문제풀이 과정을 도출해야 하기 때문에
reasoning 단계 별 평가하는 방법을 구현하는 데에 집중하며,
객관식 데이터 구성 시 주의점을 학습합니다.
| 사용되는 평가지표

객관식 메트릭 reasoning 단계별 평가법 LLM as a judge

답변에 욕설을 하거나 정치적으로 부적절한 답변을 하지 않는지에 중점을 맞춘
AI Safety 목적 LLM 성능 평가

---

| 주요 학습 포인트
7가지의 AI safety 평가 기준에 대한 이해를 위해
LLM as a judge의 7가지의 다른 평가 기준에 집중하여 학습합니다.
| 사용되는 평가지표
LLM as a judge

속도 측정 및 비용 추산에 중점을 맞춘
비용과 속도 평가

---

| 주요 학습 포인트
속도를 높이고 비용을 낮추게 하되
답변의 정확성을 놓치지 않게 하는 데에 중점을 맞추어 평가지표를 설정합니다.
| 사용되는 평가지표

사용 토큰 수 Time-to-First token 속도

다양한 메트릭을 한번에 활용하는 것에 중점을 맞춘
Retrieval 성능 평가

---

| 주요 학습 포인트
다양한 메트릭을 한번에 활용하기 때문에
왜 최적화에서 LLM as a judge를 Retrieval 측정에 사용하지 않는 것이 좋은지와
다른 메트릭을 이해하고 활용하는 것에 중점을 맞추어 평가지표를 설정합니다.
| 사용되는 평가지표

Rank-aware Retrieval Metric LLM as a judge LLM aRank-unaware Retrieval Metrics a judge

고급 Retrieval 기법
Hybrid Retrieval

- 두 가지 완전히 다른 방식의 검색 기법을 조합해서 사용하는 기법입니다.
- 하이퍼 파라미터 최적화를 통하여 더욱 높은 검색 성능을 달성할 수 있는 방법을 학습합니다.

고급 Reranker 기법
Passage Reranker

- 작은 언어 모델 선택 등을 이용해 검색 결과를 재정렬하는 방법입니다. 수많은 검색 결과 중에서 정말 의미있고 가치있는 결과를 찾아내는 방법입니다.
- Reranker를 선택하여 높은 검색 성능을 달성할 수 있도록 최적화하는 기준을 학습합니다.

고급 RAG 기법
Query Expansion

- 사용자의 질문을 검색이 잘 되는 형태로 변환하는 방법입니다.
- 질문을 검색어 형식으로 바꾸거나, 더 작은 질문으로 분해하거나, 질문을 증강하여 검색 성능을 올려줄 수 있는 방법을 학습합니다.

고급 RAG 기법
Passage Filter

- 여러 방법을 이용하여 검색 결과에서 질문과 관련 없는 질문들을 걸러주는 필터링 기법입니다.
- 사용 가능한 임계값 (threshold)의 옵션이 너무 많기 때문에 세밀한 최적화 노하우를 학습하면 RAG 시스템이 환각을 말할 확률을 현저히 줄일 수 있습니다.

고급 RAG 기법
Passage Compressor

- 검색된 결과 단락의 핵심 의미는 유지하면서 전체 크기를 축약하는 기법입니다.
- 답변 성능은 높게 유지하면서도 LLM 작동에 소요되는 비용을 크게 줄일 수 있는 노하우를 학습합니다.

프롬프트 기법
Long Context Reorder

- 높은 연관성으로 검색된 단락을 프롬프트의 양쪽 끝에 배치하여 성능을 끌어올리는 기법입니다.
- 답변 성능을 올리는 것에 도움을 줄 수 있는 방법을 학습합니다.

평가 프레임워크 주어진 평가 데이터에 대해 평가를 수행합니다. 애플리케이션 제작 후에 수행합니다.

최적화 프레임워크 "평가"한 결과를 기반으로, 자동으로 성능 등을 최적화합니다.

Observability 툴 "제작 완료"한 LLM 애플리케이션의 질문, 답변, 동작 등을 관찰하고 기록합니다.

RAGAS

| 프레임워크 특징
가장 기본적인 LLM as a judge. 프롬프트 커스텀이 어려워 복잡한 커스텀의 경우 성능이 떨어짐.

| 활용 분야
RAG, LLM, 에이전트 평가. SQL 활용 LLM 애플리케이션.

deepeval

| 프레임워크 특징
- LLM safety 관련 메트릭을 제공하는 프레임워크.
- 다양한 벤치마크 데이터셋을 활용한 평가를 제공함.

| 활용 분야
RAG 등 LLM 평가. LLM 파인튜닝 성능 평가. 요약 평가.

tonic validate

| 프레임워크 특징
- 평가 진행 및 평가 결과 조회를 위한 UI 제공 (유료 기능)
- LLM 응답 속도 관련 메트릭을 제공함.

| 활용 분야
RAG 등 LLM 평가. LLM 파인튜닝 성능 평가. 요약 평가.

RAGAS

| 프레임워크 특징
실제 사용자 피드백을 중심으로 LLM 애플리케이션의 평가를 진행하는 프레임워크.

| 활용 분야
실제 사람들이 사용중인 LLM 혹은 RAG 애플리케이션.

AutoRAG

| 프레임워크 특징
사용자의 데이터에 최적화된 RAG 파이프라인을 자동으로 탐색해주는 최적화 프레임워크.

| 활용 분야
RAG 파이프라인 최적화, 모듈 성능 비교, 응용 LLM 개발

tonic validate

| 프레임워크 특징
복잡한 로그와 트레이스를 시각적으로 탐색 및 디버깅 가능한 프레임워크.

| 활용 분야
LLM 애플리케이션의 개발, 모니터링, 평가 및 디버깅.