root layout

패스트캠퍼스

Fast Campus Logo
Fast Campus

사용자 메뉴

로그인
커뮤니티
기업교육
Course Cover ImageCourse Cover Background Image
개발/데이터데이터 엔지니어링

한번에 끝내는 LLMOps & 데이터 파이프라인 구축

평생소장
약 28시간
사전지식 필요

LLM & AI 비즈니스 데이터셋을 위한 LLMOps와 고급 데이터엔지니어링 솔루션 학습

#LLMOPS#MLOPS#데이터엔지니어링#데이터파이프라인

강의 정보

온라인
7파트
25.01.31~ 영상 공개
학습자료 제공
자막 제공
AI 챗봇 지원

55%
월 22,000원
12개월 무이자 할부 시

권장 소비자 가격
599,000원
할인 금액
-335,000원
할인 판매가
264,000원
지금 이 강의로 받을 수 있는 2가지 혜택! (~5/23 17:59)
2025-05-23T08:59:00.000Z
912 가이드 W(배경+타이머 컬러 282828 고정).webp

한번에 끝내는 LLMOps & 데이터 파이프라인 구축

찜하기

나를 위한 투자, 지금 이 강의로 시작해보세요🔥이 강의로 올해 자기계발 끝내자!

커리큘럼

파트 7개약 28시간

  • Part1. 데이터 엔지니어링과 LLM 기초

      Chapter 1. 강의 인트로

    • Introduction: 강의 목표
    • LLM이란 무엇인가?
    • Chapter 2. LLM 시대가 오기까지

    • LLM 시대가 오기까지 (1): 인공지능의 발전 역사
    • LLM 시대가 오기까지 (2): NLP의 발전 역사
    • LLM 핵심 기술: Transformer, Pre-train & Fine-tuning
    • LLM 시대의 시작: GPT와 BERT
    • Chapter 3. LLM 비즈니스 활용 사례

    • LLM이 효과적인 과업
    • 사례 (1) 넥슨코리아: 인프라 모니터링
    • 사례 (2) 당근마켓: 추천 알고리즘
    • 사례 (3) 카카오: 스팸 콘텐츠 대응
    • Chapter 4. LLM 동작 원리

    • 기본 개념 (1) 토큰화 (Tokenization)
    • 기본 개념 (2) 확률과 언어 모델
    • 기본 개념 (3) 딥러닝
    • 기본 개념 (4) Attention과 Transformer
    • Transformer의 내부 구조
    • Pre-training과 Fine-tuning의 세부 과정
    • 모델 생성 과정
    • Chatper 5. LLM 대표 모델 비교

    • LLM 대표 모델 소개
    • GPT
    • BERT
    • LLaMA
    • Chapter 6. LLM 시대의 데이터 엔지니어링

    • LLM이 사용하는 데이터의 종류
    • LLM 프로젝트에서 데이터 엔지니어의 역할
  • Part2. LLM 프로젝트를 위한 기본 개념

      Chapter 1. LLM 프로젝트 개요

    • LLM 프로젝트의 개괄적인 소개
    • LLM 프로젝트의 구성 요소
    • Chapter 2. 임베딩 (Embedding)

    • 임베딩(Embedding)이란?
    • 다양한 임베딩 알고리즘
    • Chapter 3. 벡터 데이터베이스(Vector Database)

    • 데이터베이스 소개(RDBMS, NoSQL, Vector DB)
    • 벡터 데이터베이스란?
    • 벡터 검색이란?
    • 벡터 검색의 활용 사례
    • Chapter 4. 랭체인(LangChain)

    • 랭체인이란?
    • 주요 컴포넌트 소개 (1) Prompts, LLMs, Chains, Agents
    • 주요 컴포넌트 소개 (2) Memory, Document Loaders, TextSplitters, VectorStores 등
    • LangChain 파이프라인 구현 사례
    • Chatper 5. RAG

    • RAG란?
    • RAG의 작동 방식
    • RAG의 기본 구성 요소: 검색, 생성, 연결
    • RAG의 구현 사례
    • Chatper 6. 프롬프트 엔지니어링

    • 프롬프트 엔지니어링이란?
    • 프롬프트 엔지니어링의 주요 기법
    • 프롬프트 엔지니어링 실전 사례 (1) 스크립트 작성
    • 프롬프트 엔지니어링 실전 사례 (2) AI Agent와의 결합
    • Chatper 7. ChatGPT API

    • ChatGPT API란?
    • ChatGPT API 사용법
    • ChatGPT API 사용 실습
  • Part3. 데이터 전처리와 큐레이션 전략

      Chatper 1. LLM 서비스를 위한 데이터셋

    • AI 모델에서 데이터의 중요성
    • AI 모델에서 데이터 저작권
    • LLM에 적합한 데이터란?
    • Chapter 2. LLM 서비스를 위한 데이터 수집

    • Python 크롤링 기초 (1) 환경 설정
    • Python 크롤링 기초 (2) 보안 이슈 확인
    • Python 크롤링 기초 (3) 실전 크롤링 코드
    • 데이터셋 소개 (1)
    • 데이터셋 다운로드 (1)
    • 데이터셋 소개 (2)
    • 데이터셋 다운로드 (2)
  • Part4. 데이터 엔지니어링 개요 및 주요 기술 소개

      Chatper 1. 데이터 엔지니어링 수명 주기 (lifecycle)

    • 수명 주기의 주요 구성 요소
    • Chapter 2. 임베딩 (Embedding)

    • Apache Spark란?
    • 로컬 환경에 스파크 설치 및 워드 카운트 예제 실행
    • 스파크 애플리케이션의 구성 요소
    • Transformation, Action, Lazy Evaluation 의 개념
    • 스파크 RDD란?
    • RDD 실습 - 로그 집계 파이프라인 만들기 - map, filter, reduce, group by
    • RDD 실습 - spark UI 확인 및 Join
    • Spark SQL, Dataframe, Dataset이란?
    • Spark DataFrame, Dataset, SQL 실습 - 로그 집계 파이프라인 만들기 - Dataframe API
    • Spark DataFrame, Dataset, SQL 실습 - 로그 집계 파이프라인 만들기 - SQL API
    • Spark DataFrame, Dataset, SQL 실습 - join
    • Spark Structured Streaming이란?
    • Structured Streaming 실습 - 실시간 로그 집계 파이프라인 만들기
    • Structured Streaming 실습 - Join
    • Event Time windows, Processing Time Windows 개념 및 실습
    • Watermark 개념, 실습
    • 스파크 클러스터, 런타임 아키텍처에 대한 이해, Cluster 모드와 Client 모드 비교
    • Spark - action, stage, shuffle, task, slot 확인 실습
    • Join의 종류
    • 스파크에서의 메모리 할당, 메모리 관리
    • Partitioning 개요 및 중요성
    • Repartition, Coalesce에 대한 이해
    • Caching, Persistence에 대한 이해
    • Chapter 3. 분산 스트리밍 플랫폼 - Apache Kafka

    • Apache Kafka란?
    • Topic, Partitions, Offset
    • Producer, Message Keys
    • Consumer, Deserialization
    • Consumer Group, Consumer Offsets
    • Brokers
    • Replication
    • Zookeeper, Kraft
    • 로컬 환경에 kafka 설치 + topics cli 실습
    • producer cli 실습
    • consumer cli 실습
    • consumer group cli 실습
    • Producer - Java 실습
    • Producer callback - Java 실습
    • Producer with key - Java 실습
    • Consumer - Java 실습
    • Chapter 4. 워크플로우 관리 - Apache airflow

    • airflow 소개
    • 로컬 환경 구축
    • 기본 개념 이해 - DAG, task, operator
    • 워크플로우 작성 실습 - DAG 구성과 스케쥴링
    • 워크플로우 작성 실습 - template, branch
    • 확장 기능 활용 - 플러그인과 커넥터
    • 커넥터 실습 - airflow + spark
    • Chapter 5. 검색 엔진 & 데이터 저장소 & 벡터 데이터베이스 - ElasticSearch

    • Elastic search 소개
    • 로컬 환경 구축
    • 기본 개념 이해 : 인덱스, 문서, 노드, 클러스터
    • 데이터 삽입과 조회 : CRUD
    • 검색 쿼리 작성법: 쿼리 DSL
    • 분석 엔진 활용: 분석기와 토큰 필터
    • 성능 최적화 팁: 캐싱과 샤딩 전략
    • Kibana 통합 사용법: 시각화 도구 활용
    • 벡터 데이터베이스로써의 ElasticSearch
    • Chapter 6. 모니터링 - Prometheus, grafana

    • Prometheus, grafana 소개
    • Prometheus, grafana 환경 구축
    • Prometheus pushgateway
    • Prometheus, grafana 실습 - spark의 아웃풋 메타데이터 모니터링
  • Part5. 머신러닝과 데이터 엔지니어링

      Chatper 1. MLOps 개요 및 필요성

    • MLOps 개요 및 필요성
    • Chapter 2. MlFlow 프레임워크

    • MlFlow 프레임워크 소개 + 로컬 환경 구축
    • Mlflow 실습 - Tracking
    • Mlflow 실습 - Logging
    • Mlflow 실습 - Modeling
    • Mlflow 실습 - Model Registry
    • Chapter 3. Feature store

    • Feature store 개요, 필요성
    • Feast 프레임워크 소개 + 로컬 환경 구축
    • Feast 로컬 실습 # 1
    • Feast 로컬 실습 # 2
    • Feast 로컬 실습 # 3
  • Part6. 데이터엔지니어링과 LLM 실전

      Chatper 1. LLMOps 소개

    • LLMOps의 정의와 필요성
    • LLMOps vs MLOps: 주요 차이점
    • LLMOps의 핵심 구성 요소
    • Chapter 2. LLMflow 프레임워크 개요

    • LLMflow의 정의와 필요성
    • LLMflow의 주요 구성 요소 (1) 데이터 준비
    • LLMflow의 주요 구성 요소 (2) 모델 학습
    • LLMflow의 주요 구성 요소 (3) 배포 및 모니터링
    • LLMflow의 장점과 활용 사례
    • Chapter 3. LLMflow 실습

    • 환경 설정 (1) Python 가상 환경 설정
    • 환경 설정 (2) AWS 계정 생성 및 기본 설정
    • 환경 설정 (3) AWS CLI 설치 및 구성
    • AWS 서비스 소개 및 설정 (1) EC2 인스턴스 생성 및 접속
    • AWS 서비스 소개 및 설정 (2) S3 버킷 생성 및 사용법
    • AWS 서비스 소개 및 설정 (3) Cloud9 환경 설정
    • AWS 서비스 소개 및 설정 (4) Sagemaker 소개 및 설정
    • 데이터 수집 및 업로드 (1) 데이터셋 소개
    • 데이터 수집 및 업로드 (2) 데이터셋 수집
    • 데이터 수집 및 업로드 (3) Python을 이용한 데이터 전처리
    • 데이터 수집 및 업로드 (4) 데이터 업로드
    • Fine-tuning 실습 (1) 사전 학습된 모델 선택
    • Fine-tuning 실습 (2) 파라미터 설정
    • Fine-tuning 실습 (3) 실행 및 모니터링
    • 모델 배포 (1) Sagemaker 소개 및 설정
    • 모델 배포 (2) 모델 아티팩츠 준비
    • 모델 배포 (3) Sagemaker 엔드포인트 설정
    • 모델 배포 (4) 배포된 모델 테스트
    • API 개발 (1) FastAPI 소개 및 설치
    • API 개발 (2) 기본 API 구조 설계
    • API 개발 (3) SageMaker 엔드포인트와 연동
    • 모니터링 및 최적화: Cloudwatch 대시보드 설정
    • 전체 워크플로우 리뷰
  • Part7. LLM 기반 데이터엔지니어링 실전 프로젝트

      Chatper 1. 프로젝트 개요

    • 프로젝트 목표
    • 프로젝트 구조
    • Chapter 2. 환경 설정

    • Python 환경 구축 (1) 개발 환경 구축
    • Python 환경 구축 (2) 라이브러리 설치
    • Python 환경 구축 (3) 보안 관련 키 관리 방식
    • MySQL 환경 구축 (1) MySQL 다운로드
    • MySQL 환경 구축 (2) MySQL 데이터 생성
    • Confluence 환경 구축 (1) 웹 데이터 생성
    • Chapter 3. 슬랙 앱 생성 및 설정

    • Slack 앱 초기 생성 프로세스
    • 봇 사용자 추가 및 권한 설정
    • Slack API 토큰 발급 및 관리
    • Chapter 4. 문서 전처리

    • 문서 데이터 소개
    • 문서 데이터 다운로드 (1) Confluence에 게제된 데이터
    • 문서 데이터 다운로드 (1) MySQL에 저장된 데이터
    • 문서 수집 방법 (1) Confluence API를 활용한 크롤링 코드 작성 및 실행
    • 문서 수집 방법 (2) 쿼리를 통한 데이터 추출 작성 및 실행
    • 문서 데이터 전처리 방법 소개
    • 문서 데이터 전처리 (1) 텍스트 추출
    • 문서 데이터 전처리 (2) 텍스트 정제
    • 문서 데이터 전처리 (3) 불완전한 정보 제거
    • Chapter 5. 문서 임베딩

    • 임베딩 모델 소개
    • 임베딩 생성 (1) API 호출로 벡터 생성
    • 임베딩 생성 (2) Python 코드로 임베딩 처리
    • 임베딩 처리 최적화
    • Chapter 6. 벡터 데이터베이스 구축

    • Pinecone 소개 및 계정 설정
    • Pinecone 인덱스 생성 및 관리 (1) 벡터 인덱스 생성 방법 및 생성 옵션
    • Pinecone 인덱스 생성 및 관리 (2) 인덱스 업데이트 및 삭제 관리
    • 임베딩 벡터 검색
    • Chapter 7. 질의응답 파이프라인 설계

    • 전체 파이프라인 아키텍처 소개
    • 사용자 입력 처리 및 벡터 전환
    • Pinecone을 활용한 유사 문서 검색
    • LLM을 활용한 응답 생성
    • 추가 문서 링크 생성 로직 구현
    • Chapter 8. 슬랙 API 연동

    • Slack 이벤트 구독 설정
    • 메세지 수신 및 전송
    • 비동기 처리를 위한 백그라운드 작업
    • Chapter 9. LangChain 워크플로우 구현

    • LangChain 컴포넌트 설계 (1)
    • LangChain 컴포넌트 설계 (2)
    • 문서 검색 체인 구현
    • 질의 - 응답 체인 구현
    • 전체 워크플로우 통합 및 최적화
    • Chapter 10. 배포 및 모니터링 설정

    • API 개발 (1) FastAPI 소개 및 설치
    • API 개발 (2) 기본 API 구조 설계
    • API 개발 (3) SageMaker 엔드포인트와 연동
    • 모니터링 및 최적화: Cloudwatch 대시보드 설정
    • Chapter 11. 전체 워크플로우 리뷰

    • 전체 워크플로우 리뷰
 영상공개 일정 D-9
해당 강의는 총 6회에 걸쳐 공개됩니다.
1차2025.01.31(금)
2차2025.02.28(금)
3차2025.03.21(금)
4차2025.04.25(금)
5차2025.05.16(금)
최종2025.05.30(금)

이런 강의는 어떠세요?

지금 보는 강의와 유사해요!

강의 대표이미지
10+
데이터 엔지니어링
국내 공채 1호 프롬프트 엔지니어 강수진의 프롬프트 엔지니어링 A to Z
약 14시간누구나
FC AWARD
강의 대표이미지
10+
데이터 엔지니어링
7개 프로젝트로 완벽하게 끝내는 AWS 데이터 파이프라인 구축
약 20시간사전지식 필요
온라인
강의 대표이미지
10+
데이터 엔지니어링
실시간 데이터 처리 위한 Spark & Flink & Kafka
약 35시간사전지식 필요
온라인

학습 규정 및 환불 규정

학습 규정


* 본 상품은 동영상 형태의 강의를 수강하는 상품입니다.

* 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.

* 해당 강의는 사전 예약 상품으로, 강의 영상이 공개 일정에 따라 순차적으로 제작되어 오픈됩니다.

* 수강 신청 및 결제를 완료하시면, 마이페이지를 통해 바로 수강이 가능합니다.


총 학습기간:

  • 정상 수강기간(유료 수강기간) 최초 30일, 무료 수강 기간은 31일 일차 이후로 무제한이며, 유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.

  • 본 패키지는 약 28시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.

  • 수강시작일: 수강 시작일은 결제일로부터 기간이 산정되며, 결제를 완료하시면 마이페이지를 통해 바로 수강이 가능합니다. (사전 예약 강의는 1차 강의 오픈일)

  • 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는 해당 일정 만큼 수강 시작일이 연기됩니다.

  • 일부 강의는 아직 모든 영상이 공개되지 않았습니다. 각 상세페이지 하단에 공개 일정이 안내되어 있습니다.


주의 사항


  • 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.

  • 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.

  • 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인 이벤트 적용이 불가할 수 있습니다.

  • 커리큘럼은 제작 과정에서 일부 추가, 삭제 및 변경될 수 있습니다.

  • 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.


환불 규정


[온라인 강의]

  • 환불금액은 정가가 아닌 실제 결제금액을 기준으로 계산됩니다.

  • 쿠폰을 사용하여 강의를 결제하신 후 취소/환불 시 쿠폰은 복구되지 않습니다.


  • 수강시작 후 7일 이내, 5강 미만 수강 시에는 100% 환불 가능합니다.

  • 수강시작 후 7일 이내, 5강 이상 수강 시 전체 강의에서 수강한 강의의 비율에 해당하는 수강료를 차감 후 환불 가능합니다.


  • 수강시작 후 7일 초과 시 정상 수강기간 대비 잔여일에 대해 아래 환불규정에 따라 환불 가능합니다.

    • 환불요청일 시 기준

    • : 수강시작 후 1/3 경과 전, 실 결제금액의 2/3에 해당하는 금액 환불

    • : 수강시작 후 1/2 경과 전, 실 결제금액의 1/2에 해당하는 금액 환불

    • : 수강시작 후 1/2 경과 후, 환불 금액 없음


* 보다 자세한 환불 규정은 홈페이지 취소/환불 정책에서 확인 가능합니다.


[피드백권 환불 규정]


<강사님의 서면/영상 피드백 받기 전>

1. 사용기한 (50일) 경과 전 환불 요청 시 전액 환불 가능합니다.

2. 사용기한 (50일) 경과 후 환불 요청 시 피드백을 진행하지 않았더라도 환불이 불가합니다.


<강사님의 서면/영상 피드백 받은 후>

사용기한(50일) 경과 후 별도 환불은 불가합니다.

사용기한 경과 및 피드백을 받은 이후 환불 요청 시, 기존 패스트캠퍼스 온라인 환불 규정에 따라 금액을 산정한 이후 피드백권 금액이 제외되어 환불됩니다.


* 강의와 피드백권의 개별 환불 요청은 불가합니다.

* 피드백 결과에 대해 개인적으로 만족하지 않으신다는 사유로 인한 환불은 불가합니다.

* 피드백권 구매자가 환불 시 피드백의 기회는 소멸되며 해당 상품의 재구매는 불가합니다.


1:1 서면/영상 피드백 주의사항 및 환불 규정


[주의사항]

* 본 서면 피드백 및 영상 피드백권은 2025년 3월 31일까지 별도 구매한 수강생만 이용이 가능합니다.

* [VOD + 1:1 서면 피드백] , [VOD + 1:1 영상 피드백] 말머리가 포함된 패키지 상품 구매를 완료해주셔야 이용하실 수 있습니다.

* 본 패키지 상품 구매 시, 별도 할인 및 쿠폰 적용이 불가합니다.

* 본 상품은 본 강의의 프로모션 및 패스트캠퍼스 전체 프로모션에 적용되지 않습니다.


* 피드백 답변은 문의일로부터 최대 7일 소요될 수 있습니다.

* 강의와 피드백권의 개별 환불 요청은 불가합니다.

* 해당 이벤트는 당사 사정에 따라 변경되거나 조기 마감될 수 있습니다.


[수업 예약 방법]

- 본 피드백권 구매 완료 후 [마이페이지-내 강의보기] 내 공지사항을 통해 설문지를 제출합니다.

- 피드백 내용을 작성하여 설문지를 제출해주시면 7일 이내 강사님의 서면/영상 피드백이 이메일로 발송됩니다.


* 피드백권은 구매 후 50일 이내 사용되어야 하며, 사용하지 않을 경우 자동 소멸됩니다.

* 피드백 시작일은 2024년 12월 30일부터 코스 내 설문지를 통해 제출이 가능합니다.


패스트캠퍼스 정책 안내


[패스트캠퍼스 아이디 공유 금지 정책]

패스트캠퍼스의 모든 온라인 강의에서는 1개의 아이디로 여러명이 공유하는 형태를 금지하고 있습니다.

동시접속에 대한 기록은 내부 시스템을 통해 자동으로 누적되며, 이후 서비스 이용이 제한될 수 있습니다.


[기기제한 정책]

패스트캠퍼스 온라인 강의 시청을 위해서는 ID별 최대 4개의 기기를 등록할 수 있으며, 기기 등록은 온라인 강의장 접속 시 자동 등록됩니다.

최대 갯수를 초과하였을 경우 등록된 기기 해제가 필요합니다.


[저작권 정책]

패스트캠퍼스의 모든 강의는 무단 배포 및 가공하는 행위, 캡쳐 및 녹화하여 공유하는 행위, 무단으로 판매하는 행위 등 일체의 저작권 침해 행위를 금지합니다.

부정 사용이 적발될 경우 저작권법 위반에 의한 법적인 제재를 받으실 수 있습니다.

국내 7개 카드사 12개월 무이자 할부 지원! (간편 결제 제외)

  • 삼성카드
  • 신한카드
  • 롯데카드
  • 현대카드
  • 하나카드
  • KB국민은행
  • NH농협카드
  • 회사소개
  • 강사지원
  • 채용안내
올해의 브랜드 대상 2021올해를 빛낸 브랜드 대상 2021
대표이사
이강민
개인정보책임관리자
이강민
사업자번호
810-86-00658
사업자정보확인
사무실
서울특별시 강남구 테헤란로 231, 센터필드 WEST 6층, 7층
교육장
서울특별시 강남구 강남대로 364 미왕빌딩 10, 11층
  • 이용약관
  • 개인정보처리방침
  • FAQ
  • 취소/환불 정책
  • 자료실
  • 공지사항
  • 고객센터 바로가기
  • 전화번호 02-501-9396
  • 이메일 help@fastcampus.co.kr
  • 주중 10시~18시 (점심시간 12~13시 / 주말 및 공휴일 제외)
호스팅 서비스 제공
(주) 데이원컴퍼니
통신판매업 신고번호
제 2017-서울강남-01977호
학원설립 운영등록번호
제12484호(강남)
원격평생교육원
제 572호