초격차 패키지 Online.

7개 프로젝트로 완벽하게 끝내는
AWS 데이터 파이프라인 구축

클라우드 환경에서 데이터 파이프라인 구축을 위한 모든 것을 담은 강의

데이터 수집부터 저장, 처리, 분석, 시각화까지
전체 파이프라인을 직접 구축
AWS 환경에서 데이터 파이프라인을
계속 운영할 수 있는 노하우 학습

클라우드 환경에서 서비스의 품질을 계속
유지할 수 있는 파이프라인 최적화 노하우 학습
실제 개발 환경에서 적용 가능한
7개의 파이프라인 구축 실습

현업에서 데이터 파이프라인을 구축하면서  
발생할 수 있는 7개의 실제 사례 기반 프로젝트

기본 정보

· 4개 대주제, 86여개 강의 클립 (약 15시간 분량)
· 입문-실전
· 선수 지식 : Python, Scala, Spark, AWS
· 설치 프로그램 : Window 환경에서 PuTTY 설치

강의 특징

· 수강료 1회 결제로 평생 소장
· 다양한 구조의 클라우드 파이프라인 구축, 모니터링, 발생하는 문제에 대한 문제 해결방안 학습
· 해당 강의는 AWS 유료 서비스를 포함하고 있으며, 정확한 요금은 AWS 공식 홈페이지에서 확인이 가능합니다. 본 유료 서비스에 대한 실습 비용은 강의에 포함되지 않습니다.

코스 프로모션 배너 전용입니다.

0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

클라우드 기반 데이터 파이프라인은
국내/외 대부분의 기업에서 활용되고 있습니다.

클라우드 기반 데이터 파이프라인을
구축 & 운영하기 위해 반드시 알아두어야 할 핵심 요소 6가지

6가지 포인트를 모두 알고 있어야만 클라우드 환경에서
어떤 상황에도 대응이 가능한 견고한 데이터 파이프라인 구축이 가능합니다.

패스트캠퍼스 데이터 엔지니어링 분야 베스트 셀러!

클라우드를 활용한 데이터 파이프라인 구축 강의가
2024년 AWS 서비스 최신 환경 업데이트에 맞춰
문제 상황 해결에 집중한 커리큘럼으로 돌아왔습니다!

권낙주 강사님 강의를 수강하였던 업계 전문가들이
직접 이야기하는 AWS 데이터 파이프라인 구축 강의

데이터 아키텍트 권낙주 강사가 준비한
클라우드 기반 데이터 파이프라인 구축 실력을 한 단계 더 UP! 해 줄
6가지 스페셜 포인트

강사님의 20년 경력 인사이트를
그대로 담은 7개 프로젝트 실습 구성

클라우드 환경에서 데이터 파이프라인 구축 시 서비스 운영 목적에 따른 7개 프로젝트 실습

클라우드 환경에서 데이터 파이프라인을 구축하면서 경로 별로 발생하는 장애/특수 상황에 바로 대응할 수 있는
데이터 수집부터 서버리스 파이프라인까지 7개의 파이프라인을 직접 구축합니다.

학습 목표
다양한 외부 Data형태의 Interface(데이터 요청 정의서)에 대한 Use Case에 대해서 이해하고 접근 방안을 학습합니다.

학습 내용
· 공유데이터 제공사이트 가입
· 외부데이터 Interface 파악
· 외부데이터 스키마 정의
· 내부 데이터 위치 파악 및 데이터 정의
· 데이터 처리방법 선택
· 데이터 저장 및 확인

주요 Key Point
· 수집을 위한 공통 방안 (수집 MSA)
· 외부 데이터 Check Point(운영 필요한 요소)
학습 목표
데이터의 수집 목적을 이해하고 Interface(데이터 요청 정의서)를 파악하여 내부 분석 시스템에 저장할 수 있는 역량을 습득합니다.

학습 내용
· 공공 데이터 사이트에서 필요 데이터 탐색 & Inference 방식 파악
· 데이터 발생 주기의 이해
· 데이터를 정의할 RDS 정의
· 테이블 생성
· Lambda를 통한 데이터 습득
· 식별되지 않는 데이터(Code Data) 구체화 및 추가 데이터 수집
· Code Data 검색 추가로 RDS에 수집

주요 Key Point
· 외부 데이터 수집
· 공공데이터 Token을 이용한 데이터 습득
· 데이터 생성 추가

학습 목표
웹사이트에서 데이터를 수집할 때 수집 정형화해서 분석이 가능하도록 제공하는 방법을 학습합니다.

학습 내용
· Scraping 으로 데이터를 습득할 수 있는 사이트 탐색
· HTML 구조를 브라우저를 사용해서 확인
· 습득하려고 하는 데이터를 정의
· 해당 데이터를 정의할 RDS 를 정의
· 람다프로그램을 통해서 데이터를 습득

주요 Key Point
· 웹사이트 스크래핑을 위한 접근법의 이해
· Scheduler와 데이터의 이해
학습 목표
실시간으로 발생하는 대량의 데이터를 클라우드로 유연하게 수집할 수 있는 방법을 학습합니다.

학습 내용
· Streamlit으로 데이터를 직접 생성하도록 구성
· 수집을 위한 API Gateway를 구성
· 데이터 수집을 위한 스티림 큐를 생성
· S3에 데이터를 저장할 수 있는 Firehose를 구성
· API Gateway에서 지원 언어를 활용하여 사이트별로 수집 스트림큐를  변수처리 할 수 있도록 적용
· Lambda를 활용해서 실시간으로 Filtering을 통해 필요한 데이터만 수집 RDS에 저장

주요 Key Point
· 수집을 위한 공통 방안 (수집 MSA)

클라우드 환경에서 데이터 수집을 위한 파이프라인 구성하기

AWS 환경에서 데이터 수집 -> 분석 -> 시각화를 수행하기 위한 데이터 파이프라인의 흐름을 먼저 이해하고,
AWS 패키지를 활용하여 직접 데이터를 수집해보는 실습을 진행합니다.

분석의 기반이 되는 데이터 파이프라인
· 비즈니스에서 엔지니어에게 요청하는 데이터 요구 사항에 따라 필요한 데이터 선정

파이프라인 아키텍쳐 이해하기
· 앱, 웹 사이트 등 다양한 경로에서  발생하는 이벤트 알아보기
· 안정적인 데이터 수집을 위한  큐 서비스 학습
· 메타스토어 정보 파악과 데이터 저장

파이프라인 아키텍쳐 이해하기
· 발생하는 문제에 대해 유연하게 대응할 수 있는 파이프라인 구축
· 자유로운 Scale Up & Out
· 이벤트성 데이터 부하처리 방법 학습

Web/App 환경에서 발생하는 이벤트 파악하기
· Web/APP 환경에서 프로덕트 데이터 정보를 수집하고 분석하는 방법 학습

Web/APP Log 데이터를 처리하면서 실시간으로 발생한 데이터를
Batch/Stream 방식으로 수집하고 저장하는 방법을 학습합니다.

클라우드 환경에서 데이터 분석을 위한 파이프라인 구성하기

AWS 환경에서 데이터 분석을 간소화하기 위한 EMR 클러스터를 학습하고
컴퓨팅 양을 조절하며 분석 과정을 최적화하는 방법을 학습합니다.

1. AWS에서 Hadoop, Spark 등 오픈 소스 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼입니다.
2. Master Node, Core Node, Task Node 각 Node의 역할을 학습합니다. HDFS에서 S3를 사용했을 때의 장점을 학습합니다.
1. AWS EMR 서비스를 구성하는 방법을 학습합니다.
2. EMR에서 Node를 쉽게 Scale in & out 하면서 데이터 핸들링을 위한 컴퓨팅 양을 자유롭게 조절하는 방법을 학습합니다.
1. 사용자가 웹 환경에서 프로그래밍하기 불편한 문제를 해결하기 위해 코드를 바로 Spark에 컴파일하여 실행할 수 있습니다.
2. 소스코드를 실행하고 수정할 수 있으며 시각화도 가능합니다.

· 텍스트 분석을 사용하여 복잡한 비정형 데이터로부터 고객 인사이트를 추출합니다.
· 텍스트 데이터를 기업마다 사용하는 다양한 형태의 데이터 포맷으로 변환하여 처리해보는 방법을 학습합니다.

클라우드 환경에서 데이터 시각화를 위한 파이프라인 구성하기

분산 환경에서 데이터를 처리할 수 있는 Presto를 학습하고
Presto와 Elastic Search를 연동하여 데이터 시각화를 학습해볼 수 있습니다.

클라우드 데이터 파이프라인 Extension

클라우드 데이터 파이프라인을 구축하고 나서
데이터 분석을 더 용이하게 할 수 있는 방법들을 학습합니다.

총 20년 경력 데이터 아키텍쳐 전문가의 질의응답

강의를 수강하면서 궁금한 내용은 언제든 질의 응답 게시판에 질문하세요!

질의응답 게시판!
이렇게 이용하면 활용도 200%

✓ 실습 중 에러가 나면? 강사 & 수강생간 실시간 질의응답으로 빠른 해결
✓ 강의를 듣는 중 이해가 안가는 부분이 생기면 바로 질문

* 본 질의응답 채널은 2024. 01. 26 ~ 2027. 01. 25 동안 운영 됩니다.
* 교육 내용 범주 안에서 질의 응답이 가능합니다.
* 강사님이 현업 중 답변하시기에 답변까지 영업일 기준 7일 내외 시간이 소요될 수 있습니다.

상세 커리큘럼.

자세한 커리큘럼 및 내용은 여기서 확인하세요!

자세히 보기 »

커리큘럼

아래의 모든 강의를 초격차 패키지 하나로 모두 들을 수 있습니다.
지금 한 번만 결제하고 모든 강의를 평생 소장하세요!

Part 1. 데이터 수집을 위한 파이프라인 구성하기

01. 데이터 파이프라인의 이해

· 강의의 구성
· 데이터 아키텍쳐의 변화
· 데이터 파이프라인 흐름의 이해 - 데이터 파이프라인을 위한 AWS 서비스 이해

02. 실습 준비 및 Kafka 실습

· EC2 서비스 (1) 실습 준비를 위한 설명 및 EC2 생성
· EC2 서비스 (2) 실습 준비를 위한 준비
· Kakfa Consumer 실습
· Kafka 서버 설치 및 Producer 실행
· Kafka 실습을 위한 EC2 실행 및 웹 서버 테스트

03. AWS 서비스를 활용한 수집 파이프라인 구축

· aws 서비스를 활용한 데이터 수집에 대한 설명
· API Gateway 구성하기
· Kinesis Stream 구성하기 (1)
· Kinesis Stream 구성하기 (2)
· 수집 파이프라인 테스트

04. 수집 미니 프로젝트

· 프로젝트 개요 설명
· Applog 수집 설명 및 구성도
· Applog 수집을 위한 API-gateway 구성하기
· Applog 수집을 위한 Kinesis 구성하기
· Applog 수집 테스트 및 쉬운 로그 수집 방안
· 외부 SaaS 서비스 수집 설명 및 구성도
· 외부 SaaS 서비스 로그 수집 실습 및 테스트
· 외부 SaaS 서비스 - Lambda를 이용한 Filtering 설명
· 외부 SaaS 서비스 로그 수집 - MariaDB 생성 및 준비
· 외부 SaaS 서비스 로그 수집 - Lambda 프로그램 배포
· OpenAPI 공공 데이터 수집 설명 및 구성도
·OpenAPI 수집 준비
·OpenAPI 수집 Python 프로그램 테스트
·OpenAPI 법정동코드 FileToDB
·OpenAPI 저장 테이블 생성
·OpenAPI Lambda 프로그램 DB에 데이터 입력
·OpenAPI Lambda 배포

Part 2. 데이터 분석을 위한 파이프라인 구성하기

01. 데이터 분석 파이프라인 구성하기

· 데이터 분석 파이프라인의 이해
· EMR 구조의 이해
· EMR 실행
· EMR Zeppeline Notebook 설명

02. 데이터 처리 방법

· Scala를 이용한 Text to Json
· Pyspark를 이용한 Text to Json Data Parquet
· CSV 데이터 만들기
· RDS(MariaDB) 실행하기
· RDS 마트 구성하기

03. Glue Data Catalog의 이해

· Meta 데이터 설명
· 비용 최적화 데이터 파이프라인 구성 방안
· Glue 서비스의 이해
· Glue Crawler 실습

04. Zeppelin Cron 실습

· EMR에서 Zeppelin Cron 설정
· Zeppelin Cron 실습

05. 분석 미니 프로젝트(End to End 분석 환경 구축)

· 분석 환경 제공 방안
· SQL를 활용한 분석 환경
· Spark를 활용한 분석 환경

Part 3. 데이터 분석 및 시각화

01. 데이터 분석 및 시각화 Architecture

· 데이터 분석 및 시각화 Architecture 설명

02. Presto를 활용한 분석

· Presto 설명 및 실습 구성도
· Presto-Cli 실습
· Presto-Mysql 연동
· Presto-Zeppelin 연동
· Presto-Bigdata와 MySQL을 연동한 분석

03. Tableau 시각화 방안

· Tableau-MySQL 연동
· Tableau-Presto 연동
· Tableau-Athena 연동

04. 시각화 미니 프로젝트(신규 오픈 시스템 모니터링)

· 실시간 모니터링 설명
· ElasticSearch 설정 및 실습 준비
· 데이터 생성 아키텍쳐 설명
· 데이터 적재(Loading)
· 데이터 모니터링

Part 4. 데이터 파이프라인 Extension

01. 데이터 파이프라인 Extension

· Spark, Emr vs Snowflake

02. EMRPyspark

· EMR 환경에서 Pyspark 실습
· EMR Notebook 아키텍쳐의 이해

03. Redshift 구성 및 실습

· Redshift란?
· Redshift 생성 및 실습 설명
· Redshift에서 필요한 권한 생성
· Redshift-Spectrum 실습

04. Cloud DB Snowflake 활용

· 무료 가입해서 사용하기
· Snowflake Architecture 이해 및 특징
· Snowflake Semi-structured Data Loading
· Snowflake 분석
· Snowflake tool 활용
· Snowflake realtime 구성하기
· Snowflake realtime을 위한 권한 설정
· Snowflake realtime 분석

05. Serverless 데이터 파이프라인 구성 실습

· Serverless 데이터 파이프라인 아키텍쳐
· Airflow 설치하기
· Airflow 샘플프로그램 설치
· Airflow WorkFlow 구성도
· EMR 실행 샘플구성
· EMR 일데이터 전환 Job 구성
· EMR 종료하기

이 강의도 추천해요.

학습규정 * 본 상품은 동영상 형태의 강의를 수강하는 상품입니다.
* 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
* 수강 신청 및 결제를 완료하시면, 마이페이지를 통해 바로 수강이 가능합니다.
* 본 강의의 실습 환경은 AWS를 활용하여 실습합니다.
* Window/Mac 운영체제에서 수강하실 수 있습니다.

총 학습기간:
– 정상 수강기간(유료 수강기간) 최초 1개월(30일), 무료 수강 기간은 31일차 이후로 무제한이며,  유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.
– 본 패키지는 약 15시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.
– 수강시작일: 수강 시작일은 결제일로부터 기간이 산정됩니다. (사전 예약 강의의 경우 1차 강의 오픈일) 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는 해당 일정 만큼 수강 시작일이 연기됩니다.

주의사항 – 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
– 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.
– 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인 이벤트 적용이 불가할 수 있습니다.
– 커리큘럼은 제작 과정에서 일부 추가, 삭제 및 변경될 수 있습니다.
– 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.

환불규정 – 환불금액은 정가가 아닌 실제 결제금액을 기준으로 계산됩니다.
– 쿠폰을 사용하여 강의를 결제하신 후 취소/환불 시 쿠폰은 복구되지 않습니다.

– 수강시작 후 7일 미만, 5강 미만 수강 시에는 100% 환불 가능합니다.
– 수강시작 후 7일 이내, 5강 이상 수강 시 전체 강의에서 수강한 강의의 비율에 해당하는 수강료를 차감 후 환불 가능합니다.
– 수강시작 후 7일 초과 시 정상 수강기간 대비 잔여일에 대해 아래 환불규정에 따라 환불 가능합니다.
: 환불요청일시 기준 수강시작 후 1/3 경과 전, 실 결제금액의 2/3에 해당하는 금액 환불
: 환불요청일시 기준 수강시작 후 1/2 경과 전, 실 결제금액의 1/2에 해당하는 금액 환불
: 환불요청일시 기준 수강시작 후 1/2 경과 후, 환불 금액 없음

* 보다 자세한 환불 규정은 홈페이지 취소/환불 정책에서 확인 가능합니다.

패스트캠퍼스 정책 안내 [패스트캠퍼스 아이디 공유 금지 정책]
패스트캠퍼스의 모든 온라인 강의에서는 1개의 아이디로 여러명이 공유하는 형태를 금지하고 있습니다.
동시접속에 대한 기록은 내부 시스템을 통해 자동으로 누적되며, 이후 서비스 이용이 제한될 수 있습니다.

[기기제한 정책]
패스트캠퍼스 온라인 강의 시청을 위해서는 ID별 최대 3개의 기기를 등록할 수 있으며, 기기 등록은 온라인 강의장 접속 시 자동 등록됩니다.
최대 갯수를 초과하였을 경우 등록된 기기 해제가 필요합니다.

[저작권 정책]
패스트캠퍼스의 모든 강의는 무단 배포 및 가공하는 행위, 캡쳐 및 녹화하여 공유하는 행위, 무단으로 판매하는 행위 등 일체의 저작권 침해 행위를 금지합니다.
부정 사용이 적발될 경우 저작권법 위반에 의한 법적인 제재를 받으실 수 있습니다.