초격차 패키지 : 7개 프로젝트로 완벽하게 끝내는 AWS 데이터 파이프라인 구축
초격차 패키지 Online.
7개 프로젝트로 완벽하게 끝내는
AWS 데이터 파이프라인 구축
-
클라우드 환경에서 데이터 파이프라인 구축을 위한 모든 것을 담은 강의
데이터 수집부터 저장, 처리, 분석, 시각화까지
전체 파이프라인을 직접 구축 -
AWS 환경에서 데이터 파이프라인을
계속 운영할 수 있는 노하우 학습클라우드 환경에서 서비스의 품질을 계속
유지할 수 있는 파이프라인 최적화 노하우 학습 -
실제 개발 환경에서 적용 가능한
7개의 파이프라인 구축 실습현업에서 데이터 파이프라인을 구축하면서
발생할 수 있는 7개의 실제 사례 기반 프로젝트
클라우드 기반 데이터 파이프라인은
국내/외 대부분의 기업에서 활용되고 있습니다.
클라우드 기반 데이터 파이프라인을
구축 & 운영하기 위해
반드시 알아두어야 할 핵심 요소 6가지
6가지 포인트를 모두 알고 있어야만 클라우드 환경에서
어떤 상황에도 대응이 가능한 견고한 데이터 파이프라인 구축이 가능합니다.
패스트캠퍼스 데이터 엔지니어링 분야 베스트 셀러!
클라우드를 활용한 데이터 파이프라인 구축 강의가
2024년 AWS 서비스 최신 환경 업데이트에 맞춰
문제 상황 해결에 집중한 커리큘럼으로 돌아왔습니다!
권낙주 강사님 강의를 수강하였던 업계 전문가들이
직접 이야기하는 AWS 데이터 파이프라인 구축 강의
데이터 아키텍트 권낙주 강사가 준비한
클라우드 기반 데이터 파이프라인 구축 실력을 한 단계 더 UP! 해 줄
6가지 스페셜 포인트
강사님의 20년 경력 인사이트를
그대로 담은 7개 프로젝트 실습 구성
클라우드 환경에서 데이터 파이프라인 구축 시 서비스 운영 목적에 따른 7개 프로젝트 실습
클라우드 환경에서 데이터 파이프라인을 구축하면서 경로 별로 발생하는 장애/특수 상황에 바로 대응할 수 있는
데이터 수집부터 서버리스 파이프라인까지 7개의 파이프라인을 직접 구축합니다.
-
학습 목표
다양한 외부 Data형태의 Interface(데이터 요청 정의서)에 대한 Use Case에 대해서 이해하고 접근 방안을 학습합니다.
학습 내용
· 공유데이터 제공사이트 가입
· 외부데이터 Interface 파악
· 외부데이터 스키마 정의
· 내부 데이터 위치 파악 및 데이터 정의
· 데이터 처리방법 선택
· 데이터 저장 및 확인
주요 Key Point
· 수집을 위한 공통 방안 (수집 MSA)
· 외부 데이터 Check Point(운영 필요한 요소) -
학습 목표
데이터의 수집 목적을 이해하고 Interface(데이터 요청 정의서)를 파악하여 내부 분석 시스템에 저장할 수 있는 역량을 습득합니다.
학습 내용
· 공공 데이터 사이트에서 필요 데이터 탐색 & Inference 방식 파악
· 데이터 발생 주기의 이해
· 데이터를 정의할 RDS 정의
· 테이블 생성
· Lambda를 통한 데이터 습득
· 식별되지 않는 데이터(Code Data) 구체화 및 추가 데이터 수집
· Code Data 검색 추가로 RDS에 수집
주요 Key Point
· 외부 데이터 수집
· 공공데이터 Token을 이용한 데이터 습득
· 데이터 생성 추가
-
학습 목표
웹사이트에서 데이터를 수집할 때 수집 정형화해서 분석이 가능하도록 제공하는 방법을 학습합니다.
학습 내용
· Scraping 으로 데이터를 습득할 수 있는 사이트 탐색
· HTML 구조를 브라우저를 사용해서 확인
· 습득하려고 하는 데이터를 정의
· 해당 데이터를 정의할 RDS 를 정의
· 람다프로그램을 통해서 데이터를 습득
주요 Key Point
· 웹사이트 스크래핑을 위한 접근법의 이해
· Scheduler와 데이터의 이해 -
학습 목표
실시간으로 발생하는 대량의 데이터를 클라우드로 유연하게 수집할 수 있는 방법을 학습합니다.
학습 내용
· Streamlit으로 데이터를 직접 생성하도록 구성
· 수집을 위한 API Gateway를 구성
· 데이터 수집을 위한 스티림 큐를 생성
· S3에 데이터를 저장할 수 있는 Firehose를 구성
· API Gateway에서 지원 언어를 활용하여 사이트별로 수집 스트림큐를 변수처리 할 수 있도록 적용
· Lambda를 활용해서 실시간으로 Filtering을 통해 필요한 데이터만 수집 RDS에 저장
주요 Key Point
· 수집을 위한 공통 방안 (수집 MSA)
클라우드 환경에서 데이터 수집을 위한 파이프라인 구성하기
AWS 환경에서 데이터 수집 -> 분석 -> 시각화를 수행하기 위한 데이터 파이프라인의 흐름을 먼저 이해하고,
AWS 패키지를 활용하여 직접 데이터를 수집해보는 실습을 진행합니다.
분석의 기반이 되는 데이터 파이프라인
· 비즈니스에서 엔지니어에게 요청하는
데이터 요구 사항에 따라 필요한
데이터 선정
파이프라인 아키텍쳐 이해하기
· 앱, 웹 사이트 등 다양한 경로에서
발생하는 이벤트 알아보기
· 안정적인 데이터 수집을 위한
큐 서비스 학습
· 메타스토어 정보 파악과 데이터 저장
파이프라인 아키텍쳐 이해하기
· 발생하는 문제에 대해 유연하게
대응할 수 있는 파이프라인 구축
· 자유로운 Scale Up & Out
· 이벤트성 데이터 부하처리 방법 학습
Web/App 환경에서 발생하는
이벤트 파악하기
· Web/APP 환경에서 프로덕트 데이터
정보를 수집하고 분석하는 방법 학습
Web/APP Log 데이터를 처리하면서
실시간으로 발생한 데이터를
Batch/Stream 방식으로 수집하고 저장하는 방법을 학습합니다.
클라우드 환경에서 데이터 분석을 위한 파이프라인 구성하기
AWS 환경에서 데이터 분석을 간소화하기 위한 EMR 클러스터를 학습하고
컴퓨팅 양을 조절하며 분석 과정을 최적화하는 방법을 학습합니다.
-
1. AWS에서 Hadoop, Spark 등 오픈 소스 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼입니다.
2. Master Node, Core Node, Task Node 각 Node의 역할을 학습합니다. HDFS에서 S3를 사용했을 때의 장점을 학습합니다. -
1. AWS EMR 서비스를 구성하는 방법을 학습합니다.
2. EMR에서 Node를 쉽게 Scale in & out 하면서 데이터 핸들링을 위한 컴퓨팅 양을 자유롭게 조절하는 방법을 학습합니다. -
1. 사용자가 웹 환경에서 프로그래밍하기 불편한 문제를 해결하기 위해 코드를 바로 Spark에 컴파일하여 실행할 수 있습니다.
2. 소스코드를 실행하고 수정할 수 있으며 시각화도 가능합니다.
· 텍스트 분석을 사용하여 복잡한 비정형 데이터로부터 고객 인사이트를 추출합니다.
· 텍스트 데이터를 기업마다 사용하는 다양한 형태의 데이터 포맷으로 변환하여 처리해보는 방법을 학습합니다.
클라우드 환경에서 데이터 시각화를 위한 파이프라인 구성하기
분산 환경에서 데이터를 처리할 수 있는 Presto를 학습하고
Presto와 Elastic Search를 연동하여 데이터 시각화를 학습해볼 수 있습니다.
클라우드 데이터 파이프라인 Extension
클라우드 데이터 파이프라인을 구축하고 나서
데이터 분석을 더 용이하게 할 수 있는 방법들을 학습합니다.
총 20년 경력 데이터 아키텍쳐 전문가의 질의응답
강의를 수강하면서 궁금한 내용은 언제든 질의 응답 게시판에 질문하세요!
이렇게 이용하면 활용도 200%
✓ 강의를 듣는 중 이해가 안가는 부분이 생기면 바로 질문
* 본 질의응답 채널은 2024. 01. 26 ~ 2027. 01. 25 동안 운영 됩니다.
* 교육 내용 범주 안에서 질의 응답이 가능합니다.
* 강사님이 현업 중 답변하시기에 답변까지 영업일 기준 7일 내외 시간이 소요될 수 있습니다.
-
상세 커리큘럼.
자세한 커리큘럼 및 내용은 여기서 확인하세요!
커리큘럼
아래의 모든 강의를 초격차 패키지 하나로 모두 들을 수 있습니다.
지금 한 번만 결제하고 모든 강의를 평생 소장하세요!
Part 1. 데이터 수집을 위한 파이프라인 구성하기
Part 2. 데이터 분석을 위한 파이프라인 구성하기
Part 3. 데이터 분석 및 시각화
Part 4. 데이터 파이프라인 Extension
