빅데이터

Hadoop 아키텍처
👇11월 30일 자정 가격인상까지 얼마 안남았어요👇
0 0시간 0 0 2021-11-30T23:59
  • 평생소장
  • 최저가

고민은 최저가 찬스를 놓칠 뿐
(자동 구성) 가격이 인상됩니다.

  • 정상가 (자동 구성)
  • 할인 금액 (자동 구성)
  • 최종 금액 (자동 구성)
  • 12개월 할부 시 (자동 구성)
오늘이 최저가!

왜 글로벌 기업들이 연봉 3억 이상의
큰 돈을 주고 데이터엔지니어를 영입할까요?

곧 한국도 데이터 엔지니어의 수요가 폭발하는 시기가 곧 도래할 것이라 확신합니다.

근미래에 Hadoop, Spark 등 이미 널리 알려진 기술의 학습과 활용도 중요하지만 사업적 관점을 고려한, 데이터 엔지니어링에 필요한 설계 역량이 엔지니어 개개인의 몸값을 좌지우지할 것입니다.

마이크로소프트에서 매출 600조의 월마트 데이터 파이프라인 설계 프로젝트를 진행하며 얻었던 경험을 바탕으로 이 강의를 준비했습니다. 데이터 엔지니어로 일하는 모든 분들이 경쟁력 있는 커리어를 가져가시길 바랍니다.

단순 입문자 대상의 프레임워크 사용법이나 튜토리얼 수준의 쉬운 강의는 아닙니다. 한국의 현직 엔지니어분들 눈높이에 맞춰서 설계한 코스이며, 실제 코드와 구조를 설명하며 여러분 하루하루 업무에 적용할 수 있도록 문제 해결 경험을 응축했습니다.

어려운 코스인 만큼 수강했을 때 2년 후, 3년 후 나의 커리어가 달라져 있으리라 확신합니다. 지금 보다 몇 배 더 높은 연봉을 받는 데이터 엔지니어로서의 커리어, 저와 함께 해보시죠.

By Brandon Lee

"MS 본사에서 Walmart Architecture를 이끌었던 데이터 엔지니어에게

데이터 엔지니어링의 핵심과 최신 기술을 모두 전수받으세요!"

Hadoop 아키텍처

상용되고 있는 Hadoop, Spark, Kafka의 아키텍처는 물론 최근 주목받는 Livy와 Delta Lake까지 모두 학습합니다.

주어진 문제를 해결하기 위해 구체적으로 어떤 툴셋을 사용해야 하는지 Code Walkthrough를 통해 각 Framework 의 feature들을 입증, 정의해봅니다.

글로벌 기업들은 공장 자동화 과정에서 생긴 데이터들을 클라우드 기술과 접목시켜 어떻게 운용하고 있는지 실제 사례를 통해 알아봅니다.

Learning Point

데이터 엔지니어링, 제대로 된 방법으로 배우지 못하면
이론만 익히는 데도 한참 헤맬 수 있는 위험한 분야죠.

제가 처음 이 분야를 입문할 때는 관련한 정보나 강의가 너무나 부족했습니다.

파편화된 관련 논문들을 하나씩 찾아서 읽고, 공부하면서 말 그대로 맨땅에 헤딩하며 이 분야를 학습해 왔는데요. 제가 20년 걸린 시간을 여러분은 훨씬 단기간에 익히실 수 있도록 강의를 준비했습니다.

Hadoop & Spark 그리고 카프카의 구조에 대한 이해뿐만 아니라, Spark를 어떤 방식으로 활용해 가장 효율적인 데이터 파이프라인을 구축을 할 수 있는지 Step by Step 방식으로 강의를 구성했습니다.

현재 제가 몸담고 있는 ROCKWELL 오토메이션은 실리콘밸리 소재의 B2B 기업이라 조금 생소하실 수 있지만 전통적인 제조업, 소매업 분야의 회사를 대상으로 공장 자동화, 데이터 파이프라인을 구축하는 이 분야의 선두주자 이자 세계적인 기업입니다.

여러분이 오랜 시간 헤매지 않도록 준비했습니다. 저의 20년 경험치를 믿고 따라오세요!

Hadoop, Spark, Kafka는 데이터 엔지니어링의 표준입니다.
표준을 End-to-End로 배우세요!

Hadoop 아키텍처

Hadoop은 상대적으로 저렴하고 셋업이 쉬우며 데이터 웨어하우징에 최적화된 솔루션입니다. 다만 수직적인 확장만 가능하다는 단점이 있죠.
이를 수평적 확장으로 커버해주는 것이 Spark입니다. Spark를 활용하면 많은 양의 데이터를 빠르게 처리할 수 있습니다.
Kafka는 데이터를 안정적으로 보관하고 처리할 수 있어 대용량/실시간 스트리밍 처리에 유용합니다.

수많은 Frameworks와 솔루션들이 세상에 등장했지만 현존하는 Framework 중 가장 보편적이고 정석으로 사용되는 Framework는 이 세가지이며, 상황에 맞게 유기적으로 활용한다면 보다 짧은 시간내에 정확하게 빅 데이터를 처리할 수 있습니다.

Spark 와 Hadoop Frameworks 에 대한 아키텍처 체계부터
빅데이터 클라우드 사용 방향, 툴셋 그리고 Code Walkthrough까지.

분산 컴퓨팅 프레임워크 설계에 대해 심도있게 알려드립니다.

Hadoop 아키텍처 및 파일 포맷
Hadoop 아키텍처
hive LLAP & HBase
Hadoop 아키텍처
KAFKA
Hadoop 아키텍처
Spark
Hadoop 아키텍처

Spark의 아키텍처와 YARN, ZooKeeper, Hive, HBase, Kafka를 포함한
다양한 Hadoop 프레임워크를 확실히 이해한다면
단순히 주어진 프레임워크만 코딩하는 엔지니어가 아닌
전체를 보는 안목을 가진 엔지니어로 성장할 수 있습니다.

다른 강의에서는 만나보기 어려운 Livy와
최근 실리콘밸리에서 가장 핫한 Delta Lake의 개념과 기능은 물론

세계적인 기업 Audi와 TOYOTA 에서는 데이터를 어떻게 활용하고 있는지
The RED에서 모두 공개합니다!

Delta Lake

최근 실리콘밸리에서 주목받는 ACID 호환 데이터 웨어하우스 오픈소스 프레임워크인 Delta Lake에 대해 전반적으로 이해할 수 있게 도와드립니다.

Livy

Livy는 Spark를 위한 REST API web service입니다. Livy에 대한 이해를 도와드리고 주요 기능들에 대해 알려드립니다.

Audi, TOYOTA

글로벌 제조 기업들은 공장 자동화 과정에서 생긴 데이터들을 클라우드 기술에 접목시켜 어떻게 운용하는지 실제 사례를 곁들여 설명드립니다.

Top of Top

클라우드 산업의 시작점부터 커리어를 쌓아온
전문 데이터 엔지니어, Brandon Lee

미국 MS 본사에서 Walmart와 같은 글로벌 기업들의 데이터/AI 클라우드 설계를 담당한 데이터 거장

마이크로소프트 (마운틴뷰)에서 수석 데이터 솔루션 아키텍트로 일하며 Walmartlabs와 symantec 같은 글로벌 기업들이 Azure 도입 및 운영 설계하도록 이끌었습니다. 고객사들의 미션 크리티컬 기업 문제를 해결하기 위해 전략적 ML 접근 방식을 쉽게 적용하고 제공할 수 있는 아키텍처를 만드는 일을 담당했습니다.

빅 데이터 기반 공정 솔루션 리딩 기업, Rockwell Automation 실리콘밸리 오피스의 데이터 엔지니어

전 세계 100여 개 국가에 진출해 있는 연 매출 8조 기업 Rockwell은 IoT 와 빅데이터 솔루션을 바탕으로 제조 공정을 보다 효율적으로 운영할 수 있게 도와주는 일을 하고 있습니다. 저는 이곳의 Analysis and Machine Learning Architect로서 고객사로부터 수집되는 자동화 공정 장비들의 빅데이터를 분석, 인사이트를 도출하여 제조 생산성을 높이는 데 기여하고 있습니다.

데이터 엔지니어링과 클라우드 산업의 시작부터 현재까지, 흐름을 꿰고 있는 TOP 전문가

데이터 엔지니어링과 클라우드 산업 자체가 본격화된 지 몇 년 지나지 않은 일인데요. 해당 분야가 시작될 때부터 전문적으로 파고든 데이터 엔지니어는 많지 않고, 규모가 큰 글로벌 기업들을 주요 고객사로 클라우드를 설계해본 엔지니어는 더욱 희귀하죠. 2013년 실리콘밸리에서 데이터 산업이 트렌드로 부상하는 시기에 빅 데이터와 클라우드 프로젝트에 참여하며 해당 분야로 커리어를 키울 수 있었습니다.


• 2020 ~ 현재
Rockwell Automation 실리콘밸리 오피스/ Analytics & ML Architect
- 빅데이터의 분석 및 어신러닝을 할 수 있는 기반 수립
- 자동화 공정 장비 데이터 분석을 통해 향상된 IOT 기반 스마트 제조 모듈 제조에 기여

• 2016 ~ 2020
마이크로소프트 (마운틴뷰) / 수석 데이터 솔루션 아키텍트
- Azure에서 배포, 소비 및 사용을 주도하는 데이터/AI 클라우드 솔루션 설계자
- 고객사의 미션 크리티컬 기업 문제 해결을 위해 전략적 ML 접근 방식을 쉽게 적용하고 제공할 수 있는 아키텍처를 만듦

• 2010 ~ 2016
삼성 SDS (산호세) / 빅데이터 및 클라우드 시니어 매니저
- 삼성전자 빅데이터 및 IoT 클라우드 스택을 최고의 분석 플랫폼으로 전환
- 글로벌 비즈니스 워크로드 운영을 위해 온프레미스 및 클라우드 인프라를 사용한 빅 데이터 및 하이브리드 클라우드 플랫폼 아키텍처 생성
• 2007 ~ 2010
Cimac (산호세) / 소프트웨어 제품 디렉터
- 복잡한 제조 환경을 위한 기계 학습 및 로그 분석 제품 개발
- 프로세스 최적화 및 자동화 솔루션을 구현

• 2006 ~ 2007
Spansion / 선임 R&D 프로그램 매니저
- 장비 가상화 및 프로젝트 엔지니어

데이터엔지니어링, IT 기업만의 전유물일까요?
여러분이 몸 담고 있는 모든 산업에 급속도로 적용될 것입니다.

글로벌 시멘트 기업의 효율과 생산량을 늘리다

- IoT솔루션이 전송하는 빅데이터를 바탕으로 더 효율적인 방안을 분석 도출하여 시간당 생산량을 두 개의 공장에서 각 각 4.8% 및 5.7% 향상

- 빅데이터를 바탕으로 전기를 낭비하는 곳을 pinpoint하여 전기 소모량을 4% 절감

인디아 볼베어링 제조업체의 디지털 트랜스포메이션을 이끌다

- 베어링 제조업체에 스마트제조 시스템 및 빅데이터를 접목하여 Connected Manufacutring을 구현하여 Industry 4.0 시대를 염

시애틀 공항의 수화물 처리 시스템을 업그레이드하여 다운타임을 줄이다

- 빅데이터를 바탕으로 분석하여 공항의 수화물 처리량을 늘리고, 시스템의 안정성을 기하여 다운타임을 획기적으로 줄임

두산 밥캣의 디지털 트랜스포메이션을 이끌다

- 두산 밥캣의 공장에 IoT와 빅데이터 시스템을 구축하여 수동으로 얻던 데이터를 줄이고 데이터 드리븐 의사결정을 할 수 있게 함

- 빅데이터를 바탕으로 생산량과 QA의 효율을 향상시켜 생산성을 10-15% 향상

화이자 글로벌 서플라이의 디지털 트랜스포메이션을 이끌다화이자 글로벌 서플라이의 디지털 트랜스포메이션을 이끌다

- 화이자에 빅데이터 시스템을 적용하여 한 개의 공장에서 3백만 도스 이상을 추가 생산할 수 있도록 함

인디아 자동차 기업의 전기차 공장의 효율을 높이다

- 빅데이터 시스템을 적용하고 분석하여 생산 시간을 50% 절감

- 데이터를 기반으로 공장 생산라인을 더 쉽고 빠르게 리발란싱

Toyota 엔진공장이 새로운 에어 콤프레서 제어로 에너지 소비를 줄이다

- 에어 콤프레서가 공장 전체 에너지의 25%를 사용

- 이를 IoT장비에서 오는 데이터를 기반으로 연간 전기료를 68,000달러 절감

- 직원을 공장으로 보내서 파악하는 것이 아니라 문제점을 컴퓨터 상에서 해결하고 분석을 통해서 더욱 효율적인 시스템 운용

Food업체 원더풀피스타치오의 생산량 향상으로 글로벌 시장 진출을 확장 시키다

- 스마트 제조장비 및 빅데이터를 기반으로 생산량을 15% 향상

오직 Brandon Lee만 가능한 이야기.
지금 최저가로 만나보세요!
👇11월 30일 자정 가격인상까지 얼마 안남았어요👇
0 0시간 0 0 2021-11-30T23:59
  • 평생소장
  • 최저가

고민은 최저가 찬스를 놓칠 뿐
(자동 구성) 가격이 인상됩니다.

  • 정상가 (자동 구성)
  • 할인 금액 (자동 구성)
  • 최종 금액 (자동 구성)
  • 12개월 할부 시 (자동 구성)
오늘이 최저가!
(자동) (자동) (자동)
정가 (자동)
현재 판매가 (자동)
12개월 무이자 할부 시 (자동)
상세 커리큘럼

TOPIC 1. 하둡의 Architecture 및 파일 포맷을 이해합니다

- Distributed Data Storage인 HDFS
- 리소스 매니저 YARN
- 하둡의 분산 컴퓨팅을 위한 프레임워크 MapReduce
- Cluster Management System Zookeeper

TOPIC 2. 빅데이터 NoSQL 데이터베이스 : HIVE LLAP & HBase

- Hive Architecture
- Partitioning & Bucketing
- MapReduce concept & code refresher
- HBase Architecture

TOPIC 3. Event streaming platform : Kafka

- Event Streaming Platform
- Kafka Internals
- Confluent Kafka Reference Architecture
- Kafka Streams Architecture
- KSQL Architecture
- Reference Architectures
- Event Streaming Sensor Analytics Pipeline Demo
- 글로벌 기업의 엔지니어링 사례 : Audi & TOYOTA

TOPIC 4. Big data processing framework : Spark

- Spark Architecture & Internals
- Spark ML Model Development Workflow
- History of Spark APIsv
- Spark Session
- Spark Data Preparation
- Spark ML Pipeline
- Spark Cluster Architecture Example

TOPIC 5, 6. Trend Study : Deltalake, Livy

스파크를 웹 애플리케이션이 Rest Api 방식으로 사용 가능하게 하는 오픈소스 프로젝트 livy와 실리콘밸리의 빅 데이터 엔지니어들이 최근 많이 사용하는 ACID 호환 데이터 웨어하우스 오픈 소스 프레임워크인 DeltaLake를 간단히 배워 봅니다.

상세 커리큘럼

1. Hadoop 아키텍처 및 파일 포맷

2. Hive LLAP & HBase: 빅데이터 NoSQL 데이터베이스

3부. Kafka: 이벤트 스트리밍 플랫폼

4부. Spark: 스트리밍 배치 분석을 갖춘 빅 데이터 처리 프레임워크

5부. Livy: Spark를 위한 REST API web service

6부 Delta Lake: Apache Spark에 대한 ACID 호환 및 확장 가능한 스토리지

그리고 한 걸음 더

강의에 대해 궁금하셨나요?
한 걸음 더 들어가봅니다.

Hadoop 아키텍처

[ 주의사항 및 환불규정 ]

* 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
* 해당 강의는 사전 예약 판매 상품으로, 강의 영상이 순차적으로 업데이트될 예정입니다.
* 1차 강의 영상은 10월 29일, 2차 강의 영상은 12월 1일에 공개될 예정입니다. 수강에 참고 부탁드립니다.



– 총 학습기간 :
정상 수강기간(유료 수강기간) 최초 1개월(30일), 무료 수강 기간은 31일차 이후로 무제한이며, 유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.
본 패키지는 약 5시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.

– 수강시작일 :
수강 시작일은 결제일로부터 기간이 산정됩니다. (사전 예약 강의의 경우 1차 강의 오픈일) 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는해당 일정 만큼 수강 시작일이 연기됩니다.

* 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.
– 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인이벤트 적용 불가 합니다.
– 콘텐츠는 향후 당사의 일정에 따라 추가 또는 업데이트 될 수 있습니다.
– 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.

※ 패스트캠퍼스 아이디 공유 금지 정책 안내 ※

아이디 공유란?
1개의 아이디로 여러명이 공유하여 수강하는 형태를 말합니다. 패스트캠퍼스의 모든 온라인 강의에서는 아이디 공유를 금지하고 있습니다.
동시접속에 대한 기록이 내부 시스템을 통해 자동으로 누적되며, 동시 접속 기록이 10회 이상 확인되는 경우 사전 안내없이 아이디가 차단될 수 있습니다.

수강료.

  • The RED : Hadoop & Spark 아키텍처 딥다이브

    현재 정가 대비 66% 할인 중!
    11월 30일 화요일 자정 까지

    정가 899,000원
    현재 판매가 304,000원

    12개월 무이자 할부 시 월 25,333원

국내 9개 카드사 12개월 무이자 할부 지원! (간편 결제 제외)

  • 삼성카드
  • 신한카드
  • 롯데카드
  • 현대카드
  • 하나카드
  • BC카드
  • KB국민은행
  • 씨티카드
  • NH농협카드