백엔드 개발자를 위한 Kafka 실습 0 to 1
: 입문부터 EDA까지

기본 정보

∙ 2개 대주제, 63여개 강의 클립 (약 17시간 분량)
∙ 사전 지식 : Java, Spring 기본 지식, DB 기본 지식, Docker 기본 지식
강의 특징

∙ 수강료 1회 결제로 평생 소장
∙ 부가 학습 자료 제공
영상 공개

∙ 전체 공개 : 2024년 06월 07일

(자동)

정가 ~~(자동)~~

할인 금액 (자동)

현재 판매가 (자동)

(자동)

* 12개월 무이자 할부 시

바로 구매하기

코스 프로모션 배너 전용입니다.

0일 0시간 0분 0초 코스 프로모션 배너 전용입니다.

실시간 데이터, 대용량 데이터를 처리해야 하는 기업를 필두로
채용 공고에서 Kafka 활용 능력이 급 부상!

redis, kafka, mq, rabbitmq, elk, 카카오, 서버 개발자

백엔드 개발자들이 Kafka를 경험해야 하는 시대가 왔습니다.

BUT,
Kafka 실전 경험 기회조차 얻기 어려우시다면?

백엔드 개발자를 위한 Kafka, 이 강의로 끝내세요.

Kafka 이론학습을 넘어 이렇게 실전으로 체득시켜보는 과정을 거치시면 분명
백엔드 시스템을 보는 시야가 아예 달라지실 거예요.

Point 1
기초부터 탄탄하게!
17시간으로 끝내는 백엔드 개발자를 위한 kafka

Kafka가 처음이어도! 걸음마부터 실전투입까지 모두 가능한 커리큘럼

∙ Kafka 실행하기
∙ 토픽 생성하기
∙ 메시지 프로듀스하기
∙ 메시지 컨슘하기
∙ 11가지 Messaging Que 활용법
∙ Application 단에서 데이터 이관/복제
∙ Consumer 에러 핸들링
∙ 선착순 쿠폰 발행 시스템 서버 개발 및 대응
∙ 실시간 로그 파이프라인 구축
∙ 이벤트 기반 대규모 서버 구축

Basic

Kafka의 걸음마, Spring Boot 환경에서 Kafka 개발환경을 세팅부터 시작합니다.

백엔드 개발자 중에서도, Java+Spring을 다루는 분들이 실무에 바로 적용하실 수 있도록!
기본적으로 Spring Boot와 JDK 17 기준으로 프로젝트를 구성하고 Kafka를 사용할 수 있는 개발환경부터 세팅해봅니다.

학습 내용

프레임워크와 각종 인프라 요소들을 Kafka와 연동하는 실습으로 Spring 환경 개발에 Kafka를 적용하는 방법을 배웁니다.

kafka, spring boot, java, 자바, 스프링, 카프카, jdk, 프레임워크

학습 내용

Kafka 내부 관리 도구들을 살펴보고 도구들로 Kafka 내 메시지를 발송하고 수신받는 기본 실습을 진행합니다.

Advanced

백엔드 개발자를 위한 Kafka 핵심, Messaging Que로 활용하는 11가지 활용법

학습 내용 키워드 엿보기

자동커밋과 수동커밋 중복 컨슘 Throughtput 늘리기 Batch Listener 늘리기 Dead Letter Topic 멱등성 보장 EOS Error Handler Partition Key 지정 애플리케이션 레벨의 CDC Retry

백엔드 개발자를 위한 Kafka 마스터를 위한 마지막 단계
총 3개의 프로젝트로 대표 Use Case 부터 EDA 기반의 플랫폼 구축까지 마스터하세요!

Point 2
실전에서 가장 많이 쓰이는 Kafka 활용법을
3가지 프로젝트로 경험하세요.

Kafka를 활용한 DB 부하 분산, 로그 적재 그리고 애플리케이션 연결까지
실무 수준의 Kafka 활용법을 경험할 수 있는 프로젝트로 설계했습니다.

가장 대표적인 2가지 Use Case별 프로젝트

부하분산 동시성

선착순 쿠폰 발행 이벤트 시 순간적으로 대량의 트래픽이 몰릴 때

문제 상황
실제 백엔드 업무에서 꼭 한번 경험하는 트래픽 부하 문제, 동시성 문제

실습 내용
사용자들에게 빠르게 서빙 되어야 하는 데이터는 빠른 속도의 Redis로,
순차적으로 처리 해도 되는 데이터는 MySQL단에서 처리할 수 있도록
Kafka를 활용한 분산 처리를 수행합니다.

주요 스택

실시간 데이터 처리 로그 적재

실시간 로그 수집 파이프라인에서의 대량 데이터 처리

문제 상황
로그 수집 시 파이프라인이 많은 양을 빠르게 받아들일 때
데이터가 일부 유실되는 문제

실습 내용
로그 수집 파이프라인에 높은 신뢰성(고가용성)과 실시간성을 더할 수
있도록 Kafka를 메시징큐로 활용하여 로그를 적재합니다.

주요 스택

대용량 데이터 분산 및 처리를 위한 Kafka 중심 EDA 프로젝트

프로젝트 주제
Event Driven Architecture 형태로 콘텐츠 플랫폼 설계 및 구축

실습 내용
가장 먼저 데이터 저장, 구독, 캐싱, 색인 그리고 외부 API(ChatGPT) 연동까지 자연스럽게 흐르는 데이터 흐름을 설계하고,
각 요구사항에 따른 애플리케이션을 구축해나가며 Event Driven Architecture기반의 거대한 플랫폼을 완성합니다.

주요 스택

1. 설계

요구사항을 정리하고 이에 따라 플랫폼 전체를 Kafka를 이용한 Event Driven Architecture 형태로 설계합니다.

데이터 흐름, mysql, redis, mongdb, elasticsearch, chatgpt, 콘텐츠 검수, 카프카

2. 요구사항에 필요한 인프라 요소를 Kafka로 각각 연결

요구사항 1 : 유저는 콘텐츠(Post)를 발행할 수 있다.

Kafka 실습 내용
Kafka와 MySQL을 연결하여 콘텐츠 원천 데이터를 저장하고 Kafka로 Produce한다.
요구사항 2 : 유저는 다른 유저를 구독(Follow) 가능하며, 구독자는 콘텐츠를 받아볼 수 있다.

Kafka 실습 내용
Kafka와 MongoDB을 연결하여 유저별 구독 콘텐츠 조회 Use Case 작성하고 콘텐츠 구독 서비스를 만든다.
요구사항 3 : 소비자가 실시간으로 정보를 볼 수 있다.

Kafka 실습 내용
Kafka와 Redis를 연결하여 캐싱에 실시간성 부여하도록 Kafka를 통해 Cache로부터 Pipeline을 연결하고 컨텐츠 캐싱 전략을 개선한다.
요구사항 4 : 검색(Search)를 통해 콘텐츠를 찾을 수 있다.

Kafka 실습 내용
Kafka와 ElasticSearch를 연결하여 콘텐츠 데이터를 실시간으로 검색시스템에 색인한다.
요구사항 5 : ChatGPT API 서버를 이용하여 콘텐츠를 자동으로 검수할 수 있다.

Kafka 실습 내용
외부 API인 ChatGPT 콘텐츠 자동검수 시스템을 만들고 Kafka로 다른 목적의 DB와 연결한다.

Point 3
백엔드 개발자가 실무에서 Kafka 활용할 때 가장 중요한
Producer / Consumer 심화 활용법까지!

다양한 요구 조건을 소화하기 위해서는 기본적인 사용법만 알아서는 안 되죠!
실무적인 능력을 키우기 위해 Kafka 메시지를 자유자재로 다루어보는 심화 활용법까지 준비했습니다.

Producer 심화
알아서 데이터 변경사항을 전파하게끔
Producer 고급 구현하기!

| Producer를 활용한 Application 단에서 데이터 자동 이관/복제
한번만 만들어두면, 손쉽게 데이터의 변경사항(C/U/D)을 Kafka로 연동할 수 있습니다!
Kafka Connect를 활용한 CDC 등 더 어려운 방법 없이도 간단히 메시지 발행을
자동화하세요!

Consumer 심화
까다로운 Consumer 활용, 트러블슈팅 3가지

| Kafka Consume 시 자주 발생하는 예외를 3가지 실습으로 해결!

보통 실무에서는 Producer보단 Consumer를 다루면서 Exception을 자주 만나게 됩니다.
이 때 어떻게 극복해야할지 몰라 데이터 흐름의 병목이 될 수 있어 어려움을 겪는 경우가 많습니다.
Consumer 장애의 상황에 따라 데이터 병목에 대한 알맞은 대비 방안이 무엇인지 체득하세요.

이 파트를 들은 당신은
Kafka의 최대 효율을 끌어낼 수 있게 되고, 어려운 장애 상황을 쉽게 해결할 수 있게 됩니다.

Point 4
‘네이버쇼핑’, ‘당근’이라는 국내 최대 트래픽 규모의 서비스를 만들며,
대용량 데이터를 안정적으로 다루기 위해
Kafka를 실무 최전선에서 사용 중인 강사님과 함께!

Kafka 활용의 최전선 개발자
강사님 소개

‘네이버’, ‘당근’이라는 국내 최대 트래픽 규모의 서비스를 만들며, 데이터의 신규 구축부터 정제, 연동, 색인 등 백엔드 개발자로서 데이터를 서빙하기 위한 라이프 사이클 A to Z를 경험해왔고 그 과정에서 대용량 데이터를 안정적으로 다루기 위해 Kafka는 필수적인 기술이었습니다.

Kafka 이론학습을 넘어 이렇게 실전으로 체득시켜보는 과정을 거치시면 분명 백엔드 시스템을 보는 시야가 아예 달라지실 거예요. 

Kafka를 처음 다루는 분들이더라도 실무에서 Kafka를 활용할 일이 생겼을 때 전혀 무리없이 사용하실 수 있게 될 것입니다. 이번 강의를 통해 다양한 형태의 유즈 케이스를 간접경험하고 실무에서 Kafka를 적극 활용해보세요!

한현상 강사님

주요 경력
현) 당근
· 실시간 데이터 처리가 필요한 로컬 비즈니스 서버 개발
· POI 플랫폼 서버 개발

전) 네이버
· 데이터 실시간 처리 애플리케이션 서버 개발
· 네이버쇼핑 프론트엔드/백엔드 개발
· 쇼핑검색 서비스 설계

연사 및 강사 경험
[발표]
· NAVER 2022 Engineering Day - "피지(PGSQL) 해변의 카프카(Kafka) 몽고(MongoDB)로 가다"

[교육] 
· NAVER 공채 신입사원 Soft Skill 교육 강사
· 한번에 끝내는 Kafka Ecosystem 강사

이미 간증 폭발!
강사님 수강평 엿보기

끝나지 않았습니다.
실습에 필요한 쿠폰까지 전부 다! 드립니다.

자바, java, 개발 환경 IntelliJ IDE Ultimate 버전, 개발자, 개발 환경, Jetbrains, IntelliJ IDE Ultimate

Q&A
빠른 답변을 약속합니다!
언제든지 질문 가능한 질의응답 게시판에서 해결!

패스트캠퍼스 질의응답 게시판에서 강사님, 그리고 다른 수강생들과 함께 문제 해결!
더하여, 빠르게 답변을 받을 수 있도록 AI 캐미가 먼저 답변을 작성해드려요.
* 질의응답 게시판은 2024년 6월 7일부터 2027년 6월 2일까지 운영됩니다.

커리큘럼

아래의 모든 강의를 초격차 패키지 하나로 모두 들을 수 있습니다.
지금 한 번만 결제하고 모든 강의를 평생 소장하세요!
* 본 강의는 [초격차 패키지 : 한번에 끝내는 Kafka Ecosystem] 의 일부인 part 2, 3 과 동일한 영상을 제공합니다.

Part1. 백엔드 개발자의 메시징큐

01 Orientation

∙ 오리엔테이션

02 Kafka를 다루기 위한 도구 소개

∙ 실습을 위한 인프라 셋팅
∙ Kafka CLI 둘러보기
∙ kcat 둘러보기
∙ CMAK 둘러보기
∙ redpanda console(구. kowl) 둘러보기
∙ kafka-ui 둘러보기

03 Spring Boot에서 kafka 환경 설정하기

∙ spring-kafka와 spring-cloud-stream 소개
∙ Kafka Topic 생성하기
∙ spring-cloud-stream 설정
∙ spring-cloud-stream에서 Produce, Consume 해보기
∙ spring-kafka 설정 및 Produce, Consume 해보기 (1)
∙ spring-kafka 설정 및 Produce, Consume 해보기 (2)

04 Kafka Message 요리조리 다뤄보기

∙ 배치리스너 (Batch Listener)
∙ String 형태로 받아서 Serialize/Deserialize 해보기
∙ Consumer Group의 Offset 관리
∙ 자동커밋과 수동커밋
∙ 중복컨슘이 일어날 수 있는 Case 알아보기
∙ Exactly Once Semantics (EOS)
∙ 멱등성 보장
∙ 처리량 (Throughtput) 개선

05 [Producer 심화] CDC (Change Data Capture)

∙ CDC 개요 및 실무 사례
∙ Application 레벨에서 CDC vs Infrastructure 레벨에서의 CDC
∙ 실습을 위한 기반 서비스 개발
∙ Application 레벨에서 CDC 직접 구현해보기 (1)
∙ Application 레벨에서 CDC 직접 구현해보기 (2)
∙ Application 레벨에서 CDC 직접 구현해보기 (3)
∙ Message Key 명시를 통한 순서 보장
∙ Application 레벨에서 CDC를 구현할 그 외 방법

06 [Consumer 심화] 예외 통제 (Exception handling)

∙ 발생할 수 있는 이슈 상황 소개
∙ 대비 방안 1 - Retry
∙ 대비 방안 2 - ErrorHandler
∙ 대비 방안 3 - DLT (Dead Letter Topic)

07 Wrap up

∙ 학습내용 정리하기

Part2. Event Driven Architecture 실습

01 Orientation

∙ 오리엔테이션

02 Kafka를 활용한 콘텐츠 플랫폼 구축하기

∙ 요구사항 정리 및 데이터 흐름 구조화
∙ API 엔드포인트 생성 및 Swagger 연동 (1)
∙ API 엔드포인트 생성 및 Swagger 연동 (2)
∙ 외부API 연동
∙ [Kafka X MySQL] 콘텐츠 원천 데이터 저장 및 Kafka Produce (1)
∙ [Kafka X MySQL] 콘텐츠 원천 데이터 저장 및 Kafka Produce (2)
∙ [Kafka X ChatGPT] 콘텐츠 자동검수 시스템 구축하기 (1)
∙ [Kafka X ChatGPT] 콘텐츠 자동검수 시스템 구축하기 (2)
∙ [Kafka X ChatGPT] 콘텐츠 자동검수 시스템 구축하기 (3)
∙ [Kafka X MongoDB] 콘텐츠 구독 서비스 만들기 (1)
∙ [Kafka X MongoDB] 콘텐츠 구독 서비스 만들기 (2)
∙ [Kafka X MongoDB] 콘텐츠 구독 서비스 만들기 (3)
∙ [Kafka X Redis] 캐싱에 실시간성 부여하도록 시스템 개선해보기 (1)
∙ [Kafka X Redis] 캐싱에 실시간성 부여하도록 시스템 개선해보기 (2)
∙ [Kafka X Redis] 캐싱에 실시간성 부여하도록 시스템 개선해보기 (3)
∙ [Kafka X ElasticSearch] 콘텐츠를 실시간으로 검색시스템에 색인하기 (1)
∙ [Kafka X ElasticSearch] 콘텐츠를 실시간으로 검색시스템에 색인하기 (2)
∙ [Kafka X ElasticSearch] 콘텐츠를 실시간으로 검색시스템에 색인하기 (3)

03 Kafka를 활용한 선착순 쿠폰 발행 이벤트 대응하기

∙ 요구사항 정리 및 데이터 흐름 구조화
∙ 문제가 발생할 수 있는 요인들 짚어보기
∙ 분산환경에서 선착순 응모 이벤트 대응이 가능하도록 시스템 만들기 (1)
∙ 분산환경에서 선착순 응모 이벤트 대응이 가능하도록 시스템 만들기 (2)

04 Kafka와 Elastic Stack을 활용한 실시간 로그 수집 파이프라인 구축하기

∙ Elastic Stack (Elasticsearch, Logstash, Kibana, Beats) 소개
∙ 요구사항 정리 및 데이터 흐름 구조화
∙ Filebeat를 통한 로그 수집 및 Kafka Produce
∙ Logstash를 통한 Kafka Consume 및 Elasticsearch 색인
∙ Kibana에서 로그 시각화

05 Wrap up

∙ 학습내용 정리하기

상세 커리큘럼 다운받기

이 강의도 추천해요.

학습규정 * 본 상품은 동영상 형태의 강의를 수강하는 상품입니다.
* 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
* 수강 신청 및 결제를 완료하시면, 마이페이지를 통해 바로 수강이 가능합니다.
* [초격차 패키지 : 한번에 끝내는 Kafka Ecosystem] 의 일부인 part 2, 3과 동일한 영상을 제공합니다.

총 학습기간:
– 정상 수강기간(유료 수강기간) 최초 1개월 (30일), 무료 수강 기간은 31일 일차 이후로 무제한이며, 유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.
– 본 패키지는 약 17시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.
– 수강시작일: 수강 시작일은 결제일로부터 기간이 산정되며, 결제를 완료하시면 마이페이지를 통해 바로 수강이 가능합니다. (사전 예약 강의는 1차 강의 오픈일)
– 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는 해당 일정 만큼 수강 시작일이 연기됩니다.

주의사항 – 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.
– 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.
– 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인 이벤트 적용이 불가할 수 있습니다.
– 커리큘럼은 제작 과정에서 일부 추가, 삭제 및 변경될 수 있습니다.
– 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.

환불규정 – 환불금액은 정가가 아닌 실제 결제금액을 기준으로 계산됩니다.
– 쿠폰을 사용하여 강의를 결제하신 후 취소/환불 시 쿠폰은 복구되지 않습니다.

– 수강시작 후 7일 이내, 5강 미만 수강 시에는 100% 환불 가능합니다.
– 수강시작 후 7일 이내, 5강 이상 수강 시 전체 강의에서 수강한 강의의 비율에 해당하는 수강료를 차감 후 환불 가능합니다.

– 수강시작 후 7일 초과 시 정상 수강기간 대비 잔여일에 대해 아래 환불규정에 따라 환불 가능합니다.
환불요청일 시 기준
: 수강시작 후 1/3 경과 전, 실 결제금액의 2/3에 해당하는 금액 환불
: 수강시작 후 1/2 경과 전, 실 결제금액의 1/2에 해당하는 금액 환불
: 수강시작 후 1/2 경과 후, 환불 금액 없음

* 보다 자세한 환불 규정은 홈페이지 취소/환불 정책에서 확인 가능합니다.

패스트캠퍼스 아이디 공유 금지 정책 안내 [패스트캠퍼스 아이디 공유 금지 정책]
패스트캠퍼스의 모든 온라인 강의에서는 1개의 아이디로 여러명이 공유하는 형태를 금지하고 있습니다.
동시접속에 대한 기록은 내부 시스템을 통해 자동으로 누적되며, 이후 서비스 이용이 제한될 수 있습니다.

[기기제한 정책]
패스트캠퍼스 온라인 강의 시청을 위해서는 ID별 최대 3개의 기기를 등록할 수 있으며, 기기 등록은 온라인 강의장 접속 시 자동 등록됩니다.
최대 갯수를 초과하였을 경우 등록된 기기 해제가 필요합니다.

[저작권 정책]
패스트캠퍼스의 모든 강의는 무단 배포 및 가공하는 행위, 캡쳐 및 녹화하여 공유하는 행위, 무단으로 판매하는 행위 등 일체의 저작권 침해 행위를 금지합니다.
부정 사용이 적발될 경우 저작권법 위반에 의한 법적인 제재를 받으실 수 있습니다.

root layout

백엔드 개발자를 위한 Kafka 실습 0 to 1 : 입문부터 EDA까지