The RED : 백엔드 에센셜 : 대용량 서비스를 위한 아키텍처 with Redis by 강대명

누구나 사용하는 네이버, 카카오 서비스 개발부터
대규모 인프라에 Redis 적용까지!
백엔드 개발자 강대명

위버스컴퍼니에서 아티스트와 팬 간의 소통, 콘텐츠, 서비스를 제공하는 글로벌 커뮤니티&서비스 플랫폼인 위버스와 위버스샵의 데이터를 수집해서 처리해서 데이터 분석가 분들이 잘 분석할 수 있도록 데이터 파이프라인을 만드는 일을 하고 있습니다. 로그를 통해 사용자들이 위버스와 위버스샵에 얼마나 방문하는지, 어떤 행동들을 하는지에 대한 정보를 안정적으로 처리할 수 있도록 하고 있습니다.

네이버와 카카오에서도 많은 캐시 서버를 사용해 볼 수 있었습니다. 3TB 가 넘는 메모리 사이즈의 Memcached 서버들과, 5TB가 넘는 Redis 서버들을 다루어보기도 했습니다. 흔히들 달리는 열차의 바퀴를 갈아끼운다고 표현하는 DAU가 천만이상인 서비스를 루비에서 자바로 컨버팅 하는 작업도 해보았습니다. 대규모 서비스에서는 문제를 잘 해결하는 것도 중요하지만, 간단한 부분부터 어려운부분까지 자동화 할 수 있는 부분은 가능한 자동화하고, 모니터링 할 수 있는 부분들은 가능한 모니터링 해야만 운영이 가능하다는 것을 배울 수 있었습니다.

MAU가 천만이 넘는 서비스에서는 하루에 몇대의 서버들이 이유없이 장애가 발생하는데, 32비트 커널에서 램디스크를 사용하면 왜 커널 메모리가 부족해지는지, 서버가 실행될 때 특정 포트 대역에서 왜 충돌이 일어날 수 있는지, 실제로 리눅스 커널 소스를 통해서 문제를 찾아서 해결해야하는 장애들도 있었고, DNS에서의 캐싱 이슈로 인한 문제, 자바 1.7에서 1.8로 버전업을 하면서 내부적으로 발생하는 이슈로 인한 이슈, 미국의 동부/서부 간의 레이턴시 이슈나 국내에서 지역간의 레이턴시 때문에 발생하는 이슈도 경험해 보았습니다. Udemy에서는 OnPremsis를 AWS로 이전하면서 많은 문제를 겪기도 했습니다.

현재 웹 서비스를 비롯한 다양한 SNS 서비스로 대용량 서비스가 증가하고 있고, 이로 인해 대용량 처리 기술에 대한 관심이 높아지고 있어요. 서버를 분산시키고, 많은 트래픽을 견뎌낼 수 있는 분산 캐시 기술들은 대용량 서버를 구축하는 핵심 key 역할을 하기 때문입니다. 그래서 Redis는 저뿐만 아니라 백엔드 개발자들 모두의 비장의 무기가 될 수 있다고 생각해요. 이 강의를 통해 많은 백엔드 개발자분들이 용이하게 작업하실 수 있게 도움을 드리고 싶어요.

| Part 0. 대규모 서비스의 특성

대규모 서비스는 많은 사용자에 의해서 많은 데이터와 트래픽이 있는 서비스를 말합니다.
대규모 서비스의 안정적인 운영을 위해서, 확장성, 장애회복성, 자동화, 모니터링이 필요합니다.

✔ 대규모 서비스의 특성

⚬ 대규모 서비스가 어떤 것이고, 대규모 서비스가 갖춰야 할 특성에 대해서 간단하게 설명
⚬ SPOF 가 어떤것이고, 어떤 상황에 발생하는 것인지 설명

[실습]
- Terraform과 Ansible 을 이용해서 인프라를 간단히 구성하는 예제 실습

| Part 1. 장애포인트를 찾기 위한 모니터링

간단한 Scrap 서비스를 만들고 부하테스트를 통해 어떤 부분들에서 문제가 발생할 수 있는지 확인합니다.
Ngrinder 를 통해서 Scrap 서버의 성능이 얼마나 나오는지 확인하며, Prometheus, Grafana를 통해서 Scrap 서버에 장애가 발생하면 어떤 일이 생기는지 보여줍니다

✔ 간단한 서비스의 구현

⚬ python으로 요청 받은 페이지의 OpenGraph를 추출해서 보여주는 서비스의 구현에 대한 소개

[실습]
- Design Document 작성 데모

✔ 지표 수집과 모니터링

⚬ 왜 모니터링을 해야 하는가에 대한 설명
⚬ 어떤 정보들을 모니터링 해야 하는지에 대한 설명
⚬ 간단한 모니터링을 통해서 알 수 있는 정보들에 대한 소개

[실습]
- 간단한 요청에 대한 정보들을 저장해서 수치화
- 표준적인 방법들에 대한 소개
* Prometheus 를 통한 정보 수집
* grafana 등을 이용해서 그래프로 보여주기

✔ 성능 테스트

⚬ ngrinder 에 대한 소개및 사용법
⚬ Stress Test를 할 때 알아야 할 부분들

[실습]
- ngrider 설치 후에 실제 해당 서비스 호출에 대한 부분을 소개
- gunicorn 을 통해서 프로세스 수를 늘리면서 바로 성능이 증가되는 부분 확인

| Part 2. 대규모 서비스 설계를 위한 백엔드 에센셜

대규모 서비스 개발을 위해서는 아주 여러가지 기술들이 들어가게 됩니다.
Service Discoveyr, Sharding, Caching, 비동기 작업등 여러가지 기술을 적절하게 조합하는 것이 성능 및 안정성을 높일 수 있습니다. 해당 기술들이 어떻게 동작하고, 이를 어떻게 사용해야 하는지를 배웁니다.

✔ 로드밸런싱

⚬ 로드밸런서
* Server Side 로드밸런서 / Client Side 로드밸런서

[실습]
- Nginx를 통한 방법
* 두 개의 Scrap 서버를 띄워놓고 Nginx를 통해서 Server Side 로드밸런싱 에뮬레이팅
- AWS에서 쓸 수 있는 ALB 소개
* 실제 AWS에서 ALB를 통한 Server Side 로드밸런싱

✔ 서비스 디스커버리

⚬ 서비스 디스커버리 개념
⚬ 서비스 디스커버리 툴

[실습]
- Zookeeper 설치 및 간단한 동작 소개
- Zookeeper 를 이용한 서비스 디스커버리 소개
* 자동으로 서비스 등록
* 장애시 자동으로 서비스 제거

✔ Circuit Breaker

⚬ Circuit Breaker의 개념 및 관련 구현 방식

[실습]
- Scrap 서버를 호출하는 간단한 서비스를 구현, Circuit Breaker 가 실행되어서 Scrap 서비스가 장애가 나면 빠르게 failback 을 통해서 실패하는 것 확인

✔ Failover

⚬ Failover 관련 내용
* Coordinator를 이용한 방식
* DNS를 이용한 방식
* VIP를 위한 방식

[실습]
- Redis 장애를 감지하고 자동으로 Coordinator를 통해서 해당 값을 변환해서 자동으로 Failover가 되는 것 확인

✔ Replication

⚬ Data Replication

[실습]
- Redis Primary Secondary 연결을 통해서 데이터가 복제되는 것 확인
- Query Off 에 대해서 소개
- DB는 AWS에서 제공되는 것에 대해서 설명
- DB관련 OnPremise에서 쓸 수 있는 MHA 방식에 대해서 간단히 소개

✔ 샤딩

⚬ 샤딩이란?
⚬ 샤딩에 대한 여러가지 방식및 실제 사례
⚬ 데이터에 따른 샤딩 예제
* 이메일 저장 방식에 대한 샤딩
* SNS 유저 데이터 저장에 대한 샤딩

[실습]
- 샤딩 방식에 따른 간단한 코드 구현
- Zookeeper 를 이용해서 자동으로 샤딩룰이 추가되는 부분 확인

✔ Consistent Hashing

⚬ Consistent Hashing 이론
⚬ Consistent Hashing에서 주의해야 할 부분

[실습]
- Python으로 consistent hashing 구현
- consistent hashing 코드를 이용해서 redis 에 키를 나누는 방식 실습

✔ GUID

⚬ GUID란?

[실습]
- GUID 서버의 구현
- 중복되지 않는 값이 나오는 것 확인

✔ 비동기 큐 사용

⚬ 실제 DB의 부담을 일정하게 유지해주는 비동기 큐를 이용한 방식

[실습]
- SideKiq을 설치해서 Redis 큐 확인
- 실제 작업은 비동기로 이뤄지는 것 확인

✔ 배포

⚬ blue green
⚬ canary
* canary 배포를 위해서 고민해야 할 부분들

[실습]
- blue green 을 on-premis 에서 구현
- blue green 을 aws에서 구현

| Part 3. 대규모 트래픽 처리를 위한 Redis

Redis 는 전세계에서 많이 사용하고 db-enginens.com 에서 Key-Value NoSQL분야 1위에 랭크되어 있는 솔루션입니다.
개발자가 편하게 쓸 수 있는 많은 자료구조를 가지고 있고, 굉장히 빠른 성능을 제공합니다. 사용하기 쉬고 빠른 성능을 내는 만큼 제대로 사용하기 위해서 레디스 사용시에 주의해야 할 부분들에 대해서 다룹니다.

✔ Redis 기본 자료구조

⚬ Redis 기본 자료구조를 소개
* String / List / Hash / set / Sorted set

[실습]
- 간단한 Redis 자료구조 소개

✔ Redis 를 어디에 쓸 수 있을까?

⚬ Redis 사용 예

[실습]
- Rate Limit

✔ Redis Monitoring Metrics

⚬ Redis 사용시에 모니터링해야 하는 지표들

[실습]
- 모니터링 지표들

✔ Redis 장애 처리

⚬ Redis 사용시에 흔히 발생하는 장애

✔ 여러 가지 발생할 수 있는 이슈들

⚬ Cache Stampede
⚬ Hot Key 이슈
⚬ Timeout 이슈

[실습]
- Hot Key 이슈에 대한 예와 Cache Stampede를 해결하는 코드

✔ 간단한 서비스 추상화 모습

⚬ 전체 서비스의 구성 모습

[실습]
- 전체 서비스의 모습

| Part 4. 어떻게 성장할 것인가?

✔ 어떻게 성장할 것인가?

⚬ 오픈소스를 통해서 개발자의 실력을 향상하는 방법
* 오픈소스에 접근하는 방식
* 개인적인 학습 방식 등

강의에 대해 궁금하셨나요?
한 걸음 더 들어가봅니다.