Snowflake

데이터 엔지니어에게 필수라는 'SNOWFLAKE' 대체 뭐길래?

데이터 엔지니어는 데이터를 수집 및 분석할 수 있도록 거대한 데이터 파이프라인 시스템을 설계하고 구축하는 역할을 합니다. 이를테면 데이터 플로우 자동화, 성능 최적화 같은 업무가 이에 해당하죠. 이 밖에도 기업의 데이터를 잘 활용할 수 있도록 관리하기 때문에 데이터 엔지니어는 어느 회사에서나 중요한 필수 직군이라고 볼 수 있습니다.

이러한 추세는 2028년까지 데이터 엔지니어 일자리 수가 20% 증가할 것이라는 미국 노동통계국 조사 결과에서도 확인할 수 있는데요. 데이터 엔지니어의 가치는 날로 높아지고, 관련 인력에 대한 수요는 증가하고 있지만 전문 인력이 부족해 데이터 엔지니어의 연봉은 계속해서 오르고 있습니다.

이런 현상은 전 세계적으로 동일하게 발생하고 있습니다. 영국 인력 채용플랫폼 헤이스에서는 데이터 엔지니어를 '2022년 돈을 가장 많이 벌 10대 직종' 중 하나로 선정했고, 미국 직장 평가 기업인 글래스도어의 2019년 신임 데이터 사이언티스트는 실제로 연평균 9만 5천 달러(약 1억 1,500만 원)의 높은 연봉을 받고 있기도 하죠. 한국에서도 크게 다르지 않은 현상입니다. 엔씨소프트와 크래프톤의 개발직 연봉은 2021년에만 각 1,300만 원, 2,000만 원 인상되어 데이터 엔지니어의 몸값이 크게 뛰고 있는 것을 확인할 수 있습니다.

예전에는 기업의 인하우스 조직이 데이터 엔지니어들과 함께 아파치 하둡(Apache Hadoop)과 같은 오픈소스 소프트웨어를 활용해 빅데이터 저장 공간을 만들었다면, 최근에는 snowflake를 사용해 즉시 사용 가능한 분석형 데이터 웨어하우스를 이용할 수 있는데요. snowflake를 이용하게 되면 가상의 하드웨어나 물리적인 하드웨어에 대해서 걱정할 필요가 없습니다. 그렇기 때문에 이러한 snowflake 솔루션을 배운다면 여러분들도 빅데이터를 쉽게 수집하고, 처리하고, 활용하는 데이터 엔지니어가 될 수 있습니다.

"snowflake란?"

그렇다면 snowflake는 무엇일까요? snowflake는 데이터 저장, 데이터 처리부터 시각화, 머신러닝까지 한 번에 할 수 있는 클라우드 기반 통합 데이터 플랫폼입니다. '데이터 클라우드' 플랫폼 내에서 자유롭게 데이터 편집과 이동이 가능하고 데이터 저장 및 보관을 효율적으로 할 수 있게 도움을 주는 소프트웨어라고 할 수 있죠. snowflake는 그 가치를 인정받아 투자의 귀재 워렌버핏이 기술 종목과 IPO종목을 피한다는 기존의 원칙을 깨고 약 5억 7,000만 달러를 투자한 것으로도 유명합니다.

1. 데이터 엔지니어링

데이터 엔지니어링 서비스를 통해 다양한 부서에서 SQL을 이용해 데이터 파이프라인을 효율적으로 구축하고 관리할 수 있습니다. 클라우드상에서 작업이 가능하기 때문에 실시간으로 데이터를 사용할 수 있는 형태로 바로 변환하여 사용할 수 있고, 결국 빠른 의사결정을 할 수 있게 됩니다.

2. 데이터 레이크

데이터 레이크(Raw data)는 모든 유형의 데이터를 보관할 수 있는 대규모 저장창고라고 생각하시면 되는데요. 중앙 데이터의 저장소 역할에 강력한 보안 기능까지 더해져 모든 데이터를 안전하게 저장 할 수 있습니다.

3. 데이터 웨어하우스

데이터 웨어하우스를 통해 snowflake에 분석 가능한 형태로 가공된 데이터를 저장할 수 있습니다. 이 웨어하우스 기능으로 데이터에 쉽게 접근할 수 있습니다.

4. 데이터 사이언스

통계 분석 툴, 머신러닝 기능 등을 제공받아 방대한 양의 데이터를 분석할 수 있습니다. 다양한 프로그래밍 언어를 지원받을 수 있어 언어에 구애없이 한 플랫폼 안에서 데이터 분석을 할 수 있습니다.

5. 데이터 어플리케이션

데이터 분석 어플리케이션을 신규로 개발할 수 있습니다. 또, 기존 어플리케이션을 snowflake 플랫폼과 연동시킬 수 있습니다.

6. 데이터 교환

데이터를 공유하고 서로 연결하고 협업할 수 있는 솔루션을 제공받을 수 있습니다. 데이터 허브를 통하기 때문에 사용하는 사람들끼리 정보 교환은 물론, 협력 기업들도 빠르게 데이터를 교환할 수 있습니다.

snowflake는 유연한 리소스 관리를 통해 비용을 절감할 수 있다는 장점이 있는데요. 컴퓨트 레이어와 스토리지 레이어를 분리해서 필요에 따라 리소스를 늘리고 줄임으로써 엄청난 비용을 절감할 수 있죠.

또 광범위한 Native 커넥터를 제공한다는 점도 snowflake의 장점입니다. Snowflake에는 Spark, Python 네이티브 커넥터와 수많은 써드파티 커넥터가 있는데요. 이런 다양한 커넥터, 드라이버, 프로그래밍 언어 및 유틸리티를 통해 Snowflake에 액세스할 수 있습니다.

또 다른 장점은 멀티 클라우드 환경에서 유리하다는 점인데요. snowflake는 아마존, 마이크로소프트, 구글 3사 모두의 환경에서 구동 가능한 유일한 데이터 웨어하우스입니다. 환경에 제약 없이 데이터를 활용할 수 있기 때문에 여러 종류의 클라우드 컴퓨팅 벤더사를 사용하는 기업은 대형 단일 플랫폼을 사용하는 것보다 snowflake 제품을 사용하는 게 편리할 수 있습니다.

이렇듯 빠르게 성장하고 있는 snowflake는 어디서 배울 수 있을까요? 기존에 snowflake는 국내 강의는 없고 해외 강의만 있어 한국어로 배울 수 없다는 어려움이 있었는데요. snowflake 관련 도서도 원서로 된 단 2권 밖에 없어 관련 정보를 많이 알 수 없었습니다. 자체 튜토리얼 영상과 문서가 있긴 하지만 snowflake 분야 자체가 전문적이기 때문에 독학도 어렵고 시간이 오래 걸리죠. 혹자는 유튜브에 관련 콘텐츠가 있다고 할 수도 있지만, 한국 콘텐츠는 주식과 관련된 내용만 존재하기 때문에 교육 영상으로는 적합하지 않습니다.

그래서 snowflake를 배우고 싶은 여러분들을 위해 패스트캠퍼스에서 snowflake 강의를 준비했습니다.

“ 철저하게 실무자의 입장에서 자주 쓰는 기능 및 문제 해결 노하우의 핵심을 담았습니다. 50여개의 난이도별 실습으로 실무에서 마주할 여러 기술적 문제의 해결책을 익힐 수 있습니다.”
저는 20년차 데이터 엔지니어로서 Snowflake의 고객사 중 하나인 Adobe에서 Snowflake를 사용 중입니다. 실제로 비용을 절감하고 시간을 단축시키는 등 데이터 매니지먼트에 큰 효과를 보고 있죠. 실무자들을 대상으로 사내 교육을 한다고 생각하고 만든만큼 Snowflake 활용에 많은 팁과 인사이트를 얻어가셨으면 합니다. 앞으로는 클라우드 데이터 플랫폼 선두주자인 Snowflake를 잘 활용하는 것이 데이터 엔지니어에게 중요한 역량이 될 것입니다.

by. 사티야짓

Tesla, Adobe 본사 수석 데이터 엔지니어의 강의

의 강사분은 20년 경력의 데이터 엔지니어입니다. adobe 본사 수석 데이터 엔지니어이기도 한데요. adobe는 실제로 snowflake의 고객사 중 하나로, snowflake를 사용해 비용을 절감하고 시간을 단축하는 등 데이터 매니지먼트에 큰 효과를 봤다고 하죠. 최근에는 snowflake 컴퓨팅을 활용한 소프트웨어를 개발해서 기존 레거시 애플리케이션에 비해 15배의 분석 속도를 달성하기도 했답니다. adobe와 같은 현업에서 사용하는 snowflake를 수식 데이터 엔지니어에게 직접 배워보세요!

설치부터 실무 노하우까지 다 담은 강의

최고의 엔지니어들이 일하며 맞닥뜨린 문제들의 해결 방법과 노하우를 차근차근 알려드립니다. 철저하게 실무자의 입장에서 자주 쓰는 기능과 문제 해결 노하우까지 핵심을 담아 강의합니다. 50여 개 난이도로 나누어져 있어 초급자 레벨부터 전문가 레벨까지 난이도에 맞는 실습을 진행할 수 있습니다. 다양한 예제와 실습을 통해 실제 업무에서 마주할 여러 기술적인 문제와 해결책을 익혀보세요!

국내 유일 Snowflake 강의

데이터 매니지먼트의 핵심 트렌드는 클라우드 기반 빅데이터 처리입니다. 그리고 그 시장은 snowflake가 선두하고 있죠. 강의에서는 국내에서 유일하게 snowflake에 대해 핵심적으로 알려드립니다. snowflake에 대해 관심 있는 데이터 엔지니어나 예비 데이터 엔지니어라면, 강의를 통해 snowflake를 체계적으로 배워보시는 건 어떨까요?

지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

데이터엔지니어링 아티클 더 보러가기 👉