Snowflake

워런 버핏이 5억 7천만 달러 투자한 'Snowflake'를 알아야 하는 이유

1. Intro
2. 테슬라를 거쳐 현재 어도비의 수석 데이터 엔지니어로 일하는 사티야짓입니다
3. 데이터라는 최고의 자산, 그 중심에 있다는 것
4. Snowflake, 곧 전 세계가 사용하게 될 것입니다
5. 20년 경력의 데이터 엔지니어가 전하는 조언

Intro

잠시 과거로 돌아가보겠습니다. 옛날엔 '한양에 비가 온다'는 '데이터'를 전국에 전하려면 종이에 직접 소식을 옮기고 밤새 목적지를 향해 달려야만 했습니다. 그런데 '한양에 비가 온다'라는 소식이 부산에 전해졌을 때, 한양은 여전히 비가 오고 있었을까요?

그동안 우리가 데이터를 처리하는 과정은 이와 크게 다르지 않았습니다. 한곳에 있는 원본 데이터를 복제해서 여기저기 옮기는 식이지요. 마치 한양의 소식을 베껴 써서 전국에 전달하듯이 말입니다. 그러다 보니 서로가 알고 있는 최신 데이터가 달랐습니다. 정보를 수정하려면 너무 많은 돈과 시간이 들었죠.

여기서 상상력을 한번 더 발휘해보려고 합니다. 최근 개봉한 마블 영화 <닥터 스트레인지>를 보셨나요? 주인공 닥터 스트레인지는 마법으로 포털을 열어 시공간을 넘나드는 능력을 갖고 있죠. 그런데 만약 ‘한양에 비가 온다'고 적었던 종이 한 장을 복사하는 대신 전국에 시공간 포털을 열어 그 종이를 보여준다면 어떨까요? 맞습니다. 전국 모두가 하나의 똑같은 데이터를 보게 되겠죠. 이제 종이를 베껴 적을 필요도 없고, 사람이 멀리까지 힘들여 갈 필요도 없어졌습니다. 심지어 서울에서 비가 그친 사실도 전국에서 실시간으로 확인이 가능할 겁니다.

'Snowflake'는 바로 영화 속 닥터 스트레인지의 포털과 같은 역할입니다. 포털 대신 데이터 클라우드라는 이름을 쓰고 있죠. 혁신적인 Snowflake의 등장으로 그동안의 데이터 클라우드 시장에는 엄청난 지각 변동이 일어났습니다. 20년 이상 테슬라와 어도비 등 글로벌 최고의 기업에서 데이터 엔지니어로 일하고 있는 사티야짓 모하파트라(Satyajit Mohapatra)는 머지않아 전 세계에서 Snowflake를 사용하게 될 것이라고 말합니다.

사티야짓 모하파트라는 현재 글로벌 소프트웨어 기업인 어도비(Adobe) 미국 본사의 수석 엔지니어입니다. 최근 그는 패스트캠퍼스와 함께 국내 유일의 Snowflake 한국어 강의를 제작했습니다. 베이직(Basic)부터 어드밴스드(Advanced)까지 전체를 아우르는 커리큘럼으로, 주니어와 시니어 엔지니어가 현업에서 맞닥뜨릴 수 있는 다양한 문제의 해결책을 실습하며 함께 배울 수 있다고 합니다. 최고의 글로벌 기업에서 일하는 엔지니어들이 인정하는 어도비의 수석 데이터 엔지니어 사티야짓 모하파트라에게 직접 Snowflake의 전망과 현업에서 사용되는 범위, 또 앞으로 어떻게 도움이 될지를 물어보았습니다.

테슬라를 거쳐 현재 어도비의 수석 데이터 엔지니어로 일하는 사티야짓입니다

Q. 현재 어도비에서 어떤 일을 하고 계신가요?

A. 저는 현재 미국 어도비 본사에서 수석 데이터 엔지니어로 일하고 있습니다. 20년 이상 데이터 엔지니어링 분야에서 일하고 있는데, 어도비에서는 데이터 분석 및 AI/ML 플랫폼 API를 위한 확장 가능한 파이프라인을 구축하는 일을 맡고 있습니다. 특히 제가 강의할 Snowflake 컴퓨팅과 파이썬, 스파크 스트리밍 등을 사용해 ETL 파이프라인을 설계, 개발하고 있죠.

Q. 어도비 이전에 테슬라(Tesla)에서도 근무했던 것으로 알고 있습니다. 두 회사의 성격이 매우 다른데, 테슬라에서는 어떤 일을 하셨나요?

A. 저는 테슬라에서 데이터 엔지니어링 및 분석팀을 이끌었습니다. 현재 회사인 어도비가 소프트웨어 회사라면, 테슬라는 소프트웨어 회사의 지원을 받는 '제조' 회사입니다. 아시다시피 단기간 내 굉장히 빠르게 성장했고요. 그러다 보니 서로 다른 업무나 기술 분야 사이에 종종 데이터 단절(silo)이 있었습니다. 저희 팀의 목표는 이 단절을 해결하기 위해 중앙 집중식 데이터 웨어하우징 플랫폼을 구축하는 일이었습니다.

데이터라는 최고의 자산, 그 중심에 있다는 것

Q. 데이터 엔지니어로 20년 넘게 일하면서 후배 엔지니어들의 교육도 담당해왔습니다. 데이터 엔지니어로 사는 것은 어떤가요? 직업의 전망을 어떻게 바라보고 있는지도 궁금합니다.

A. 산업 분야와 조직을 막론하고 데이터는 가장 가치 있는 자산입니다. 그리고 데이터 엔지니어는 그 중심에 있습니다. 앞으로도 유망한 직업입니다. 저는 20년 이상 데이터 엔지니어링 분야에서 일할 수 있었던 것을 기쁘게 생각하고 있어요. 흔하지 않은 기술이고, 덕분에 이 업계에서 인정받을 수 있죠.

말씀대로 그동안 수차례 사내 데이터 엔지니어들의 교육도 맡아왔는데, 이번에 한국에서 시작하는 강의도 그 경험을 살려 저만의 커리큘럼을 구성했습니다. 저는 멘토가 필요한 모든 사람에게 기꺼이 멘토가 되어줄 겁니다.

Snowflake, 곧 전 세계가 사용하게 될 것입니다

Q. 다른 데이터 클라우드와 비교했을 때 Snowflake만의 장점이 무엇인지 궁금합니다. Snowflake의 미래는 어떤가요?

A. Snowflake의 미래는 아주 밝습니다. 코로나19 팬데믹 이후로 재택근무 시스템이 뉴노멀로 부상하면서 데이터 클라우드 산업은 점점 더 큰 비중을 차지하게 되었고, 이미 미국 및 전 세계 대부분의 기업이 데이터를 운영하고 관리하는 일에 Snowflake를 채택하고 있습니다. 데이터 매니지먼트에 혁신적인 변화를 가져다주었습니다. 한국에서는 아직 낯설지만, 곧 더 많은 곳에서 찾게 될 것이라 확신합니다.

Snowflake의 장점은 크게 세 가지로 볼 수 있을 것 같습니다.
첫째, 현재 시장에서 사용할 수 있는 세 가지 클라우드 플랫폼(AWS, GCP, Azure) 모두와 작동하는 유일한 클라우드 데이터 웨어하우스라는 점입니다.
둘째, 광범위한 네이티브 커넥터를 제공합니다. Snowflake에는 스파크(Spark), 파이썬(Python)의 네이티브 커넥터와 기타 수많은 *써드파티 커넥터가 있습니다.
셋째, 유연한 리소스 관리가 가능합니다. Snowflake는 컴퓨팅과 스토리지 레이어가 분리됩니다. 필요에 따라 리소스를 늘리거나 줄이는 것이 가능합니다.

*써드파티 커넥터 : 하드웨어나 소프트웨어의 제조사나 계열사, 관련 협력사가 아닌 독자적인 제3의 개발자, 협력자를 일컫는 용어

Q. 실리콘밸리 현업에서는 Snowflake가 어떻게 사용되고 있나요?

A. 예를 들어 마케팅 담당자가 생성한 수십억 개의 마케팅 자동화 데이터가 있다고 가정해봅시다. 마케팅 효과를 분석하기 위해서는 이 데이터를 실시간으로 분석, 처리하고 도출해야 합니다. Snowflake의 스노우-파이프(Snow-Pipe) 기능을 사용하면 아마존 S3 스테이지(Amazon S3 Stage) 영역에서 빅데이터를 가져오고 저장 프로시저를 사용해 데이터를 처리하고 팩트 테이블(Fact Tables)을 작성할 수 있습니다. Snowflake는 컴퓨팅과 스토리지 영역이 분리되므로 데이터 양이 적다면 원하는 만큼 컴퓨팅 리소스를 줄일 수 있고 그에 따른 관리 비용도 절약할 수 있습니다.

Q. Snowflake를 통해 얻게 되는 또 다른 실무적 이점은 무엇인지요?

A. Snowflake를 통해 저희는 이제 무제한 확장이 가능하고, 최소한의 대기 시간으로 초당 수백만 개의 데이터를 처리할 수 있는 실시간 데이터 파이프라인을 구축할 수 있게 되었습니다. 최근에는 Snowflake 컴퓨팅을 활용한 소프트웨어를 개발했는데 덕분에 기존의 다른 소프트웨어에 비해 15배나 빠른 분석 속도를 달성할 수 있었습니다.

20년 경력의 데이터 엔지니어가 전하는 조언

Q. 연사님처럼 데이터 분야에서 오랫동안 일하며 성장하기를 꿈꾸는 미래의 데이터 엔지니어 후배들에게 전하고 싶은 말이 있을까요?

A. 데이터 엔지니어링은 굉장히 흥미로운 분야입니다. 이 분야에서 오래 일하며 성장하려면 좋은 선배들로부터 조언을 받고 끊임없이 새로운 기술을 배워야 합니다. 큰 회사보다는 좋은 팀과 회사를 찾으십시오. 가장 좋은 방법은 직장에서 일하면서 배우는 것입니다. 아주 소수의 사람만 그런 기회를 얻는데, 여러분은 그 기회를 꼭 붙잡으시길 바랍니다.

지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

미디어 전체 보러가기 👉