데이터 엔지니어 채용

채용공고로 살펴보는 데이터 엔지니어 직무 - 스타트업 편

#데이터 엔지니어 하는일 #데이터 엔지니어 채용 #데이터 엔지니어 포트폴리오


| 채용 공고로 직무를 해석해야 하는 이유

데이터 엔지니어라는 직무 및 분야가 생긴 지 10년 채 되지 않았습니다. “데이터 엔지니어” 라는 용어로 채용 공고가 등장하기 시작한 지는 그것보다 더 짧은 기간입니다.

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

데이터 엔지니어가 하는 일

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

그래서 데이터 엔지니어 직무는 채용 공고를 잘 해석해야 합니다. ‘이 회사는 데이터 엔지니어를 이런 목적으로 뽑고 아마 이런 기술들을 쓰게 될 것’ 을 가장 잘 이해할 수 있는 항목이기 때문입니다. 채용 공고에 나오는 모든 자격요건을 갖춰 지원하기 보다는, 핵심을 이해하고 그에 맞게 지원하는 것이 중요합니다.

아마 이 글을 읽고 있는 많은 분들이 취업을 준비하시는 분들이라면 스타트업에도 관심이 많을 것으로 예상됩니다. 스타트업의 경우 워낙 회사의 종류도 다양하고 비즈니스와 일하는 방식도 천차만별이라 사실 글로 정의내리기는 어렵긴 합니다.

데이터 엔지니어를 따로 뽑는 스타트업이라면 서비스가 어느 정도 검증이 되어있는, 아니면 다루는 데이터가 어느 정도 있는 회사일 가능성이 높습니다.

스타트업의 경우 데이터 엔지니어 채용이 필요할 정도의 전문성이 필요한 케이스가 중견기업, 대기업에 비해서 적기도 하고, 실제로 업계에서는 업무 유사성이 높은 백엔드 개발자에게 데이터 관련 업무를 요청하기 때문입니다.

그럼에도 데이터 엔지니어를 따로 뽑는 스타트업이라면 특정 규모 이상의 데이터를 보유하고 있거나 비즈니스 자체가 데이터 센트릭한 비즈니스일 가능성이 높습니다.

이에 본 아티클에서는 여러 스타트업의 데이터 엔지니어 채용공고 중 자주 보이는 핵심 2가지 케이스에 대해 살펴보며 실제 업무에서 나타날 특징에 대해 다뤄보려고 합니다.

* 대기업 채용공고 유형을 살펴보고 싶다면?
채용공고로 살펴보는 데이터 엔지니어 직무 - 대기업 편 을 먼저 살펴보세요!

  • 이런 분들이 읽으면 좋아요!

    - ‘데이터 엔지니어 직무’, ‘데이터 엔지니어 하는 일’, ‘데이터 엔지니어 로드맵’ 과 같은 키워드로 검색을 했지만 원하는 대답을 얻지 못한 분
    - 데이터 엔지니어로 취업/이직을 희망하지만 각기 다른 회사별 채용공고에 혼란을 겪고 계신 분
    - 데이터를 막 활용하기 시작한 회사에 입사해 데이터 엔지니어로서 초석을 다지고 싶으신 분
    - 스타트업 데이터 엔지니어가 되면 무슨 일을 하게 될지 궁금하신 분

* 본 게시글은 [한 번에 끝내는 데이터 엔지니어링]의 실제 강의 내용을 참고하여 작성하였습니다.


| 데이터를 활용하기 시작한 회사의 데이터 엔지니어링

첫 번째는 ‘데이터를 이제 활용하기 시작해야 하는 회사의의 데이터 엔지니어링 업무’ 입니다.
대표적인 채용공고 하나를 함께 살펴보겠습니다.

데이터 엔지니어 채용 공고

채용공고에서 나타나는 특징은 아래와 같습니다.

1. 서비스를 도와주는 데이터 처리에 집중되어 있다.
데이터 엔지니어링 적으로 전문성을 요구한다기 보다, 대고객 서비스 혹은 경영자를 도울 수 있는 요건 위주로 개발할 가능성이 높을 것으로 예상이 됩니다. 자격 요건 내 이해관계자간 원활한 커뮤니케이션과 소프트 스킬에 대한 이해와 존중 또한 눈여겨볼 부분인데요. 이 자격요건에서 캐치할 수 있는 내용은 서포터 업무가 메인일 수 있는 만큼, 타 부서와의 커뮤니케이션을 중요하게 여긴다는 의미입니다. 어쩌면 이전 담당자와 커뮤니케이션 상 트러블이 있었을 확률도 있습니다. 내부 사정은 우리가 알기 어렵지만, 어떠한 트러블 때문에 커뮤니케이션을 중요하게 생각하는 구나, 정도로 이해하고 넘어가시면 되겠습니다.

2. 기술에 대한 깊은 이해보다는 빠른 활용이 중요할 것으로 예상됩니다.
앞선 대기업, 중견기업 채용공고 글에서는 항상 빠지지 않고 등장하던 ‘대용량 트래픽’ 관련 요건이 스타트업 채용 공고에는 없습니다. 대부분의 유명한 오픈소스는 데이터가 양이 많지 않으면 그냥 설치하면 잘됩니다. 기술 스택이 작은 규모의 웹서비스를 운영하는 스택이죠. 어쩌면 데이터 엔지니어링에 대한 전문가가 없을 거라고 예상할 수 있습니다. 회사에 있는 엔지니어들이 데이터 엔지니어링 분야를 잘 모를 수도 있기 때문에, 데이터 엔지니어링을 잘 해도 다른 사람들이 몰라줄 수도 있고 데이터 엔지니어링에 관한 기술 스택을 쓰지 않을 수도 있습니다. 만약 여러분이 ‘아 나는 용의 꼬리보다는 뱀의 머리가 되는 게 좋아’ ‘내가 빛나면 좋아, 내가 할 수 있는 유일한 사람이 돼서 사람들이 칭찬을 많이 해줬으면 좋겠어’하는 성향이라면 이런 포지션이 잘 맞을 가능성이 높습니다.

3. 이미 구축되어 있는 것들이 일반적인 백엔드 기술을 사용한 것일 수도 있습니다.
데이터 엔지니어링 전문 상용 제품도 보이지 않았기 때문에 백엔드 엔지니어들이 그동안 관련된 업무를 하고 있었을 수도 있습니다. 데이터 엔지니어링 업무 외에도 백엔드 업무도 해야 할 수도 있습니다. 앞서 이야기한 바와 같이 업무 요건이 데이터 엔지니어링을 활용한 서비스에 좀 더 포커싱되어 있기 때문이죠.

4. 분산 시스템을 적용하는 것은 오버 엔지니어링이 될 수 있다.
한 시간에 한 건에서 만 건까지의 데이터는 컴퓨터 한 개로도 충분히 처리가 가능합니다. 하지만 우리가 분산 시스템을 적용한다면 기본 서버가 3대는 필요하게 됩니다. 만약 지원하는 회사의 데이터 규모가 작고, 스타트업인 만큼 비용에 민감하다면 분산 시스템을 적용하는 것은 오버 엔지니어링이 될 수 있습니다. 내가 분산 시스템 구축에 더 많은 관심이 있다면 그만한 데이터 규모를 갖춘 회사를 알아보시는 것을 추천드립니다.


| 클라우드 환경의 스타트업 데이터 엔지니어링

두 번째는 ‘이미 클라우드 환경에서 업무중인 회사에서의 데이터 엔지니어링 업무’ 입니다.
클라우드 제품을 활용해 구축한 데이터 처리 플랫폼이 있지만, 더 개발할 것이 남아있는 스타트업의 데이터 엔지니어 업무입니다.

대표적인 채용공고 하나를 함께 살펴보겠습니다.

데이터 엔지니어 하는일

채용공고에서 나타나는 특징은 아래와 같습니다.

1. 현재 클라우드 제품을 사용 중이며, 해당 제품을 잘 쓸 수 있도록 운영, 효율화가 필요하다.
자격요건에 보면 AWS 클라우드 제품들 이름이 많이 등장합니다. 즉 현재는 상용 클라우드 제품을 이용해서 데이터 파이프라인이 구축되어 있고 클라우드 환경에서 데이터 엔지니어링 업무가 이루어지고 있다는 말입니다. 이러한 회사에서 데이터 엔지니어 업무는 클라우드(상용) 제품을 잘 쓸 수 있도록 운영하거나 효율화를 해야 합니다.

2. 오픈소스를 활용하여 플랫폼 고도화를 시키거나 자체 데이터 엔지니어링 플랫폼을 개발해야 할 수도 있다.
기본적으로 클라우드 제품을 사용하고 있지만, 비용 이슈가 있으면 언제든지 중단 가능한 것이 상용 제품입니다. 특히 스타트업의 경우 비용 문제에 상대적으로 더 민감하기 때문에 언제든지 여건이 된다면 온프레미스 환경으로 변경할 수 있죠. 스타트업의 엔지니어는 현재 클라우드를 사용하고 있더라도 언제든지 환경이 변할 수 있고, 오픈소스 등을 활용하여 자체적으로 개발할 수 있다는 것을 명심하시면 되겠습니다. 다만 오픈소스를 직접 구축해서 운영하는 비용도 만만치 않고 버그가 나면 대처하지 못할 리스크가 있기 때문에 현재 클라우드를 사용 중이라면 계속해서 클라우드를 쓸 가능성이 높습니다.

3. 우대사항에 기재된 업계에 대한 이해는 필수는 아니다.
우대사항에 간혹 업계에 대한 이해도가 적혀 있는 회사들이 있습니다. 예시로 가져온 공고에서는 이커머스, 금융 투자, VC, Growth hacking에 대한 경험이 적혀있는데요. Growth hacking 같은 경우는 마케터들이 실험적으로 마케팅을 하는 방식을 말합니다. 성과를 측정하는 것, 그리고 성과를 개선하거나 비용을 줄이거나 효과를 극대하는 그런 실험 방식의 마케팅 방식이라고 보시면 됩니다. 다만 우리가 기억해야 할 것은 데이터 엔지니어 채용 공고라는 것입니다. 경험이 있으면 좋지만 기본 데이터 엔지니어링을 할 수 있으면 관련 업계의 경험이 없어도 크게 문제될 사항은 아니니 걱정하지 않으셔도 됩니다.


| 데이터 엔지니어 스택 배우고 싶다면

앞서 스타트업 데이터 엔지니어 채용 공고에서 자주 등장하는 2가지 유형을 살펴보았습니다.

스타트업은 온프레미스 환경에서 소량의 데이터를 핸들링하거나, 클라우드 제품을 사용하는 것에 초점이 맞추어져 있는데요.

특히 두 번째 다루었던 상용 제품을 이용하는 회사의 경우 오픈소스로 직접 구축하는 것보다는 안정적인 운영을 위해 계속해서 상용 제품을 이용할 수도 있습니다. 이러한 경우 상용 제품에 대한 매뉴얼, 커뮤니티 게시글을 잘 읽고 대응해야 하는 일이 많습니다. 상용 제품을 쓰면 어쩔 수 없이 따라오는 특징입니다.

패스트캠퍼스의 ‘한 번에 끝내는 데이터 엔지니어링’ 강의에서는 현직 대기업에 계시는 조이 강사님께서는 대기업부터 스타트업까지 다양한 기업 규모별 데이터 엔지니어 채용 공고에 등장하는 스택을 쌓을 수 있도록 기초부터 탄탄하게 알려드립니다.

결국 상용 제품도 내부적으로는 오픈소스를 활용해서 구현된 것들이 많습니다. 그래서 오픈소스를 배워서 이용하고 있다면 ‘이 제품은 내부적으로 이렇게 구현됐구나’ 이렇게 이해한 상태에서 업무를 진행할 수 있습니다.

매뉴얼 이면에 있는 시스템의 원리 등도 잘 파악할 수 있기 때문에 결과적으로 시스템 구축과 운영이 수월합니다. ‘나는 회사에서 상용 제품을 쓰던데 커리큘럼을 보니까 오픈소스 제품들 밖에 없네? 나는 데이터 엔지니어링 공부가 필요 없나? ’라고 생각하셨다면 이런 의미에서 아주 도움이 많이 될 수 있기에 추천드리는 바입니다.

[학습 내용]
- 백엔드 엔지니어링 기초 강의 700분 탑재
- Hadoop, Spark, Flink, Elasticsearch 등 28가지 대표 툴 활용법
- Spark로 배치, 실시간처리, 데이터분석 하는 방법
- 실제 빅테크기업 Use case 중심의 프로젝트 실습 진행
- 요즘 핫한 Airflow 등의 스케쥴링 툴 까지


지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

이 글과 연관된 주제의 추천 강의