데이터 엔지니어

채용공고로 살펴보는 데이터 엔지니어 직무 - 대기업 편

| 채용 공고로 직무를 해석해야 하는 이유

데이터 엔지니어라는 직무 및 분야가 생긴 지 10년 채 되지 않았습니다. “데이터 엔지니어” 라는 용어로 채용 공고가 등장하기 시작한 지는 그것보다 더 짧은 기간입니다.

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

그래서 데이터 엔지니어 직무는 채용 공고를 잘 해석해야 합니다. ‘이 회사는 데이터 엔지니어를 이런 목적으로 뽑고 아마 이런 기술들을 쓰게 될 것’ 을 가장 잘 이해할 수 있는 항목이기 때문입니다. 채용 공고에 나오는 모든 자격요건을 갖춰 지원하기 보다는, 핵심을 이해하고 그에 맞게 지원하는 것이 중요합니다.

본 아티클에서는 시스템적으로 성숙도가 높은 대기업에서 자주 등장하는 2가지 채용공고 유형을 살펴보며 실제 업무에서 나타날 특징에 대해 다뤄보려고 합니다.

* 본 게시글은 [한 번에 끝내는 데이터 엔지니어링]의 실제 강의 내용을 참고하여 작성하였습니다.

| 전사 시스템 수준의 데이터 엔지니어링

첫 번째는 ‘전사 시스템을 만드는 데이터 엔지니어링 업무’ 입니다. 회사 전체적으로 다른 개발자들을 도와주는 시스템 혹은 전사에서 공통으로 사용하는 시스템들을 만드는 요건으로 메인 고객이 B2C가 아닌 내부 개발자/구성원인 경우입니다.

대표적인 채용공고 하나를 함께 살펴보겠습니다.

회사 소개와 담당 업무를 통해 유추해볼 수 있는 부분은 다음과 같습니다.

- 기술적인 리드를 담당하는 조직
다른 개발자들의 컨설팅을 한다는 의미가 아니라, 전사 시스템 수준을 위한 다양한 요구사항이 있을 것이며 그 부분을 기술적으로 해결하는 것을 뜻합니다.

- 글로벌 규모의 대용량 데이터를 모으고 처리
데이터 양이 많은 조직입니다. 기본적으로 데이터 엔지니어는 데이터의 양이 많을수록 실험하고 경험할 수 있는 것들이 많으며 다루는 도구도 다양합니다. 이 부분은 메리트로 작용할 수 있겠습니다.

- 데이터 규모가 크고 시간적인 요구 사항이 짧아지고 있다.
실시간 처리를 대용량으로 받는 회사로 이해할 수 있습니다. 데이터도 실시간으로 들어오고 처리도 실시간으로 진행하는거죠.

- 머신러닝과 같은 새로운 기술셋과 솔루션으로 확장
머신러닝이 가능한 데이터 엔지니어 시스템을 만든다는 의미입니다. 머신러닝 엔지니어 혹은 관련 부서에서 대용량의 워크로드를 편리하게 머신러닝 돌릴 수 있도록 도와주는 업무를 뜻합니다.

- 회사의 Data platform의 개발과 운영
개발은 코드를 짜는 것, 운영은 “시스템이 문제없이 안정적으로 돌아갈 수 있도록 보수와 장애 모니터링” 하는 업무를 뜻합니다. 특히 위 공고와 같이 실시간으로 데이터를 처리해야 하는 회사에서는 장애가 났을 때에는 그때 그때 대응하는 것이 필요하겠죠.

- 오픈 소스 기반의 플랫폼 구축
데이터가 많은 회사일수록 기존 오픈 소스로는 한계가 있어 회사의 사정에 맞게 커스텀 개발하여 배포하는 경우가 잦습니다. 오픈 소스 생태계에 좀 기여를 해서 멋진 커리어를 갖고 싶은 욕심이 있는 분들에게 굉장히 좋은 환경이라고 보시면 될 것 같습니다.

다음은 자격요건과 우대사항에 대해 살펴보겠습니다.

툴과 언어를 보면 최소 1개에 대한 요구조건이 있습니다. 여러 언어를 조금씩 얕게 다루는 것이 아니라 하나에 대한 제대로된 실력을 요구한다는 의미로 하나라도 잘하면 높은 평가를 받을 수 있다고 생각하는 것이 좋습니다.

우대사항의 규모있는 서비스 개발을 해보신 경험을 가진 분들이라는 항목은 백엔드 엔지니어 등의 커리어를 가진 분들에게 유리한 항목입니다. Hadoop이나 Elasticsearch 에 대한 경험이 부족하더라도, 대기업은 “안정적으로 서버를 운영” 하는 데 초점이 맞춰져 있기 때문에 이런 우대사항이 추가되어 있습니다.

| 서비스 지향 데이터 엔지니어링

두 번째는 ‘특정 서비스에서 필요로 하는 데이터를 처리하는 업무’ 입니다.

- 대량으로 생성되는 데이터들을 실시간으로 처리
앞서 살펴본 공고와 같이 실시간 데이터 처리가 요구됩니다.

- 데이터를 활용하여 KPI를 Tracking, 구성원들 간의 데이터 인식 차이를 줄여나가는데 기여
- 분석 플랫폼 운영
특정 서비스를 제공하는 데 있어 KPI 트래킹 분석을 전문으로 하는 시스템을 개발하고, 데이터 사이언티스트나 애널리스트가 실시간으로 들어오는 데이터들을 통해 분석을 편하게 할 수 있는 환경을 만드는 것. 또한 이렇게 제공된 데이터들이 다른 상품이나 전사 플랫폼에 활용할 수 있도록 데이터를 제공하는 업무가 메인일 수 있겠습니다.

- 머신러닝과 같은 새로운 기술셋과 솔루션으로 확장
머신러닝이 가능한 데이터 엔지니어 시스템을 만든다는 의미입니다. 머신러닝 엔지니어 혹은 관련 부서에서 대용량의 워크로드를 편리하게 머신러닝 돌릴 수 있도록 도와주는 업무를 뜻합니다.

앞단의 내용을 봤을 때 특정 부서의 요구사항을 다루는 데이터 분야의 업무를 하게 됨을 유추할 수 있었습니다. 즉, 전사 시스템과 인프라는 이미 구축된 상황에서 부서의 문제의 문제를 풀기 위한 미션을 진행할 가능성이 높습니다. 이런 경우에는 구체적으로 문제를 해결해줄 수 있는 사람을 원합니다.

요청에 따른 분석 데이터 설계 경험과 커뮤니케이션 스킬을 요구하는 것도, 실제로 데이터 엔지니어가 사용하지 않는 툴(BI 툴 등) 에 대한 내용이 우대사항에 명시가 되어있는 것도 이러한 이유 때문입니다.

따라서 위와 같은 채용 공고에서 핵심은 “구체적인 문제 해결” 에 있고, 자격요건을 보면 주로 사용하는 기술 스택이 명시되어 있지만 문제 해결능력이 좋다면 커버 가능한 영역으로 이해하시면 되겠습니다.

| 대기업 데이터 엔지니어 스택 배우고 싶다면

앞서 대기업 데이터 엔지니어 채용 공고에서 자주 등장하는 2가지 유형을 살펴보았습니다.

공통적으로 현재 업계에서는 1) 백엔드 개발에 대한 기초 지식/실력 2) 실시간 데이터 처리에 대한 니즈가 있음을 알 수 있었습니다.

패스트캠퍼스의 ‘한 번에 끝내는 데이터 엔지니어링’ 강의에서는 현재 SNS 대기업 Data Engineer로 계시는 조이 강사님께서 대기업 데이터 엔지니어 채용 공고에 등장하는 스택을 쌓을 수 있도록 기초부터 탄탄하게 알려드립니다.

[학습 내용]
- 백엔드 엔지니어링 기초 강의 700분 탑재
- Hadoop, Spark, Flink, Elasticsearch 등 28가지 대표 툴 활용법
- Spark로 배치, 실시간처리, 데이터분석 하는 방법
- 요구사항을 분석해서 데이터 아키텍처 구성하는 방법
- 요즘 핫한 Airflow 등의 스케쥴링 툴 까지

지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

아티클 더 보러가기 👉