데이터 엔지니어

채용공고로 살펴보는 데이터 엔지니어 직무 - 중견기업 편

| 채용 공고로 직무를 해석해야 하는 이유

데이터 엔지니어라는 직무 및 분야가 생긴 지 10년 채 되지 않았습니다. “데이터 엔지니어” 라는 용어로 채용 공고가 등장하기 시작한 지는 그것보다 더 짧은 기간입니다.

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

프론트엔드나 백엔드 개발자는 어떤 일을 하게 될지 어느정도 예상이 가능하지만 데이터 엔지니어는 회사의 규모, 업종에 따라 하는 일이 다양하고 쓰는 기술도 제각각입니다. 업계에서 흔히 “잡부” 라고 불리는 것도 이러한 이유 때문입니다.

그래서 데이터 엔지니어 직무는 채용 공고를 잘 해석해야 합니다. ‘이 회사는 데이터 엔지니어를 이런 목적으로 뽑고 아마 이런 기술들을 쓰게 될 것’ 을 가장 잘 이해할 수 있는 항목이기 때문입니다. 채용 공고에 나오는 모든 자격요건을 갖춰 지원하기 보다는, 핵심을 이해하고 그에 맞게 지원하는 것이 중요합니다.

본 아티클에서는 데이터 활용에 있어 성장 과도기에 놓인 중견기업에서 자주 등장하는 2가지 채용공고 유형을 살펴보며 실제 업무에서 나타날 특징에 대해 다뤄보려고 합니다.

* 대기업 채용공고 유형을 살펴보고 싶다면?
채용공고로 살펴보는 데이터 엔지니어 직무 - 대기업 편 을 먼저 살펴보세요!

* 본 게시글은 [한 번에 끝내는 데이터 엔지니어링]의 실제 강의 내용을 참고하여 작성하였습니다.

| 데이터 플랫폼 구축이 필요한 회사의 데이터 엔지니어링

첫 번째는 ‘성장하는 회사에서의 데이터 플랫폼을 만드는 데이터 엔지니어링 업무’ 입니다. 데이터 활용에 대한 니즈는 강하지만 아직 시스템적으로 안착되지 않은 단계로 내부에서 활용할 전사 데이터 인프라/웨어하우스를 구축하고 표준 가이드를 만드는 업무가 메인이 되겠습니다.

대표적인 채용공고 하나를 함께 살펴보겠습니다.

채용공고에서 나타나는 특징은 아래와 같습니다.

1. 필수 요구 사항에 특정 기술 스택이 명시되어 있지 않다.
업무 스콥이나 필수 사항을 보면 다양한 언어가 리스트업 되어있고, 최소 하나 이상의 언어에 능숙한 사람을 찾는다고 표시되어 있습니다. 이 부분을 통해 안정적인 운영 및 성능 개선보다는 구축하는 것에 관심이 많다는 것을 유추해볼 수 있습니다. 즉, 데이터 엔지니어링 경험이 없더라도 프로그래밍 기초가 탄탄하다면 데이터 엔지니어링 업무를 할 수 있겠습니다. 백엔드/앱 개발자에서 데이터 엔지니어로 전직을 희망한다면 이런 공고를 눈여겨보시면 좋습니다.

2. 우대사항에 다양한 기술 스택이 나열되어 있다. (+사용 경험 여부)
‘할 줄 알아야 한다’ 보다 ‘경험이 있으신 분’ 을 찾는다는 것은 1) 회사에서 사용하고 싶은(or 사용 예정인) 스택이 많다 2) 아직은 각 스택의 전문가가 없거나 부족하다 3) 하나라도 실무 수준의 경험이 있다면 강하게 선호된다로 이해하시면 되겠습니다.

- 데이터 규모가 크고 시간적인 요구 사항이 짧아지고 있다.
실시간 처리를 대용량으로 받는 회사로 이해할 수 있습니다. 데이터도 실시간으로 들어오고 처리도 실시간으로 진행하는거죠.

이미 대규모로 사용하고 있는 부서나 서비스가 안착되지 않은 단계라면 관심있는 기술스택을 비교적 자유롭게 활용할 수 있다는 의미이기도 합니다.

3. 빠르게 성장하는 서비스이다 / 대규모 트래픽에 대한 요건이 있다.
대규모 트래픽 경험이 있다면 두 팔 벌려 환영받을 수 있습니다. 다만 빅데이터 프레임워크로 되어있지 않은 기존 인프라나 시스템을 새로 구축하게 될 시스템으로 옮기는 작업도 진행할 가능성이 있습니다.

| 플랫폼 고도화가 필요한 회사의 데이터 엔지니어링

두 번째는 ‘데이터 플랫폼을 성숙시켜야 하는 회사에서의 데이터 엔지니어링 업무’ 입니다.
이미 서비스가 궤도에 오른 상황에서 안정적으로 데이터가 적재될 수 있는 효율적인 파이프라인을 구축하는 업무가 메인이 되겠습니다.

대표적인 채용공고 하나를 함께 살펴보겠습니다.

채용공고에서 나타나는 특징은 아래와 같습니다.

1. 안정적이고 효율적인 데이터 파이프라인에 대한 니즈가 강하다.
이 회사의 경우 이미 구축해놓은 시스템이 있을 가능성이 높습니다. 본 공고의 경우 업무의 요구사항도 명확한 편인데요. 사용중인 스택이 이미 확정되어 있을 가능성이 높으며 특정 기술을 잘 하는 사람이 필요할 것으로 예상됩니다.

2. 대용량 분산 시스템 처리에 대한 경험을 원한다.
주요 업무와 자격 요건을 보시면 “대용량 데이터 처리” 에 대한 워딩이 반복됩니다. 분산 시스템에 대한 이론적인 이해, 활용 경험까지 원하는 것으로 보여집니다. 다만 중견이라는 회사의 규모와 데이터 플랫폼이 이미 어느 정도는 구축되어 있다는 점을 미루어 보았을 때, 자격요건에 있는 수집/처리/분석 모두 할 줄 알아야 하는 것이 아니라 어느 하나라도 강점이 있으면 될 것으로 예상됩니다.

이러한 특징은 대기업에서 전사 시스템을 구축하는 데이터 엔지니어의 업무와 비슷한 특징을 보이고 있습니다. 하지만 더 빠른 속도의 개발과 적용, 테스트가 요구될 것 같습니다. 이런 점을 잘 파고 들어 이력서에 녹여낸다면 더 높은 점수를 받을 수 있을 겁니다.

대기업 데이터 엔지니어의 업무가 궁금하다면? (클릭)

3. 소프트웨어 개발 역량 & 새로운 기술에 대한 선호가 존재한다.
가공된 데이터를 활용하기 위해 여러가지 새로운 API 서비스를 만들어야할 수 있습니다. 이러한 경우 데이터 엔지니어링 역량은 조금 부족하더라도 개발 경험, 혹은 소프트웨어 엔지니어링을 잘 한다면 팀에 도움이 된다고 생각되어 지원 시 유리하게 작용할 수 있습니다.

| 중견기업 데이터 엔지니어 스택 배우고 싶다면

앞서 중견기업 데이터 엔지니어 채용 공고에서 자주 등장하는 2가지 유형을 살펴보았습니다.

공통적으로 현재 업계에서는 1) Hadoop/Spark/Kafka 등 스택 사용 경험이 있는 사람을 선호하고 2) 대용량/실시간 데이터 처리에 대한 니즈가 있음을 알 수 있었습니다.

패스트캠퍼스의 ‘한 번에 끝내는 데이터 엔지니어링’ 강의에서는 현재 SNS 대기업 Data Engineer로 계시는 조이 강사님께서는 대기업부터 스타트업까지 다양한 기업 규모별 데이터 엔지니어 채용 공고에 등장하는 스택을 쌓을 수 있도록 기초부터 탄탄하게 알려드립니다.

[학습 내용]
- 백엔드 엔지니어링 기초 강의 700분 탑재
- Hadoop, Spark, Flink, Elasticsearch 등 28가지 대표 툴 활용법
- Spark로 배치, 실시간처리, 데이터분석 하는 방법
- 실제 빅테크기업 Use case 중심의 프로젝트 실습 진행
- 요즘 핫한 Airflow 등의 스케쥴링 툴 까지

지금 패캐머들이 읽고있는 BEST 아티클이 궁금하다면

아티클 더 보러가기 👉