* 환급챌린지 참여 후기 – 배움을 향한 진정 소중한 동반자를 통해 데이터 수집에 도전하다.

1. 환급챌린지에 참여한 이유는 무엇이었는지?

현재 내가 몸담고 있는 회사에서는 데이터웨어하우스(Data Warehouse, DW) 구축을 진지하게 검토하고 있다. 회사의 미래를 좌우할 수 있는 중요한 IT 인프라를 어떤 방식으로 설계할 것인가는 단순한 기술 선택의 문제가 아니라, 기업 전략 전체에 영향을 미치는 중대한 결정이다. 이 과정에서 클라우드 컴퓨팅은 핵심적인 고려 대상이었고, 이에 대한 실제적인 이해와 판단 능력을 갖추기 위해 환급챌린지에 참여하게 되었다.

DW를 선택할지, 혹은 유연성과 확장성이 뛰어난 데이터레이크(Data Lake)를 선택할지, 아니면 두 가지의 장점을 조화시킨 데이터레이크하우스(Data Lakehouse)로 나아갈지 등은 기술적 선택인 동시에 전략적 판단이다. 나는 이러한 선택을 스스로 내릴 수 있는 역량을 갖추고자 했다.

개인적인 이유도 있다. 나는 오래전부터 주식 예측 프로그램을 만들고자 하는 꿈을 가지고 있었다. 매일 혹은 매주 데이터를 자동으로 수집·분석하여 매수·매도 종목을 추천하는 시스템을 만들고자 했다. 그 과정에서도 클라우드 기반의 데이터 수집 및 저장 체계는 반드시 필요했고, 이 챌린지는 그 기반을 마련해 줄 수 있는 절호의 기회였다.

또한 최근 들어 집중력 저하로 고민이 많았는데, 환급챌린지라는 제도는 내게 강한 동기부여를 제공해주었다. 끝까지 수업을 이수해야 환급을 받을 수 있다는 시스템은 나에게 강한 책임감을 심어주었고, 다시 공부에 불을 지필 수 있는 계기가 되었다.

2. 왜 이 강의를 선택하게 되었는지? (무엇을 얻고 싶었는지, 실제로 얻은 것은 무엇인지)

이 강의를 선택한 가장 큰 이유는, 클라우드 환경에서 데이터웨어하우스를 어떻게 구축할 수 있는지를 실무 중심으로 설명해준다는 점 때문이다. 이론에 그치지 않고, 실제 기업 환경에서의 문제 해결을 중심으로 구성된 커리큘럼이 매우 인상적이었다.

가장 크게 얻은 것은 데이터레이크와 데이터웨어하우스 각각의 특징과 한계를 이해하고, 이를 결합한 데이터레이크하우스라는 접근법을 배웠다는 점이다. 이 구조는 현재 우리 회사가 고민하고 있는 방향성과 정확히 맞닿아 있었고, 나에게 큰 확신과 기쁨을 주었다. 또한 클라우드 상에서 데이터레이크하우스를 구축하는 것에 대한 막연한 두려움을 떨치고 보다 확신을 가지게 되었다는 점이다.

주식 예측 프로그램 개발 측면에서도 많은 도움을 받았다. 특히 데이터 수집과 저장 부분은 이제 어느 정도 자력으로 수행할 수 있을 것 같다. 다만, 클라우드 사용에 따른 비용 문제는 여전히 고민 중이다. 학습이나 실험 단계에서는 좀 더 자유롭게 활용할 수 있는 서비스가 있었으면 좋겠다는 생각이 든다.

무엇보다도, 50여회 이상의 학습을 지속하면서 온라인 수업이라는 형식에 대해 새롭게 눈을 뜨게 되었다. 이전에는 온라인 강의는 집중력이 떨어진다고 느껴 일부러 오프라인 수업을 찾아 다녔지만, 이제는 온라인 학습도 효과적으로 수행하는 법을 체득하게 되었다. 이런 경험을 가능하게 해준 패스트캠퍼스에 감사한다.

3. 이 강의만의 장점 (ex. 강사님의 강의력, 커리큘럼 등)

이 강의의 가장 큰 장점은, 사회가 요구하는 기술과 기능을 정확히 반영한 커리큘럼이다. 단순한 기술 소개가 아니라, 실제 산업 현장에서의 요구를 충실히 반영하여 구성되었고, 그 내용도 탄탄하다.

강사 또한 실무 경험이 풍부한 분이라는 인상이 강했다. 설명이 명확했고, 자신감과 여유가 느껴져서 강의 자체에 대한 신뢰도가 높았다.

4. 강의를 추천하고 싶은 사람은 누구인지?

이 강의는 정보화 시스템의 미래를 기획하거나 데이터 기반 전략을 고민하는 기업의 기획자나 연구자들에게 추천하고 싶다. 또한 요즘 급속히 발전하고 있는 LLM(Large Language Model) 서비스도 기본적으로는 데이터 수집과 관리 기능이 필요하기 때문에, 해당 분야에 관심 있는 이들에게도 적합하다.

보다 확대하면 이제는 데이터 수집 및 관리는 모든 서비스의 기본이 되기 때문에 컴퓨터 전공자라면 누구나 듣는 것을 추천하고 싶다. 그들이 현대 많은 기술적 변화와 진보를 이러한 수업을 통해 따라갈 수 있게 되었으면 좋겠다.

5. 다음으로 듣고 싶은 강의는 무엇인지?

 - 인공지능 강의 – 패스트캠퍼스의 가장 큰 장점 중 하나는 기술적 깊이를 가진 수업이다. 진짜 실력을 갖추기 위해 고급 AI 과정을 듣고 싶다.

 - AWS 기초 강의 – 비용 구조와 클라우드 리소스 관리에 대한 이해가 아직 부족하다. 좀 더 기초적인 AWS 수업을 통해 명확히 알고 싶다.

 - 주식 예측 알고리즘 강의 – 실제 데이터를 바탕으로 예측 모델을 설계하고 구현하는 법을 배우고 싶다. 노후 준비와 자산 운용의 핵심 도구가 될 수 있기를 기대하고 있다.

6. 앞으로의 계획 (ex. 커리어 목표, 이직 목표, 자기계발 목표 등)

본인의 자기계발 목표는 주식 예측 인공지능 알고리즘을 개발하는 것이다. 이를 기반으로 데이터 기반의 분석 서비스를 제공하고, 결국 나만의 회사를 설립하는 것이 인생의 커리어 목표다.

이직의 경우에는 인공지능 프로그래머 혹은 데이터 연구자로 전환하고 싶다. 패스트캠퍼스는 자기개발 과정에서 내게 기술적 무기와 함께 심리적 안정감을 제공해주는 존재이다.

7. 이전과 이후 비교

 - (이전) 데이터 레이크 구축 방향을 모름 -> (이후) 데이터웨어하우스와 데이터레이크의 장점을 조합한 데이터레이크하우스가 우리회사의 구축 방향으로 잡게됨

 - (이전) 데이터 수집이란 서버가 있어야 있어야 하므로 서버 운용 기술도 필요하고 돈도 많이 들고 보안도 예민하여 쉽게 감히 할 엄두를 못냄 -> (이후) AWS 를 이용하고 적정한 오픈소스를 이용한다면 충분히 가능할 뿐만 아니라, 나의 업무, 회사의 없무에 적합하도록 오픈소스를 디자인도 어느정도 가능하게됨

 - (이전) 대용량 컴퓨팅 자원이 요구되는 LLM 작업은 엄두를 못내고 노트북이나 개인 피시에서 정도의 작업을 주로함 -> (이후) 필요하다면 AWS 와 같은 대용량 컴퓨팅 자원을 이용할 수 있으므로 LLM 기획과 설계가 현실적인 업무로 여기게 됨

 - (이전) 주식 예측 서비스와 같은 비지니스 창업에 대해 감히 업두를 못냄. 이유는 앞의 설명과 마찬가지로 서버 운용 비용, 보안 문제, ETL 구매, 데이터베이스 구매 등등 너무나 비용 문제가 산적하기 때문임 -> (이후) 이러한 문제는 합리적인 가격으로 충분히 운영이 가능하며, 아이디어만 괜챦다면 충분히 사업화가 가능하다는 자신감을 얻음.

 - (이전) 온라인 수업에 대해 다소 부정적인 이미지를 가지고 있었음. 언제들어도 됀다는 안이한 마음가짐 때문에 동영상을 시간을 가지고 정독하지 못함. 의욕이 솟구치는 날에는 몇개의 동영상을 무리해서 한꺼번에 듣다보니 지쳐서 집중력이 떨어지고 흥미를 쉽게 잃었음. -> (이후) 20~30분정도라도 매일 꾸준히 하면 50여일 정도면 충분히 한 과정을 소화해 낼 수 있다는 기적같은 일을 경험하고, 온라인 강의에 대한 신뢰감을 얻게됨.

 - (이전) 데이터 수집이란 분야에서 사용하는 용어에 대한 개념이 부족하여 공부를 해도 헛돌고 내것이 되지를 못함. 뭔가 항상 모호하고 공부를 해도 진도도 잘 안나가고, 프로젝트를 맏기에는 자신감이 없었음. -> (이후) 데이터 수집 및 서버 운영과 관련된 다양한 전문용어의 개념을 어느정도 충분히 공부하게됨. 매일 조금씩 공부하면서 이해가 부족한 용어는 별도로 따로 공부하니 이것이 쌓여서 전체적으로 개념이 잡힘. 용어에 대한 개념이 명확해 지니 기술을 배울 때도 자신감이 생기고, 필요하다면 프로젝트도 맡아서 수행할 자신감이 생김. 물론 AWS 에 대한 비용 문제만 충분히 해결된다면 왠만하면 가능할 것 같음.

 - (이전) AWS 를 전혀 사용하지 못함 -> (이후) AWS 를 어느정도는 사용할 줄 알게 됨(인스턴스 생성 사진 참조).

* 마지막 자유 공부 내용

* 패스트캠퍼스 덕분에 기적같은 기능을 알게 되고, 공부하게 되었다. 예전에 몇억씩 주고 구축한 서비스인데 이젠 모두 무료라니 놀랍다. 그리고 나도 AWS 를 사용해서 이렇게 막강한 기능을 구현할 수 있게 되었다는 것이 놀랍다. 다만, AWS 비용 부분이 명확치 않은 것이 아쉽다. 비용부분이 겁이나서 솔직히 많이 사용하긴 부담이다. 5만원 정도를 내고 났더니 AWS 에 접근하는 것도 부담이 된다.

* Apach Airflow 는 데이터 수집 관리를 시각화해주는 도구이다. 이것은 매우 엄청난 기능인데 이렇게 쉽게 사용할 수 있다는 것이 놀랍다. Airflow 에 대한 개념을 공부해 본다.

 - 아파치 에어플로우는 워크플로우(workflow)를 만들고, 스케줄링하며, 모니터링하기 위한 오픈소스 플랫폼이다. 파이썬으로 작성되어 있어 파이썬에 익숙한 개발자들이 쉽게 워크플로우를 정의하고 관리할 수 있다는 장점이 있다.

 - DAG (Directed Acyclic Graph, 방향성 비순환 그래프)로 워크플로우의 모든 작업(task)들과 그들 사이의 의존성을 그래프 형태로 정의한다. 각 작업은 노드로, 작업 간의 순서와 의존성은 방향성 있는 엣지로 표현된다. '비순환'이라는 의미는 작업 흐름이 한 방향으로만 진행되며 루프가 없다는 것을 뜻한다.

 - Operator (오퍼레이터): 워크플로우 내의 개별 작업을 정의하는 단위이다. 특정 작업을 수행하는 템플릿으로, 다양한 종류의 오퍼레이터가 미리 정의되어 있거나 사용자가 직접 만들 수도 있다.

 - Task (태스크): DAG 내에서 오퍼레이터가 인스턴스화된 것이다. 즉, DAG의 한 노드(작업 단위)를 의미한다.

 - Task Instance (태스크 인스턴스): 특정 DAG의 특정 태스크가 특정 시간에 실행되는 상태를 나타낸다. 성공, 실패, 실행 중 등의 상태를 가질 수 있다.

 - Scheduler (스케줄러): DAG 정의와 태스크 인스턴스의 상태를 모니터링하며, 의존성이 충족되고 실행 조건이 만족되면 태스크를 실행하도록 큐에 넣는 역할을 한다.

 - Executor (엑스큐터): 스케줄러에 의해 큐에 들어온 태스크를 실제로 실행하는 역할을 한다.

 - Web Server (웹 서버): 사용자 인터페이스(UI)를 제공하여 DAG의 상태를 모니터링하고, 로그를 확인하며, DAG를 수동으로 실행하는 등의 관리 작업을 수행할 수 있게 한다.

* 아파치 에어플로우는 데이터 엔지니어링, 데이터 과학, DevOps 등 다양한 분야에서 복잡한 워크플로우를 효과적으로 관리하기 위한 강력한 도구로 널리 사용되고 있다.

 - Airflow 를 ETL 도구 정도로만 생각하고 있었는데, 데이터 과학 분야에서도 사용할수 있고, DevOps 에서도 사용할 수 있다는 점에서 확장성과 유연성이 매우 높다는 느낌이다.

 - 데이터 과학 분야에 널리 사용되면 막강한 기능을 손쉽게 구현할 수 있을 것 같다.

 - operator, task, task instance 로 구분한 개념이 매우 재밋고 유용하다. 역시 배워야 한다.

8. 시사점

서울에서 멀리 떨어진 시골 구석에서 살아가는 나에게 있어, 온라인 학습은 거의 유일한 배움의 창구다. 이처럼 열악한 환경에서도 패스트캠퍼스는 강력한 학습 기회를 제공해주었고, 환급 제도를 통해 비용 부담까지 덜어주었다.

이런 교육 사업이야말로 진정한 의미의 국가 경쟁력을 키우는 길이라고 생각한다. 의지가 있는 사람에게 배움의 기회를 제공하고, 그들이 성장하여 새로운 가치를 창출하며 일자리를 만들 수 있도록 돕는 것이야말로 지속 가능한 사회의 핵심이다. 의지는 누구나 쉽게 가질 수 있는 것이 아니다. 이는 때로 하늘이 주는 선물이라고 생각한다. 패스트캠퍼스는 그 의지를 실현할 수 있는 길을 열어주는, 참으로 고마운 동반자다. 패스트캠퍼스의 사업이 더욱 확대되고 발전하기를 진심으로 진심으로 바래 본다.

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

#패스트캠퍼스 #직장인자기계발 #직장인공부 #환급챌린지 #패스트캠퍼스후기 #오공완

https://bit.ly/4hTSJNB