Programmers - 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python
데이터 팀이란 무엇이고, 어떻게 구성되며, 어떤 역할을 하는가 회사에서 데이터 조직이 하는 일이 무엇인지 여러 각도에서 살펴보고, 어떤 구성원들이 존재하는지 알아봅니다. 데이터 조직에서 데이터 엔지니어가 하는 역할과 필요한 스킬 셋에 대해 자세히 알아보고 실제 테크 기업 데이터 엔지니어의 하루를 살펴봅니다.
🔎 다룰 내용
- 데이터 팀의 구성과 역할에 대한 이해
- 데이터 팀에서 데이터 엔지니어의 역할은
💻주요 키워드 : 데이터 팀의 역할, 데이터 팀의 구성원(데이터 엔지니어, 데이터 애널리스트, 데이터 사이언티스트)과 역할
데이터 웨어하우스(Data Warehouse) AWS Redshift 기반 데이터 웨어하우스 제작해 보고 SQL 클라이언트 툴을 통한 Redshift 사용 실습을 진행해봅니다.
🔎 다룰 내용
- 데이터 엔지니어의 일주일 in 실리콘밸리
- 실습환경 소개 (AWS & Docker)
- 데이터 웨어하우스 만들기
💻 [과제] Python을 활용한 Redshift access
주요 키워드 : ETL (Extract, Transform, Load)/데이터 잡/데이터 파이프라인, 데이터 잡 스케줄러, Airflow, 데이터 웨어하우스 (Redshift, Snowflake, BigQuery)
데이터 엔지니어링을 위한 SQL 데이터 엔지니어에게 가장 중요한 스킬 셋은 바로 SQL! 통상적으로 개발자가 쓰는 SQL과 비교해 데이터 엔지니어링에서 쓰는 SQL은 무엇이 다른지 알아봅니다. 예제 데이터를 토대로 복잡한 SQL을 사용하는 방법을 학습해봅니다.
🔎 다룰 내용
- SQL 소개
- 고급 SQL
💻 [과제] 조금 더 복잡도가 높은 실제 현업 데이터를 토대로 앞서 실습했던 metrics들을 계산해보기
- 주요 키워드 : 기초 SQL과 데이터 엔지니어링을 위한 고급 SQL, JOIN, LEFT JOIN, OUTER JOIN, SQL Aggregate functions, UNION, EXCEPT, SQL UDF, Cohort, Redshift
ETL(Extract, Transform and Load) 작성하기 파이썬으로 간단한 ETL을 작성해 보고, Airflow가 어떻게 도움이 되는지 알아봅니다. 앞서 작성한 간단한 ETL을 Airflow로 변환해 봅니다.
🔎 다룰 내용
- ETL 개념 및 ETL 작성
- Airflow 소개
💻 주요 키워드 : ETL, 데이터 파이프라인, 데이터 잡, 스케줄러, Python, SQL, Airflow, Redshift, Airflow DAG/Task/Operator
Airflow 심화학습 좀 더 복잡한 데이터를 다뤄보며 Airflow의 여러 기능에 대해 배워봅니다. 써머리 테이블을 직접 만들어 보면서 raw data가 어떻게 이해하기 쉬운 형태로 추상화되는지 확인해봅니다.
🔎 다룰 내용
- Airflow 기반 ETL 작성 (1)
- Airflow 기반 ETL 작성(2) : Summary table 만들기
💻 주요 키워드 : Airflow 파라미터 설명, Airflow의 태스크/DAG 실행순서 정의, Airflow troubleshooting
대시 보드 만들기 및 과정 총 정리 5주차에 만든 써머리 테이블을 Superset을 활용해 시각화해봅니다. 데이터 엔지니어로써 경험할 수 있는 전체 사이클을 경험하면서 데이터 엔지니어 역할에 대해 한 번 더 정리를 해봅니다.
🔎 다룰 내용
- 대시보드 만들기
- 과정 정리
💻 주요 키워드 : Visualization, BI (Business Intelligence) Tool, BI Tool 비교, Superset