Repositório com materiais do curso de Engenharia de Dados do Data Engineering Help, focado em Databricks, PySpark e Arquitetura Lakehouse.
| Módulo | Tópico |
|---|---|
01_intro_databricks/ |
Introdução ao Databricks e ingestão de dados |
02_pyspark_dataframes/ |
Manipulação de dados com PySpark |
03_delta_table_medallion/ |
Delta Tables e arquitetura Medallion (Bronze, Silver, Gold) |
04_DL_DW_Lakehouse/ |
Data Lake, Data Warehouse e Lakehouse |
05_workflows_databricks/ |
Orquestração de pipelines no Databricks |
06_flask_fastapi/ |
APIs com Flask e FastAPI para expor dados |
Os módulos de
01a05contém notebooks para serem executados diretamente no workspace do Databricks.
Os módulos contém o código utilizado em cada aula, imagens explicativas e os dados em csv, quando necessário.
Os dados utilizados são um sample do dataset de Queimadas do Base dos Dados.