data-engineering

data-engineering with PySpark

Esse Repositório tem como objetivo criar funções, que possa acelerar o processo de automatização de um pipeline.

Contato:

Se precisar de mais informações, entre em contato:

Email: luciana.sampaio84@gmail.com

LinkedIn: Luciana Sampaio

Name		Name	Last commit message	Last commit date
Latest commit luasampaio Criado usando o Colab Mar 10, 2025 f7522e3 · Mar 10, 2025 History 60 Commits
.github		.github
01_AutomatizeFunctions.ipynb		01_AutomatizeFunctions.ipynb
02_logging.ipynb		02_logging.ipynb
03_ntb_passageiros.ipynb		03_ntb_passageiros.ipynb
04_ReaderPyspark.ipynb		04_ReaderPyspark.ipynb
05_ConversãoSparktoPandas.ipynb		05_ConversãoSparktoPandas.ipynb
06_receita_federal.ipynb		06_receita_federal.ipynb
07_ntb_AnalyticsWithPySpark.ipynb		07_ntb_AnalyticsWithPySpark.ipynb
08_Data_engineering.ipynb		08_Data_engineering.ipynb
08_ntb_explorer_titanic.ipynb		08_ntb_explorer_titanic.ipynb
09_ComandosPySpark.ipynb		09_ComandosPySpark.ipynb
10_PySparkRdd.ipynb		10_PySparkRdd.ipynb
11_ntb_explorer_withPandas_Titanic.ipynb		11_ntb_explorer_withPandas_Titanic.ipynb
13_ntb_PySpark_Pivot.ipynb		13_ntb_PySpark_Pivot.ipynb
14_Feature_Engineering.ipynb		14_Feature_Engineering.ipynb
15_ntb_analyticsSpark_Em_Desenvolvimento.ipynb		15_ntb_analyticsSpark_Em_Desenvolvimento.ipynb
16_ntb_apps_analytics.ipynb		16_ntb_apps_analytics.ipynb
17_ntb_OBT_PySpark.ipynb		17_ntb_OBT_PySpark.ipynb
17_ntb_lendo_Url.ipynb		17_ntb_lendo_Url.ipynb
18_ntb_series.ipynb		18_ntb_series.ipynb
19_ntb_Funcoes_dia_dia.ipynb		19_ntb_Funcoes_dia_dia.ipynb
20_ntb_pySpark_tratativa_dados.ipynb		20_ntb_pySpark_tratativa_dados.ipynb
21_ntb_Criptografia.ipynb		21_ntb_Criptografia.ipynb
22_ntb_layer_bronze.ipynb		22_ntb_layer_bronze.ipynb
23_ntb_loading_Json.ipynb		23_ntb_loading_Json.ipynb
24_Pandas_Snowflake_Connector.ipynb		24_Pandas_Snowflake_Connector.ipynb
24_ntb_Analytics_Products.ipynb		24_ntb_Analytics_Products.ipynb
25_ntb_Analytics_Airtravel.ipynb		25_ntb_Analytics_Airtravel.ipynb
26_ntb_Transformations_PySpark.ipynb		26_ntb_Transformations_PySpark.ipynb
27_ntb_PySpark_ReadFunctions_diabetes.ipynb		27_ntb_PySpark_ReadFunctions_diabetes.ipynb
28_ntb_Cleaning_Data_PySpark.ipynb		28_ntb_Cleaning_Data_PySpark.ipynb
29_ntb_partitions.py		29_ntb_partitions.py
30_ntb_dedupe.ipynb		30_ntb_dedupe.ipynb
31_ntb_PySpark_Functions.ipynb		31_ntb_PySpark_Functions.ipynb
32_ntb_PySpark_RenameCollumns.ipynb		32_ntb_PySpark_RenameCollumns.ipynb
33- ntb-Tratando_Dados_Nulos.ipynb		33- ntb-Tratando_Dados_Nulos.ipynb
34_Em_Desenvolvimento.ipynb		34_Em_Desenvolvimento.ipynb
36_ntb_reader_array.ipynb		36_ntb_reader_array.ipynb
37_FuncaoArrayProcessado.ipynb		37_FuncaoArrayProcessado.ipynb
38_pipeline_ingestion.ipynb		38_pipeline_ingestion.ipynb
README.md		README.md
ntb_StructField_Ingestao.ipynb		ntb_StructField_Ingestao.ipynb

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Repository files navigation

data-engineering

Contato:

About

Releases

Sponsor this project

Packages

Languages

luasampaio/data-engineering

Folders and files

Latest commit

History

Repository files navigation

data-engineering

Contato:

About

Resources

Stars

Watchers

Forks

Releases

Sponsor this project

Packages 0

Languages

Packages