Konnektivität der Datenquelle API-Integration -
Formatieren und Reinigen Quellcode
Über dieses Konzert
Professioneller Azure Data Engineer mit 1 Jahr Erfahrung und praktische Entwicklung hochkomplexer ETL-Pipelines.
- Datenaufnahme, -transformation und Pipeline-Orchestrierung.
- Erfahrung in der Migration von Daten aus älteren (lokalen) Systemen nach Azure Data Lake , wobei einige Transformationen an Daten durchgeführt werden DataBricks (Python oder Apache Spark), sie verschieben Azure SQL-Datenbank (SSMS) und Schreiben Gespeicherte SQL-Prozeduren Dies kann die Daten transformieren und einige Berechnungen basierend auf einer Geschäftslogik durchführen.
- Ich habe auch Erfahrung in der Entwicklung und Wartung von Architekturen Delta-Live-Charts verwenden Datensteine und ausnutzen, wenn ADLS um die zugrunde liegenden Daten zu speichern.
- ETL wird mit durchgeführt Azure Data Factory .
- Benutzerdefiniertes Dashboard um die Daten anzuzeigen PowerBI .
Technologie:
Apache Kafka
•
Apache-Funke
•
Azure Data Factory
•
Felshaken
•
sql
•