Azure Data Engineer
Zakres obowiązków: Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse) Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog) Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami Integracja rozwiązań danych z innymi systemami w organizacji Usprawnianie wydajności, skalowalności i kosztów rozwiązań ️ Wymagania: Bardzo dobra znajomość: Azure Databricks Python Apache Spark Doświadczenie z usługami Azure: Data Lake (ADLS Gen2) Data Factory / Synapse Znajomość API (REST lub podobne) Doświadczenie w projektowaniu ETL oraz modelowaniu danych Podstawowa znajomość architektury danych Doświadczenie z CI/CD i Git Umiejętność rozwiązywania problemów i pracy w metodykach Agile Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi) ➕ Mile widziane: Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming) Znajomość Unity Catalog oraz zasad data governance Doświadczenie z narzędziami wizualizacji danych (np. Power BI) Znajomość Databricks Asset Bundles Apply To This Job