Senior Data Engineer - financial industry (f/m/x)

Job description

We are looking for a Senior Big Data Developer to join our team in building a modern data platform using Databricks and the Microsoft Azure ecosystem. In this role, you will be responsible for designing and developing scalable data solutions, implementing and optimizing ETL/ELT pipelines, and integrating data from multiple sources. If you are passionate about modern data engineering, AI-assisted development, and creating impactful data solutions, don't hesitate to apply!

Technologies & tools Must have Python PySpark Databricks Azure Data Factory Azure Event Hubs Nice to have Elasticsearch We are looking for a Senior Big Data Developer to join our team in building a modern data platform using Databricks and the Microsoft Azure ecosystem. In this role, you will be responsible for designing and developing scalable data solutions, implementing and optimizing ETL/ELT pipelines, and integrating data from multiple sources. If you are passionate about modern data engineering, AI-assisted development, and creating impactful data solutions, don't hesitate to apply! Your tasks

- Design and develop data solutions using Databricks, Python, and PySpark

- Build and optimize ETL/ELT pipelines for batch and streaming data processing

- Implement and maintain medallion architecture using Delta Tables

- Integrate data from multiple sources, including SFTP files, Delta Tables, and Azure Event Hub

- Work with Azure services such as Azure Data Factory to support end-to-end data workflows

- Utilize AI-powered development tools to improve code quality, testing, documentation, and productivity

Requirements

- At least 5 years of experience in a Data Engineer, Big Data Engineer, or similar role

- Strong hands-on experience with Python and PySpark

- Proven experience with Databricks, Delta Tables, and modern data architectures

- Practical knowledge of the Microsoft Azure ecosystem, including Azure Data Factory and Azure Event Hub

- Experience building and maintaining scalable ETL/ELT pipelines

- Advanced level of English

- Interest in modern technologies and experience using AI-assisted development tools in everyday work

Nice to have

- Familiarity with Elasticsearch

- Strong analytical skills and a proactive approach to solving complex data-related challenges

Technologie i narzędzia Wymagane Python PySpark Databricks Azure Data Factory Azure Event Hubs Mile widziane Elasticsearch Szukamy Senior Big Data Developer (f/m/x), który dołączy do naszego zespołu w budowaniu nowoczesnej platformy danych przy użyciu Databricks i ekosystemu Microsoft Azure. W tej roli będziesz odpowiedzialny za projektowanie i rozwijanie skalowalnych rozwiązań danych, implementację i optymalizację potoków ETL/ELT oraz integrację danych z wielu źródeł. Jeśli pasjonujesz się nowoczesnym inżynierią danych, rozwojem wspomaganym AI i tworzeniem wpływowych rozwiązań danych, nie wahaj się aplikować! Twoje zadania

- Projektowanie i rozwijanie rozwiązań danych przy użyciu Databricks, Pythona i PySpark

- Budowanie i optymalizacja potoków ETL/ELT do przetwarzania danych wsadowych i strumieniowych

- Implementacja i utrzymanie architektury medalionowej przy użyciu tabel Delta

- Integracja danych z wielu źródeł, w tym plików SFTP, tabel Delta i Azure Event Hub

- Praca z usługami Azure, takimi jak Azure Data Factory, w celu wsparcia end-to-end procesów danych

- Wykorzystanie narzędzi deweloperskich wspomaganych AI w celu poprawy jakości kodu, testowania, dokumentacji i produktywności

Wymagania

- Co najmniej 5-letnie doświadczenie na stanowisku Data Engineer, Big Data Engineer lub podobnym

- Silne doświadczenie praktyczne z Pythonem i PySpark

- Udokumentowane doświadczenie z Databricks, tabelami Delta i nowoczesnymi architekturami danych

- Praktyczna znajomość ekosystemu Microsoft Azure, w tym Azure Data Factory i Azure Event Hub

- Doświadczenie w budowaniu i utrzymywaniu skalowalnych potoków ETL/ELT

- Język angielski na poziomie zaawansowanym

- Zainteresowanie nowoczesnymi technologiami oraz doświadczenie w korzystaniu z narzędzi deweloperskich wspomaganych AI w codziennej pracy

Mile widziane

- Znajomość Elasticsearch

- Silne umiejętności analityczne i proaktywne podejście do rozwiązywania złożonych wyzwań związanych z danymi