Senior Data Engineer (f/m/x)

Job description

We are looking for an experienced Data Engineer to join our data engineering team in a rapidly growing environment where data is the main product. You will work in a highly skilled team responsible for developing and maintaining data pipelines on the Azure platform using Databricks, supporting all key business functions. Your main goal will be to build and maintain robust, secure data pipelines and help define the data model that delivers trusted datasets to our clients. You will collaborate with a team of engineers, data analysts, and product owners to deliver comprehensive solutions – from data acquisition to delivery to the end client.

Technologies & tools Must have Databricks Apache Spark Data Built Tool Snowflake Python Delta Lake Apache Iceberg HDFS (Hadoop Distributed File System) Nice to have Great Expectations Deequ ETF Data Modeling We are looking for an experienced Data Engineer to join our data engineering team in a rapidly growing environment where data is the main product. You will work in a highly skilled team responsible for developing and maintaining data pipelines on the Azure platform using Databricks, supporting all key business functions. Your main goal will be to build and maintain robust, secure data pipelines and help define the data model that delivers trusted datasets to our clients. You will collaborate with a team of engineers, data analysts, and product owners to deliver comprehensive solutions – from data acquisition to delivery to the end client. Your tasks

- Designing and developing advanced data pipelines in the Azure Databricks environment

- Creating scalable data architecture using lakehouse technologies

- Defining standards and best practices in the area of Data Engineering

- Collaborating with Data Analytics, Data Science, and Product teams to deliver comprehensive solutions

- Mentoring less experienced engineers and providing technical support to the team

- Optimizing performance, reliability, security, and cost of the data platform

Requirements

- Minimum 8 years of experience in data engineering

- Strong knowledge of Apache Spark, Databricks, Snowflake, dbt, and Python

- Previous work in designing solutions based on Delta Lake, Apache Iceberg, HDFS, or related data storage technologies

- Ability to independently lead complex data engineering projects and collaborate with business stakeholders

- Experience in technical leadership and mentoring team members

- Very good command of English - C1 level

- Willingness to visit the office in Krakow - once a month

Nice to have

- Experience working with financial data or ETF products, as well as knowledge of Data Modeling, Great Expectations, or Deequ

Technologie i narzędzia Wymagane Databricks Apache Spark Narzędzie do budowania danych Snowflake Python Delta Lake Apache Iceberg Rozproszony system plików Hadoop Mile widziane Great Expectations Deequ ETF Modelowanie danych Szukamy doświadczonego Data Engineer, który dołączy do zespołu zajmującego się inżynierią danych w dynamicznie rozwijającym się środowisku, w którym dane są głównym produktem. Będziesz pracować w wysoko wykwalifikowanym zespole odpowiedzialnym za rozwój i utrzymanie potoków danych na platformie Azure przy użyciu Databricks, wspierając wszystkie kluczowe funkcje biznesowe. Twoim głównym celem będzie budowanie i utrzymywanie solidnych, bezpiecznych potoków danych oraz pomoc w definiowaniu modelu danych, który dostarcza zaufane zbiory danych naszym klientom. Będziesz współpracować z zespołem inżynierów, analityków danych i właścicieli produktów, aby dostarczać kompleksowe rozwiązania – od pozyskiwania danych po dostarczenie do końcowego klienta. Twoje zadania

- Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks

- Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse

- Definiowanie standardów i dobrych praktyk w obszarze Data Engineering

- Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań

- Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu

- Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych

Wymagania

- Minimum 8-letnie doświadczenie w inżynierii danych

- Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python

- Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych

- Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi

- Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu

- Bardzo dobra znajomość języka angielskiego - poziom C1

- Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu

Mile widziane

- Doświadczenie w pracy z danymi finansowymi lub produktami ETF, a także znajomość zagadnień Data Modeling, Great Expectations lub Deequ