Middle Snowflake Developer (AWS Cloud, Glue, lambda, Python) EU

Job description

Data Warehousing, SQL (Snowflake)

- Досвід роботи зі Snowflake: проектування та оптимізація таблиць, створення уявлень (Views, Materialized Views), робота з налаштуваннями продуктів (Virtual Warehouses), керування правами доступу (RBAC).

- Глибоке знання SQL: написання складних, високопродуктивних запитів, віконні функції (Window Functions), CTE, оптимізація виконання запитів (Query Optimization & Execution Plans).

Хмарна інфраструктура (AWS Cloud)

- AWS S3: організація Data Lake, налаштування бакетів, партиціонування даних, Lifecycle Rules та політики безпеки.

- AWS Glue: створення та підтримка ETL/ELT-пайплайнів, робота з Glue Catalog, Crawlers та PySpark/Glue jobs.

- AWS Lambda: розробка безсерверних (serverless) мікросервісів та обробників подій на Python.

- AWS CloudWatch & IAM: налаштування моніторингу, логування, аляртів, створення та управління політиками доступу та ролями (Least Privilege Principle).

Мова програмування (Python)

- Впевнене володіння Python 3.x для розробки скриптів автоматизації та інженерії даних.

- Досвід роботи з бібліотеками для обробки даних (наприклад, pandas, pyspark, boto3, requests, SQLAlchemy).

- Розуміння принципів ООП, чистого коду (Clean Code), написання unit-тестів та інтеграційних тестів.

Інфраструктура як код (Terraform)

- Досвід підходу Infrastructure as Code (IaC).

- Написання, підтримка та модульна організація Terraform-скриптів для автоматизованого розгортання ресурсів в AWS.

- Розуміння роботи зі state-файлами (Remote State, State Locking).

Оркестрація даних (Apache Airflow)

- Проектування, написання та підтримка складнопідрядних DAGs (Directed Acyclic Graphs).

- Досвід створення кастомних операторів/хуків (за потреби).

- Розуміння принципів розкладу (scheduling), керування залежностями та обробки помилок/повторних спроб (retries).

Інтеграції (Rest API)

- Проектування та розробка RESTful API для інтеграції між сервісами.

- Досвід взаємодії з зовнішніми API для збору/експорту даних (авторизація OAuth/API Keys, пагінація, rate-limiting).

CI/CD, (CircleCI)

- Налаштування та підтримка автоматизованих пайплайнів збірки, тестування та деплою (CI/CD workflows) у CircleCI.

- Контроль версій з Git (Git Flow / Feature Branch Workflow).

- Upper-Intermediate (B2) для усного та писемного спілкування в команді.

Nice to Have

- Розуміння концепцій Data Modeling (Kimball, Data Vault) та Data Quality (Great Expectations, dbt).

- Базовий досвід роботи з Docker для контейнеризації додатків.

- Знання англійської мови на рівні

Key Responsibilities

- Проектування, розробка та підтримка стійких ETL/ELT процесів для обробки даних з використанням Python, Airflow та AWS Glue.

- Автоматизація створення хмарної інфраструктури через Terraform.

- Підтримка та оптимізація сховища даних на Snowflake для швидкого доступу та аналітики.

- Розробка REST API сервісів та бекенд-компонентів.

- Налаштування автоматичного тестування та деплою кодів через CircleCI.