Ми шукаємо кваліфікованого Data Engineer, який стане частиною команди Дії та працюватиме над створенням, оптимізацією та підтримкою ETL-пайплайнів і сховищ даних для масштабних проєктів.
Ви забезпечуватимете безперебійний потік даних для моделей AI/ML та корпоративних систем, створюючи надійні інфраструктури даних для майбутнього цифрової держави.
Ця роль ідеально підходить для професіонала, який володіє глибокими технічними знаннями, аналітичним мисленням і прагненням створювати продукти, що змінюють життя мільйонів українців.
Data Engineer — рушійна сила даних
Відгукнутися
Обов’язки:
Проєктування та розробка ETL-пайплайнів для обробки даних із різних джерел і завантаження їх у централізовані сховища.
Реалізація надійних процесів для обробки структурованих, напівструктурованих та неструктурованих даних.
Забезпечення якості даних через автоматизовані рішення для очищення, валідації та трансформації.
Створення й оптимізація сховищ даних на платформах, як-от Snowflake, Redshift, BigQuery або Azure Synapse.
Підтримка моделей даних для бізнес-аналітики та машинного навчання.
Взаємодія з датасаєнтистами та ML-інженерами для забезпечення чистих і версіонованих наборів даних.
Інтеграція даних у хмарні середовища (AWS, Azure, GCP) та робота з DevOps для CI/CD пайплайнів.
Моніторинг ETL-процесів, усунення помилок і впровадження довгострокових рішень для покращення продуктивності.
Розробка панелей моніторингу для відстеження процесів за допомогою інструментів, як-от Grafana, CloudWatch або Datadog.
Адаптація до швидкозмінних пріоритетів і вимог, що характерно для середовища стартапу.
Cпівпраця з міжфункціональними командами для забезпечення якісної реалізації даних у продуктах.
Вимоги:
Впевнене знання Python та/або Scala для обробки даних.
Досвід роботи з ETL-інструментами (Apache NiFi, Airflow, dbt, Talend).
Експертні навички SQL для роботи з великими наборами даних й оптимізації запитів.
Знання платформ сховищ даних, як-от Snowflake, Redshift, BigQuery або Azure Synapse.
Досвід роботи з хмарними сервісами для даних (AWS Glue, Azure Data Factory, GCP Dataflow).
Навички роботи з фреймворками трансформації даних (Pandas, PySpark).
Здатність працювати в умовах динамічного середовища із частими змінами пріоритетів.
Високі комунікаційні навички для співпраці з технічними та нетехнічними командами.
Вища освіта.
Буде плюсом:
3+ роки досвіду на позиції Data Engineer, зокрема у створенні та підтримці ETL-пайплайнів.
Досвід роботи з розподіленими системами (Apache Spark, Kafka, Flink).
Практичний досвід моніторингу та оптимізації ETL-процесів.
Знання AI/ML-проєктів, інтеграція даних у Feature Stores та реєстри моделей.