Ми шукаємо кваліфікованого Data Engineer, який стане частиною команди Дії та працюватиме над створенням, оптимізацією та підтримкою ETL-пайплайнів і сховищ даних для масштабних проєктів.
Ви забезпечуватимете безперебійний потік даних для моделей AI/ML та корпоративних систем, створюючи надійні інфраструктури даних для майбутнього цифрової держави.
Ця роль ідеально підходить для професіонала, який володіє глибокими технічними знаннями, аналітичним мисленням і прагненням створювати продукти, що змінюють життя мільйонів українців.
Data Engineer — рушійна сила даних
Відгукнутися
Обов’язки:
проєктування та розробка ETL-пайплайнів для обробки даних із різних джерел і завантаження їх у централізовані сховища;
реалізація надійних процесів для обробки структурованих, напівструктурованих та неструктурованих даних;
забезпечення якості даних через автоматизовані рішення для очищення, валідації та трансформації;
створення й оптимізація сховищ даних на платформах, як-от Snowflake, Redshift, BigQuery або Azure Synapse;
підтримка моделей даних для бізнес-аналітики та машинного навчання;
взаємодія з датасаєнтистами та ML-інженерами для забезпечення чистих і версіонованих наборів даних;
інтеграція даних у хмарні середовища (AWS, Azure, GCP) та робота з DevOps для CI/CD пайплайнів;
моніторинг ETL-процесів, усунення помилок і впровадження довгострокових рішень для покращення продуктивності;
розробка панелей моніторингу для відстеження процесів за допомогою інструментів, як-от Grafana, CloudWatch або Datadog;
адаптація до швидкозмінних пріоритетів і вимог, що характерно для середовища стартапу;
співпраця з міжфункціональними командами для забезпечення якісної реалізації даних у продуктах.
Вимоги:
впевнене знання Python та/або Scala для обробки даних;
досвід роботи з ETL-інструментами (Apache NiFi, Airflow, dbt, Talend);
експертні навички SQL для роботи з великими наборами даних й оптимізації запитів;
знання платформ сховищ даних, як-от Snowflake, Redshift, BigQuery або Azure Synapse;
досвід роботи з хмарними сервісами для даних (AWS Glue, Azure Data Factory, GCP Dataflow);
навички роботи з фреймворками трансформації даних (Pandas, PySpark);
здатність працювати в умовах динамічного середовища із частими змінами пріоритетів;
високі комунікаційні навички для співпраці з технічними та нетехнічними командами;
вища освіта.
Буде плюсом:
3+ роки досвіду на позиції Data Engineer, зокрема у створенні та підтримці ETL-пайплайнів;
досвід роботи з розподіленими системами (Apache Spark, Kafka, Flink);
практичний досвід моніторингу та оптимізації ETL-процесів;
знання AI/ML-проєктів, інтеграція даних у Feature Stores та реєстри моделей.