Старший інженер з даних в Abto Software

Senior Data Engineer Львів Ми шукаємо талановитого та відданого Senior Data Engineer приєднатися до нашої команди. Ідеальний кандидат буде інструментально змінювати нашу архітектуру даних, інтегрувати різноманітні джерела даних і забезпечувати, щоб наші канали даних були масштабованими, надійними та своєчасними. Глибоко розуміючи сучасні технології стеків даних, ви станете лідером наших зусиль, спрямованих на посилення наших ініціатив аналітики, машинного навчання та бізнес-аналітики. Основні обов’язки: проектування, конструювання, встановлення та обслуговування великомасштабних конвеєрів обробки даних та іншої інфраструктури. Встановіть стратегію даних, вибравши, створивши архітектуру та інтегрувавши передові рішення для баз даних. Створюйте, оптимізуйте та обслуговуйте процеси ETL/ELT за допомогою сучасних інструментів і платформ. Забезпечте інтеграцію даних із різних джерел, пам’ятаючи про точність, надійність і своєчасність даних. Оптимізуйте роботу бази даних для досягнення максимальної продуктивності, включаючи моніторинг, усунення несправностей і вдосконалення існуючих систем. Співпрацюйте з науковцями з обробки даних, ML-інженерами та іншими зацікавленими сторонами, щоб підтримувати їхні потреби в інфраструктурі даних. Взаємодія з іншими технічними командами для видобування, перетворення та завантаження даних із різноманітних джерел даних. Впроваджуйте заходи безпеки, щоб гарантувати захист даних і відповідність відповідним нормам і найкращим практикам. Будьте в курсі останніх технологічних тенденцій, оцінюйте та впроваджуйте нові системи та інструменти за потреби. Важкі навички: ступінь бакалавра/магістра в галузі інформатики, інженерії або суміжної технічної галузі. 7+ років досвіду на посаді інженера даних. Понад 7 років досвіду роботи з платформами хмарних сховищ, такими як Redshift або BigQuery. Понад 4 роки досвіду роботи з платформами оркестровки даних, такими як Airflow, Prefect або Dagster. Понад 3 роки досвіду розробки та створення рішень для великих даних у хмарі, зокрема тих, які використовують технології озерних даних, зосереджуючись на оптимізації продуктивності та розподілі. Понад 2 роки досвіду роботи з фреймворком робочого процесу трансформації, таким як dbt або SQLMesh. Глибокі знання та досвід роботи з озерами даних, дельта-озерами та будинками-озерами даних. Глибоке знання SQL та мов сценаріїв (Python, Scala, Java тощо). Глибоке знання стратегій сховищ даних, зокрема Inmon, Kimball і Data Vault. Досвід роботи з якістю даних, в ідеалі використовуючи фреймворк, наприклад Great Expectations. Досвід у сферах охорони здоров’я чи поведінкового здоров’я. Перевірений досвід проектування та розгортання високомасштабної інфраструктури даних. Наші переваги: ​​сприяння професійному та кар'єрному росту; Конкурентна заробітна плата; Оплачувані відпустки та лікарняні; Внутрішня медична програма; Програма для ветеранів (включає менторство, доступний офіс для людей з інвалідністю, юридичний супровід та додаткові пільги); Гнучкий графік роботи; Регулярні корпоративні соціальні заходи; Регулярне технічне навчання в офісі; курси англійської мови; Спортзал і т.д.