Старший інженер з даних в Abto Software

Ми шукаємо талановитого та відданого старшому інженеру з обробки даних, який приєднається до нашої команди. Ідеальний кандидат відіграватиме важливу роль у формуванні нашої архітектури даних, інтеграції різноманітних джерел даних і забезпеченні того, щоб наші канали даних були масштабованими, надійними та своєчасними. Завдяки глибокому розумінню сучасних технологій стеків даних ви будете в авангарді наших зусиль, спрямованих на активізацію наших ініціатив у галузі аналітики, машинного навчання та бізнес-аналітики. Основні обов’язки Проектування, конструювання, встановлення та обслуговування великомасштабних конвеєрів обробки даних та інших інфраструктура. Встановіть стратегію даних, вибравши, спроектувавши та інтегрувавши передові рішення для баз даних. Створіть, оптимізуйте та підтримуйте процеси ETL/ELT за допомогою сучасних інструментів і платформ. Забезпечте інтеграцію даних із різних джерел, пам’ятаючи про точність даних, надійність, і своєчасність. Оптимізуйте операції з базою даних для досягнення максимальної продуктивності, включаючи моніторинг, усунення несправностей і вдосконалення існуючих систем. Співпрацюйте з спеціалістами з обробки даних, інженерами ML та іншими зацікавленими сторонами для підтримки їхніх потреб в інфраструктурі даних. Взаємодійте з іншими технічними командами для вилучення, трансформації та завантаження дані з різноманітних джерел даних. Впроваджуйте заходи безпеки для забезпечення захисту даних і відповідності відповідним нормам і найкращим практикам. Будьте в курсі останніх технологічних тенденцій, оцінюйте та впроваджуйте нові системи та інструменти за потреби. Важкі навички: ступінь бакалавра/магістра в області комп’ютерних наук, інженерії або в пов’язаній технічній галузі. 7+ років досвіду роботи на посаді інженера даних. Понад 7 років досвіду роботи з платформами хмарного сховища, такими як Redshift або BigQuery. Понад 4 роки досвіду роботи з платформами оркестрації даних, такими як Airflow, Prefect або Dagster. Понад 3 роки досвіду розробки та створення рішень для великих даних у хмарі, зокрема тих, що використовують технології data lakehouse, зосереджені на оптимізації продуктивності та розділенні. Понад 2 роки досвіду роботи з фреймворком робочого процесу трансформації, таким як dbt або SQLMesh. Сильні знання та досвід роботи з озерами даних, дельта-озерами та озерами даних. Добре знання SQL і мов сценаріїв (Python, Scala, Java тощо). Потужне знання стратегій сховища даних, включаючи Inmon, Kimball і Data Vault. Досвід роботи з якістю даних, в ідеалі з використанням такої структури, як Great Expectations. Досвід у сферах охорони здоров’я чи поведінкового здоров’я. Перевірений шлях досвід розробки та розгортання високомасштабної інфраструктури даних. Наші переваги: ​​сприяння професійному та кар’єрному росту; конкурентоспроможна заробітна плата; оплачувані відпустки та лікарняні; медична програма внутрішньої медицини; програма для ветеранів (яка включає наставництво, доступний офіс для людей з обмеженими можливостями, юридичні підтримка та додаткові переваги);Гнучкий графік роботи;Регулярні корпоративні соціальні заходи;Регулярне технічне навчання в нашому офісі;Курси англійської мови;Тренажерний зал тощо. Показати більше Згорнути менше Посадовий рівень Старший середній рівеньТип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі Розробка програмного забезпечення