Старший инженер данных в Abto Software

Мы ищем талантливого и преданного своему делу старшего инженера по обработке данных, который присоединится к нашей команде. Идеальный кандидат будет играть важную роль в формировании нашей архитектуры данных, интеграции различных источников данных и обеспечении масштабируемости, надежности и своевременности наших конвейеров данных. Обладая глубоким пониманием современных технологий стека данных, вы будете в авангарде наших усилий по реализации наших инициатив в области аналитики, машинного обучения и бизнес-аналитики. Основные обязанностиПроектирование, создание, установка и обслуживание крупномасштабных конвейеров обработки данных и другие инфраструктура. Установите стратегию данных, выбрав, спроектировав и интегрировав передовые решения для баз данных. Создавайте, оптимизируйте и поддерживайте процессы ETL/ELT, используя современные инструменты и платформы. Обеспечьте интеграцию данных из различных источников, учитывая точность, надежность, и своевременность. Оптимизируйте операции с базами данных для максимальной производительности, включая мониторинг, устранение неполадок и улучшение существующих систем. Сотрудничайте с учеными по данным, инженерами ML и другими заинтересованными сторонами для поддержки их потребностей в инфраструктуре данных. Взаимодействуйте с другими техническими командами для извлечения, преобразования и загрузки данные из самых разных источников данных. Внедряйте меры безопасности для обеспечения защиты данных и соблюдения соответствующих правил и передового опыта. Будьте в курсе последних технологических тенденций, оценивая и внедряя новые системы и инструменты по мере необходимости. Хорошие навыки: степень бакалавра / магистра. Имеет степень бакалавра компьютерных наук, инженерии или смежной технической области. Опыт работы в сфере обработки данных более 7 лет. Более 7 лет опыта работы с платформами облачного хранилища, такими как Redshift или BigQuery. Более 4 лет опыта работы с платформами оркестрации данных, такими как Airflow, Prefect или Dagster. Более 3 лет опыта проектирования и создания решений для больших данных в облаке, особенно тех, которые используют технологии Data Lakehouse с упором на оптимизацию производительности и секционирование. Более 2 лет опыта работы с инфраструктурой рабочих процессов преобразования, такой как dbt или SQLMesh. Хорошие знания и опыт работы с озерами данных, дельта-озерами и домами озер данных. Хорошее знание SQL и языков сценариев. (Python, Scala, Java и т. д.). Хорошее знание стратегий хранения данных, включая Inmon, Kimball и Data Vault. Опыт работы с качеством данных, в идеале с использованием такой структуры, как «Большие надежды». Опыт работы в сфере здравоохранения или поведенческого здоровья. Проверенный опыт. Опыт проектирования и развертывания крупномасштабной инфраструктуры данных. Наши преимущества: Содействие профессиональному и карьерному росту; Конкурентоспособная заработная плата; Оплачиваемый отпуск и больничные; Внутренняя медицинская программа; Программа для ветеранов (которая включает наставничество, доступный офис для людей с ограниченными возможностями, юридические услуги). поддержка и дополнительные льготы);Гибкий график работы;Регулярные корпоративные социальные мероприятия;Регулярное техническое обучение в нашем офисе;Курсы английского языка;Тренажерный зал и т.д. Показать больше Показать меньше Посадовый рівень Старший середній рівеньТип занятости Полный рабочий день Должностные обязанности Информационные технологии Отрасли Разработка программного обеспечения