Старший инженер данных в Abto Software

Старший инженер данных Львів Мы ищем талантливого и целеустремленного старшего инженера данных в нашу команду. Идеальный кандидат будет способствовать изменению нашей архитектуры данных, интеграции различных источников данных и обеспечению масштабируемости, надежности и своевременности наших конвейеров данных. Благодаря глубокому пониманию современных технологий стека данных вы окажетесь в авангарде наших усилий по развитию наших инициатив в области аналитики, машинного обучения и бизнес-аналитики. Основные обязанности: Проектирование, строительство, установка и обслуживание крупномасштабных конвейеров обработки данных и другой инфраструктуры. Установите стратегию обработки данных, выбрав, спроектировав и интегрировав передовые решения для баз данных. Создавайте, оптимизируйте и поддерживайте процессы ETL/ELT, используя современные инструменты и платформы. Обеспечьте интеграцию данных из различных источников, учитывая точность, надежность и своевременность данных. Оптимизируйте операции с базами данных для достижения максимальной производительности, включая мониторинг, устранение неполадок и улучшение существующих систем. Сотрудничайте со специалистами по данным, MLengineers и другими заинтересованными сторонами для поддержки их потребностей в инфраструктуре данных. Взаимодействуйте с другими техническими командами для извлечения, преобразования и загрузки данных из самых разных источников данных. Внедрите меры безопасности, чтобы обеспечить защиту данных и соблюдение соответствующих правил и передовых практик. Будьте в курсе последних технологических тенденций, оценивая и внедряя новые системы и инструменты по мере необходимости. Твердые навыки: степень бакалавра/магистра в области компьютерных наук, инженерии или смежных технических областях. Опыт работы в сфере инженерии данных более 7 лет. Более 7 лет опыта работы с платформами облачного хранения данных, такими как Redshift или BigQuery. Более 4 лет опыта работы с платформами оркестрации данных, такими как Airflow, Prefect или Dagster. Более 3 лет опыта проектирования и создания решений для больших данных в облаке, особенно тех, которые используют технологии озера данных, с упором на оптимизацию производительности и секционирование. Опыт работы от 2 лет с инфраструктурой рабочего процесса преобразования, такой как dbt или SQLMesh. Хорошие знания и опыт работы с озерами данных, дельтовыми озерами и домами на озерах данных. Уверенное знание SQL и языков сценариев (Python, Scala, Java и т. д.). Хорошее знание стратегий хранения данных, включая Inmon, Kimball и Data Vault. Опыт работы с качеством данных, в идеале с использованием такой структуры, как «Большие надежды». Опыт работы в сфере здравоохранения или поведенческого здоровья. Проверенный опыт проектирования и развертывания крупномасштабной инфраструктуры данных. Наши преимущества: Содействие профессиональному и карьерному росту; Конкурентоспособная заработная плата; Оплачиваемые отпуска и больничные; Внутренняя медицинская программа; Программа для ветеранов (включает наставничество, доступный кабинет для людей с ограниченными возможностями, юридическую поддержку и дополнительные льготы); Гибкий рабочий график; Регулярные корпоративные социальные мероприятия; Регулярное техническое обучение в нашем офисе; Курсы английского языка; Тренажерный зал и т. д.