Средний/старший инженер конвейеров данных в StartupSoft

Средний/старший инженер конвейера данных Львов, Тернополь, удаленно О проекте Delphi — это исследовательская группа, базирующаяся на базе Университета Карнеги-Меллон, занимающаяся разработкой теории и практики отслеживания и прогнозирования эпидемий. До пандемии они работали в основном над гриппом, денге и норовирусом; теперь они сосредоточили внимание на COVID. Они получают уникальные потоки данных, отражающие эпидемическую (или пандемическую) активность, извлекают соответствующие показатели и делают их общедоступными и постоянно доступными. Затем они и другие используют эти индикаторы для прогнозирования текущей погоды (ситуационной осведомленности) и краткосрочного прогнозирования. Основная цель исследовательской группы Delphi — улучшить способность мира справиться со следующей пандемией. Технический стек MySQL, Python Стадия проекта Живой продукт Состав команды 9 штатных инженеров (1 DevOps, 1 база данных, 2 конвейера/статистика/магистры, системный администратор) + аспиранты и преподаватели. Команда в основном состоит из EST. Квалификация и навыки. Владение инструментами конвейера данных. Опыт работы с Python и SQL. Хорошее понимание структур данных, алгоритмов и проектирования систем. Знакомство с решениями для хранения данных (например, базами данных, озерами данных). Отличные навыки решения проблем и внимание к деталям. Эффективные коммуникативные навыки. как синхронные, так и асинхронные. Обязанности. Мониторинг и поддержание работоспособности и эффективности конвейеров данных. Устранение неполадок и анализ первопричин расхождений данных и проблем с конвейером. Взаимодействие с поставщиками данных для понимания несоответствий данных и управления изменениями в доставке данных. Внедрение исправлений и улучшений для улучшения качества данных и производительности конвейера. Совместная работа. совместно со специалистами по данным и аналитиками, чтобы понять потребности в данных и внедрить эффективные решения для обработки данных. Разработать стратегии проверки данных и обеспечения качества. Оптимизировать поток и сбор данных для повышения эффективности системы. Документировать и управлять архитектурой конвейеров данных, включая протоколы обслуживания и обновления. Использовать такие инструменты, как SQL, контроль версий и CI. /CD, контейнеризация, планировщики задач, платформы Python и облачные сервисы для управления конвейерами данных. Обеспечение соответствия стандартам управления данными и безопасности. Почему StartupSoft? Работайте с ведущими предпринимателями и стартапами из Кремниевой долины и ЕС. Станьте неотъемлемой частью основной команды — будьте больше, чем просто кто-то, кто пишет код. Потенциал для получения капитала в быстрорастущих стартапах. Вносите вклад в хорошо финансируемые продукты, которые могут оказать влияние на миллионы. конечные удобства Сплоченная команда с инклюзивной и прозрачной культурой Только новейшие, современные технологии с устаревшим кодексом и управленческой бюрократией Зарплата выше средней, льготы и медицинская страховка