Середній/старший інженер з обробки даних в StartupSoft

Middle/Senior Data Pipeline Engineer Львів, Тернопіль, віддалено Про проект Delphi — це дослідницька група з Університету Карнегі-Меллона, яка займається розробкою теорії та практики відстеження та прогнозування епідемії. До пандемії вони здебільшого працювали над грипом, денге та норовірусом; тепер вони зосередилися на COVID. Вони отримують унікальні потоки даних, які відображають епідемічну (або пандемічну) активність, виділяють відповідні показники та роблять їх загальнодоступними та постійно доступними. Потім вони та інші використовують ці показники для прогнозування поточної ситуації (обізнаності про ситуацію) і короткострокового прогнозування. Головна мета Delphi Research Group — покращити здатність світу протистояти наступній пандемії. Tech stack MySQL, Python Стадія проекту Live product Склад команди 9 штатних інженерів (1DevOps, 1database, 2pipeline/statistics/masters, sys admin) + аспіранти та професори. Команда в основному в EST. Кваліфікація та навички. Вміння працювати з інструментами конвеєра даних. Досвід роботи з Python і SQL. Глибоке розуміння структур даних, алгоритмів і дизайну системи. Знайомство з рішеннями для зберігання даних (наприклад, базами даних, озерами даних). , як синхронні, так і асинхронні. Обов’язки. Моніторинг і підтримка працездатності та ефективності конвеєрів даних. Усунення несправностей і аналіз першопричин розбіжностей у даних і проблем конвеєрів. Спілкування з постачальниками даних, щоб зрозуміти розбіжності даних і керувати змінами в доставці даних. Впроваджувати виправлення та вдосконалення для покращення якості даних і продуктивності конвеєрів. Співпрацювати. з науковцями та аналітиками даних, щоб зрозуміти потреби в даних і впровадити ефективні рішення для даних. Розробити стратегії перевірки даних і гарантії якості. Оптимізувати потік і збір даних для підвищення ефективності системи. Документувати та керувати архітектурами конвеєрів даних, включаючи протоколи обслуговування та оновлення. Використовувати такі інструменти, як SQL, контроль версій і CI. /CD, контейнеризація, планувальники завдань, фреймворки Python і хмарні служби для управління конвеєрами даних Забезпечення відповідності стандартам управління даними та безпеки Чому StartupSoft? Працюйте з провідними підприємцями та стартапами з Кремнієвої долини та ЄС. Станьте невід’ємною частиною основної команди — будьте більше, ніж хтось, хто просто пише код. Потенціал для отримання власного капіталу в стартапах, що швидко розвиваються. Внесіть добре фінансовані продукти, які потенційно можуть вплинути на мільйони. Красиві офіси в найкращих місцях із високою ефективністю. кінцеві зручності Згуртована команда з інклюзивною та прозорою культурою Лише найновіші сучасні технології без застарілого коду та управлінської бюрократії Вища за середню зарплата, пільги та медичне страхування