Mittlerer/leitender Datenpipeline-Ingenieur in StartupSoft

Middle/Senior Data Pipeline Engineer Львів, Тернопіль, віддалено Über Projekt Delphi ist eine Forschungsgruppe an der Carnegie Mellon University, die sich der Entwicklung von Theorie und Praxis der Verfolgung und Vorhersage von Epidemien widmet. Vor der Pandemie wirkten sie hauptsächlich gegen Influenza, Dengue-Fieber und Noroviren; Sie haben sich jetzt auf COVID konzentriert. Sie beschaffen einzigartige Datenströme, die epidemische (oder pandemische) Aktivitäten widerspiegeln, extrahieren relevante Indikatoren und machen diese öffentlich und kontinuierlich verfügbar. Sie und andere nutzen diese Indikatoren dann für Nowcasting (Situationsbewusstsein) und kurzfristige Prognosen. Das Hauptziel der Delphi Research Group ist die Verbesserung der Fähigkeit der Welt, mit der nächsten Pandemie umzugehen. Tech-Stack MySQL, Python Projektphase Live-Produkt Teamzusammensetzung 9 Vollzeit-Ingenieure (1 DevOps, 1 Datenbank, 2 Pipeline/Statistik/Master, Systemadministrator) + Doktoranden und Professoren. Das Team besteht größtenteils aus EST-Qualifikationen und -Fähigkeiten. Kenntnisse in Datenpipeline-Tools. Erfahrung mit Python und SQL. Ausgeprägtes Verständnis von Datenstrukturen, Algorithmen und Systemdesign. Vertrautheit mit Datenspeicherlösungen (z. B. Datenbanken, Data Lakes). Hervorragende Fähigkeiten zur Problemlösung und Liebe zum Detail. Effektive Kommunikationsfähigkeiten , sowohl synchron als auch asynchron. Verantwortlichkeiten: Überwachen und pflegen Sie den Zustand und die Effizienz von Datenpipelines. Fehlerbehebung und führen Sie eine Ursachenanalyse für Datendiskrepanzen und Pipelineprobleme durch. Kommunizieren Sie mit Datenanbietern, um Datendiskrepanzen zu verstehen und Änderungen bei der Datenbereitstellung zu verwalten. Implementieren Sie Korrekturen und Verbesserungen, um die Datenqualität und Pipeline-Leistung zu verbessern Arbeiten Sie mit Datenwissenschaftlern und Analysten zusammen, um Datenanforderungen zu verstehen und effektive Datenlösungen zu implementieren. Entwickeln Sie Strategien für die Datenvalidierung und Qualitätssicherung. Optimieren Sie den Datenfluss und die Sammlung, um die Systemeffizienz zu verbessern. Dokumentieren und verwalten Sie Datenpipeline-Architekturen, einschließlich Wartungs- und Aktualisierungsprotokollen. Verwenden Sie Tools wie SQL, Versionskontrolle und CI /CD, Containerisierung, Aufgabenplaner, Python-Frameworks und Cloud-Dienste für die Datenpipeline-Verwaltung. Stellen Sie die Einhaltung von Datenverwaltungs- und Sicherheitsstandards sicher. Warum StartupSoft? Arbeiten Sie mit Top-Unternehmern und Start-ups aus dem Silicon Valley und der EU zusammen. Werden Sie ein integraler Bestandteil des Kernteams – seien Sie mehr als jemand, der nur Code schreibt. Potenzial für den Erhalt von Eigenkapital in wachstumsstarken Start-ups. Tragen Sie zu gut finanzierten Produkten bei, die das Potenzial haben, Millionen zu beeinflussen. Schöne Büros an den besten Standorten mit hoher Qualität. Endannehmlichkeiten Eingespieltes Team mit einer integrativen und transparenten Kultur Nur die neuesten, modernen Technologien ohne Legacy-Code und Managementbürokratie Überdurchschnittliches Gehalt, Sozialleistungen und Krankenversicherung