Leitender/leitender Dateningenieur in Quantum

Quantum ist ein globaler Technologiepartner, der High-End-Softwareprodukte liefert, die sich mit realen Problemen befassen. Weadvance neue Technologien für Out-of-the-Box-Lösungen. Wir konzentrieren uns auf maschinelles Lernen, Computer Vision, Deep Learning, GIS, MLOps, Blockchain und mehr. Hier bei Quantum widmen wir uns der Entwicklung hochmoderner Lösungen, die die drängenden Probleme von Unternehmen und der Welt effektiv angehen. Bis heute hat unser Team aus außergewöhnlichen Menschen bereits vielen Unternehmen auf der ganzen Welt dabei geholfen, Technologieführerschaft zu erlangen. Wir entdecken ständig neue Wege, um endlose geschäftliche Herausforderungen durch die Einführung neuer Technologien zu lösen, auch wenn es noch keine Best Practices gibt. Wenn Sie unsere Leidenschaft für das Lösen von Problemen und das Erzielen von Wirkung teilen, kommen Sie zu uns und genießen Sie es, unseren Erfahrungsschatz kennenzulernen! Über die Position Quantum erweitert das Team und bietet hervorragende Möglichkeiten für den Lead Data Engineer. Der Kunde ist ein Technologieforschungsunternehmen, das proprietäre KI-basierte Analysen und Sprachmodelle nutzt, um umfassende Einblicke in globale Aktien in allen Sprachen zu liefern. Unsere Mission besteht darin, die Wissenslücke in der Investmentwelt zu schließen und Anlegern aller Art die Möglichkeit zu geben, „Superinvestoren“ zu werden. Durch unsere generative KI-Technologie, die in Brokerage-Plattformen und die Infrastrukturen anderer Finanzinstitute implementiert wird, bieten wir sofortige Fundamentalanalysen globaler Aktien sowie maßgeschneiderte Anlagestrategien und ermöglichen so fundierte Investitionen Entscheidungen für Millionen von Investoren weltweit. Erforderliche Fähigkeiten: Mindestens 5+ Jahre in einer Rolle als Dateningenieur oder einschlägige Erfahrung mit führenden Fähigkeiten. Fachwissen mit Spark/PySpark. Solide Kenntnisse in Python (Java kann eine Option sein, aber die Codebasis ist auf Python) und Verständnis für objektorientiertes Design. Praktische Erfahrung in der Optimierung der Jobleistung von Spark. Kenntnisse über Spark-Bereitstellung, Ressourcenverwaltung für Spark-Jobs. Den Unterschied zwischen OLAP und OLTP verstehen: Betriebssystem vs. Datenverarbeitungssystem. Kenntnisse über Datenmodellabstraktionen: Data Warehouse, Lakehouse. Und Datenmodelle: Medallion-Architektur, Startschema, breite Tabellen. Vertrautheit mit SQL- und NoSQL-Technologien. Mindestens ein höheres bis mittleres Englischniveau (in Wort und Schrift). Wäre ein Pluspunkt: Apache Storm, Apache Flink, GCP Data Flow, Apache Beam. Apache Hadoop, Apache Hive, Snowflake, Dremio, RedshiftAirflow, Prefect, AirbyteGute Kenntnisse in AWS Glue oder Amazon EMR und verwandten ToolsIm Rahmen der Datenanalyse Erfahrung mit Apache Pulsar, Kafka, KinesisPresto/Trino, AthenaVerständnis des Unterschieds zwischen Batches und Streams. Außerdem – der Unterschied zwischen Aqueue und einem Datenstrom. Datenqualitätskontrolle: Datenherkunft, Datenqualität usw. Wissen über Architekturmuster wie Lambda, Kappa, Datennetz. Zu Ihren Aufgaben gehören: Erstellen Sie eine Architektur für Produktionslösungen, schlagen Sie Lösungen für Verbesserungen vor. Erstellen und Warten von Datenpipelines für die Extraktion. Transformation und Laden von Daten. Datenbanken verwalten, Datenkonsistenz, -integrität und -sicherheit sicherstellen. Leistungsprobleme auf Architektur-, Design- und Codeebene erkennen und lösen. Solide Unit- und Integrationstests gemäß Organisationsstandards entwickeln. Technische Lösungen für Aufgaben erstellen. Projektpläne erstellen, zBudgets einschätzenArbeitet mit Designern, Entwicklern und Produktbesitzern zusammenNehmen Sie am Vorverkauf teil, analysieren Sie Aufgaben, kommunizieren Sie mit KundenWir bieten:Lieferung von High-End-Softwareprojekten, die sich mit realen Problemen befassenUmgeben von Experten, die bereit sind, beruflich voranzukommenProfessioneller Wachstumsplan und Unterstützung durch TeamleiterÜbernahme von F&E und gesellschaftlicher Bedeutung ProjekteTeilnahme an weltweiten Tech-Konferenzen und WettbewerbenTeilnahme an regelmäßigen BildungsaktivitätenTeil eines multikulturellen Unternehmens mit einer lustigen und unbeschwerten Atmosphäre seinVon überall arbeiten mit flexiblen ArbeitszeitenBezahlter Urlaub und Krankheitstage Treten Sie Quantum bei und machen Sie einen Schritt in Ihre datengesteuerte Zukunft.