Leitender/leitender Dateningenieur in Quantum

Quantum ist ein globaler Technologiepartner, der High-End-Softwareprodukte liefert, die sich mit realen Problemen befassen.

Wir treiben neue Technologien für unkonventionelle Lösungen voran. Wir konzentrieren uns auf maschinelles Lernen, Computer Vision, Deep Learning, GIS, MLOps, Blockchain und mehr.

Hier bei Quantum widmen wir uns der Entwicklung hochmoderner Lösungen die die drängenden Probleme, mit denen Unternehmen und die Welt konfrontiert sind, wirksam angehen. Bis heute hat unser Team aus außergewöhnlichen Menschen bereits vielen Unternehmen auf der ganzen Welt dabei geholfen, Technologieführerschaft zu erlangen.

Wir entdecken ständig neue Wege, um nie endende geschäftliche Herausforderungen durch die Einführung neuer Technologien zu lösen, auch wenn es noch keine gibt beste Übung. Wenn Sie unsere Leidenschaft für das Lösen von Problemen und das Schaffen von etwas teilen, kommen Sie zu uns und genießen Sie es, unseren Erfahrungsschatz kennenzulernen!

Über die Position

Quantum erweitert das Team und bietet hervorragende Möglichkeiten für den Lead Data Engineer. Der Kunde ist ein Technologieforschungsunternehmen, das proprietäre KI-basierte Analysen und Sprachmodelle nutzt, um umfassende Einblicke in globale Aktien in allen Sprachen bereitzustellen. Unsere Mission ist es, die Wissenslücke in der Investmentwelt zu schließen und Investoren aller Art zu „Superinvestoren“ zu machen.

Durch unsere generative KI-Technologie, die in Brokerage-Plattformen und die Infrastrukturen anderer Finanzinstitute implementiert wird, können wir bieten sofortige Fundamentalanalysen globaler Aktien sowie maßgeschneiderte Anlagestrategien und ermöglichen so fundierte Anlageentscheidungen für Millionen von Anlegern weltweit.

Muss über Fähigkeiten verfügen:

– Mindestens 5+ Jahre in der Rolle eines Dateningenieurs oder relevante Erfahrung mit Führungsqualitäten

– Fachwissen mit Spark/PySpark

– Solide Kenntnisse in Python (Java kann sein eine Option, aber die Codebasis basiert auf Python) und Verständnis für objektorientiertes Design

– Praktische Erfahrung in der Leistungsoptimierung von Spark-Jobs, Kenntnisse der Spark-Bereitstellung, Ressourcenverwaltung für Spark-Jobs

– Den Unterschied zwischen OLAP und OLTP verstehen: Betriebssystem vs. Datenverarbeitungssystem

– Kenntnisse über Datenmodellabstraktionen: Data Warehouse, Lakehouse. Und Datenmodelle: Medallion-Architektur, Startschema, breite Tabellen

– Vertrautheit mit SQL- und NoSQL-Technologien

– Mindestens ein mittleres Englischniveau (in Wort und Schrift)

Wäre ein Plus:

– Apache Storm, Apache Flink, GCP Data Flow, Apache Beam

– Apache Hadoop, Apache Hive, Snowflake, Dremio, Redshift

– Airflow, Prefect, Airbyte

– Gute Kenntnisse von AWS Glue oder Amazon EMR und verwandten Tools

– Im Kontext der Datenanalyseerfahrung mit Apache Pulsar, Kafka, Kinesis

– Presto/Trino, Athena

– Verständnis des Unterschieds zwischen Batches und Streams. Außerdem – der Unterschied zwischen einer Warteschlange und einem Datenstrom

– Datenqualitätskontrolle: Datenherkunft, Datenqualität usw.

– Wissensarchitekturmuster wie Lambda, Kappa, Datennetz< /p>

Zu Ihren Aufgaben gehören:

– Erstellen Sie eine Architektur für eine Produktionslösungs, Lösungsvorschläge für Verbesserungen

– Aufbau und Wartung von Datenpipelines für die Extraktion, Transformation und das Laden von Daten

– Verwaltung von Datenbanken, Gewährleistung der Datenkonsistenz, -integrität und -sicherheit

– Erkennen und lösen Sie Leistungsprobleme auf Architektur-, Design- und Codeebene

– Entwickeln Sie solide Unit- und Integrationstests gemäß Organisationsstandards

– Generieren Sie technische Lösungen für Aufgaben

– Erstellen Sie Projektpläne, schätzen Sie Budgets

– Arbeiten Sie mit Designern, Entwicklern und Produktbesitzern zusammen

– Nehmen Sie am Vorverkauf teil, analysieren Sie Aufgaben, kommunizieren Sie mit Kunden

Wir bieten:

– Bereitstellung von High-End-Softwareprojekten, die sich mit realen Problemen befassen

— Umgebende Experten, die bereit sind, sich beruflich weiterzuentwickeln

— Professioneller Wachstumsplan und Unterstützung durch Teamleiter

— Übernahme von F&E- und gesellschaftlich bedeutsamen Projekten

— Teilnahme an weltweiten Technologiekonferenzen und Wettbewerben

– Teilnahme an regelmäßigen Bildungsaktivitäten

– Teil eines multikulturellen Unternehmens mit einer unterhaltsamen und unbeschwerten Atmosphäre

– Von überall arbeiten mit flexiblen Arbeitszeiten

– Bezahlter Urlaub und Krankheitstage

Treten Sie Quantum bei und machen Sie einen Schritt in Richtung Ihrer datengesteuerten Zukunft .