Leitender Dateningenieur in Smart Arbitrage Technologies

Senior Data Engineer віддалено Über uns Wir sind auf der Suche nach einem starken Dateningenieur, der sich unserem Entwicklungsteam anschließt und uns beim Aufbau der neuen hoch skalierbaren und hochverfügbaren Version einer algorithmischen Handelsplattform hilft. Als Data Engineer wirken Sie an der Architektur der Plattform sowie an der Implementierung der ETL-Dienste dafür mit. Sie entwickeln außerdem Data-Warehousing- und Datenverarbeitungssysteme sowie Tools, die es unserem Forschungsteam ermöglichen, effizient auf die riesigen Datenmengen zuzugreifen. Der ideale Kandidat sollte über fundierte Kenntnisse in Python, SQL, ETL, verteilter Datenanalyse, HA- und HL-Systemen verfügen. Dies ist ein neues Projekt mit einer neuen Grundlage, das Ihnen die Möglichkeit gibt, Ihre Erfahrungen voll zu nutzen, ohne auf alte oder frühere technische Entscheidungen zurückzublicken. Stack Python, Java, Scala, Go Spark, Flink, Pandas, Numpy, FastAPI Kafka, NATS, gRPC Postgres, Redis, ClickHouse Zookeeper, Consul usw. Docker, Ansible, Vault, GHA Prometheus, AM, Grafana, ELK AWS-Anforderungen 5+ Jahrelange Berufserfahrung als Dateningenieur. Kenntnisse in Python und deren Verwendung als primäre Entwicklungssprache in den letzten Jahren. Praktische Kenntnisse in mindestens einer weiteren Programmiersprache: Java, Scala, Go, Rust usw. Erfahrung im Umgang mit Big Data. Kenntnisse in SQL und relationalen Datenbanken: Postgres, MySQL usw. Kenntnisse in NoSQL: Redis, Zookeeper, Hadoop, Consul usw. Kenntnisse in spaltenorientierten DBMS: ClickHouse, Vertica, Snowflake usw. Fähigkeit, komplexe Datenmodelle zu entwerfen: normalisiert, mehrdimensional, usw. Erfahrung in der Implementierung verteilter, skalierbarer und fehlertoleranter Systeme. Erfahrung in der Entwicklung, Wartung und Fehlerbehebung von Problemen in großen serverseitigen Codebasen. Gute Kenntnisse über bewährte technische Verfahren und Tests. Fähigkeit, Wissen zu teilen und andere zu betreuen. Verantwortlichkeiten: Verbessern Sie die bestehende Data-Engineering-Infrastruktur, um sie skalierbar zu machen und sie auf die erwarteten Big-Data-Volumen vorzubereiten. Erstellen Sie wartbare und fehlertolerante ETL-Pipelines und Datendienste. Lösen Sie komplizierte technische Probleme hinsichtlich Stabilität, Verfügbarkeit, Latenz und Durchsatz. Führen Sie Forschungs- und Entwicklungsarbeiten mit neuer Technologie durch. Halten Sie im Team hochwertige Codierungsstandards aufrecht. Prozessverbesserungen identifizieren, entwerfen und umsetzen. Pflegen Sie eine gute Ingenieurskultur und helfen Sie anderen, zu lernen und zu wachsen. Nehmen Sie ein hohes Maß an Eigenverantwortung und Freiheit an, um mit neuen Technologien zu experimentieren und unsere Software zu verbessern. Bedingungen Minimale Bürokratie, die Fähigkeit, problemlos mit allen Managementebenen zu kommunizieren. Wir sind bestrebt, Entscheidungen schnell und ohne monatelange Diskussionen zu treffen. Eine Gelegenheit, an der Spitze der Handelstechnologie zu stehen und wichtige Investitionsentscheidungen zu beeinflussen. Ein kollaboratives, innovatives Umfeld, in dem Ihre Beiträge einen Unterschied machen.