Starszy inżynier danych w Smart Arbitrage Technologies

O nas

Szukamy silnego inżyniera danych, który dołączy do naszego zespołu programistów i pomoże nam zbudować nową, wysoce skalowalną i wysoce dostępną wersję platformy handlu algorytmicznego.

Jako Jako inżynier danych będziesz uczestniczyć w projektowaniu architektury platformy oraz wdrażaniu dla niej usług ETL.

Będziesz także opracowywać systemy hurtowni i przetwarzania danych, czyli narzędzia, które umożliwią naszemu zespołowi badawczemu dostęp do ogromnych ilości danych efektywnie przetwarzać dane.

Idealny kandydat powinien mieć duże doświadczenie w Pythonie, SQL, ETL, rozproszonej analizie danych, systemach HA i HL.

To nowy projekt z nowymi podstawami , dając możliwość pełnego wykorzystania swojego doświadczenia bez patrzenia wstecz na jakiekolwiek starsze lub wcześniejsze wybory techniczne.

Stack

• Python, Java, Scala, Go
< li>Spark, Flink, Pandy, Numpy, FastAPI
• Kafka, NATS, gRPC
• Postgres, Redis, ClickHouse
• Zookeeper, Consul itp.
• Docker, Ansible, Vault, GHA
• Prometheus, AM, Grafana, ELK
• AWS

Wymagania

• Ponad 5 lat doświadczenia w pracy jako inżynier danych.
• Biega biegłość w języku Python i używanie go jako głównego języka programowania w ostatnich latach.
< li>Praktyczna znajomość co najmniej jednego innego języka programowania: Java, Scala, Go, Rust itp.
• Doświadczenie w pracy z Big Data.
• Biega biegłość w SQL i relacyjnych bazach danych: Postgres , MySQL itp.
• Znajomość NoSQL: Redis, Zookeeper, Hadoop, Consul itp.
• Znajomość zorientowanego na kolumny systemu DBMS: ClickHouse, Vertica, Snowflake itp.
• li>
• Umiejętność projektowania złożonych modeli danych: znormalizowanych, wielowymiarowych itp.
• Doświadczenie we wdrażaniu systemów rozproszonych, skalowalnych i odpornych na błędy.
• Doświadczenie w tworzeniu, utrzymywaniu i debugowaniu problemy w dużych bazach kodu po stronie serwera.
• Dobra znajomość najlepszych praktyk inżynieryjnych i testowania.
• Umiejętność dzielenia się wiedzą i mentorowania innych.

Obowiązki

• Ulepsz istniejącą infrastrukturę inżynierii danych, aby była skalowalna i przygotuj ją na przewidywane wolumeny Big Data.
• Utwórz łatwą w utrzymaniu i odporną na awarie Potoki ETL, usługi danych.
• Rozwiązuj skomplikowane problemy techniczne dotyczące stabilności, dostępności, opóźnień i przepustowości.
• Prowadź prace badawczo-rozwojowe z wykorzystaniem nowych technologii.
• Utrzymuj wysoką wydajność standardy kodowania jakości w zespole.
• Identyfikuj, projektuj i wdrażaj ulepszenia procesów.
• Utrzymuj dobrą kulturę inżynierską, pomagaj innym uczyć się i rozwijać.
• Weź udział w wysoki stopień własności i swoboda eksperymentowania z nowymi technologiami w celu udoskonalania naszego oprogramowania.

Warunki

• Minimalna biurokracja, możliwość łatwej komunikacji ze wszystkimi poziomami kierownictwo. Staramy się podejmować decyzje szybko, bez miesięcy dyskusji.
• Możliwość znalezienia się w czołówce technologii handlowych i wpływania na najważniejsze decyzje inwestycyjne.
• A innowacyjne środowisko współpracy, w którym Twój wkład coś zmienić.