Starszy inżynier danych w Smart Arbitrage Technologies

Starszy inżynier danych віддалено O firmie Weare poszukuje silnego inżyniera danych, który dołączy do naszego zespołu programistów i pomoże nam zbudować nową, wysoce skalowalną i wysoce dostępną wersję algorytmicznej platformy handlowej. AsaData Engineer będziesz uczestniczyć w projektowaniu architektury platformy oraz wdrażaniu dla niej usług ETL. Będziesz także opracowywać systemy hurtowni i przetwarzania danych, narzędzia umożliwiające naszemu zespołowi badawczemu skuteczny dostęp do ogromnych ilości danych. Idealny kandydat powinien posiadać duże doświadczenie w Pythonie, SQL, ETL, rozproszonej analizie danych, systemach HA i HL. Jest to nowy projekt z nowymi podstawami, dający możliwość pełnego wykorzystania swojego doświadczenia bez patrzenia wstecz na jakąkolwiek spuściznę lub poprzednie wybory techniczne. Stosuj Python, Java, Scala, Go Spark, Flink, Pandas, Numpy, FastAPI Kafka, NATS, gRPC Postgres, Redis, ClickHouse Zookeeper, Consul itp. Docker, Ansible, Vault, GHA Prometheus, AM, Grafana, ELK AWS Wymagania 5+ lat doświadczenia zawodowego jako Inżynier Danych. Biegłość w Pythonie i posługiwaniu się nim jako głównym językiem programistycznym w ostatnich latach. Praktyczna znajomość co najmniej jednego innego języka programowania: Java, Scala, Go, Rust itp. Doświadczenie w pracy z Big Data. Biegłość w SQL i relacyjnych bazach danych: Postgres, MySQL itp. Biegłość w NoSQL: Redis, Zookeeper, Hadoop, Consul itp. Biegłość w kolumnowym systemie DBMS: ClickHouse, Vertica, Snowflake itp. Umiejętność projektowania złożonych modeli danych: znormalizowanych, wielowymiarowych, itp. Doświadczenie we wdrażaniu systemów rozproszonych, skalowalnych i odpornych na awarie. Doświadczenie w tworzeniu, utrzymywaniu i debugowaniu problemów w dużych bazach kodu po stronie serwera. Dobra znajomość najlepszych praktyk inżynierskich i testowania. Umiejętność dzielenia się wiedzą i mentorowania innych. Obowiązki Ulepszaj istniejącą infrastrukturę inżynierii danych, aby była skalowalna i przygotuj ją na przewidywane wolumeny Big Data. Twórz łatwe w utrzymaniu i odporne na błędy potoki ETL, usługi danych. Rozwiązuj skomplikowane problemy techniczne dotyczące stabilności, dostępności, opóźnień i przepustowości. Prowadzenie prac badawczo-rozwojowych z wykorzystaniem nowych technologii. Utrzymuj wysokie standardy kodowania w zespole. Identyfikuj, projektuj i wdrażaj ulepszenia procesów. Utrzymuj dobrą kulturę inżynierską, pomagaj innym uczyć się i rozwijać. Uzyskaj wysoki stopień odpowiedzialności i swobodę eksperymentowania z nowymi technologiami w celu ulepszenia naszego oprogramowania. Warunki Minimalna biurokracja, możliwość łatwej komunikacji ze wszystkimi szczeblami zarządzania. Westarve podejmuje decyzje szybko, bez miesięcy dyskusji. Możliwość pokonania czołówki technologii handlowych, wpływając na najważniejsze decyzje inwestycyjne. oparte na współpracy, innowacyjne środowisko, w którym Twój wkład ma znaczenie.