Inżynier danych w środkowej Javie z Kafką (DWH) w SoftConstruct Ukraine

13 sierpnia 2024

Inżynier danych Middle Java w Kafka (DWH)

віддалено

SoftConstruct Ukraina to duża firma produktowa z językiem ormiańskim korzenie.

Tworzymy rozwiązania z obszarów Big Data, Data Science i CryptoExchange. Łączymy naszą wiedzę w zakresie tworzenia oprogramowania iGaming z zaawansowanymi technologiami, aby tworzyć oryginalne oprogramowanie, takie jak statystyki sportowe, analiza ryzyka, bezpieczeństwo. W większości przypadków zajmujemy się projektami nietypowymi dla rynku, staramy się znajdować i generować nowe rozwiązania technologiczne w naszej dziedzinie.

Wspieramy naszych kolegów, którzy aktywnie uczestniczą we wszystkich sferach obronności naszego kraju, a także pomagamy w opracowywaniu rozwiązań, wsparciu bezpieczeństwa technicznego – sektora informacyjnego państwa. Jesteśmy gotowi zaoferować pracę specjalistom IT, którzy jej potrzebują.

Jeśli szukasz nowego, pełnego wyzwań stanowiska w specjalizacji  Java , z przyjemnością zaproponujemy Ci stanowisko Inżyniera języka Java .

Projekt:

Nasza platforma danych jest częścią platformy b2b i została zaprojektowana tak, aby zapewniać dobrą wydajność, prostotę, współbieżność i niską cenę skuteczność gromadzenia danych, szybkiej analizy i wydobywania wniosków opartych na danych dla użytkowników biznesowych.
Zbudowany w oparciu o architekturę Lambda, umożliwia umiejętne zarządzanie ogromnymi ilościami danych, wykorzystując metody przetwarzania wsadowego i strumieniowego. To podwójne podejście zapewnia równowagę między opóźnieniami, przepustowością i odpornością na błędy. Przetwarzanie wsadowe zapewnia kompleksowe i dokładne widoki dużych zbiorów danych, natomiast przetwarzanie strumieniowe w czasie rzeczywistym zapewnia natychmiastowy wgląd w dane online.

W liczbach: – Do 1 PB danych od ponad 500 partnerów w pamięci długoterminowej – Ponad 30 mln nowych rekordów dziennie - Opóźnienie wglądu w oparciu o czas dostarczenia danych <5 s

Zespół składa się z:
inżynierów Java, Python inżynierowie, inżynierowie DevOps, analitycy danych, architekt danych, kierownik projektu, menedżer produktu.

Kompetencje / Zestaw techniczny:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Główne obowiązki:
— Opracowywanie, wdrażanie i automatyzowanie wdrożeń systemów rozproszonych w celu gromadzenia i przetwarzania zdarzeń z wielu źródeł;
— Projektuj schematy danych i zarządzaj nimi;
— Tworzenie i utrzymywanie łączników, producentów i konsumentów Kafka w celu wydajnego przesyłania strumieniowego i przetwarzania danych;
— Optymalizuj wydajność systemów rozproszonych, aby efektywnie obsługiwać duże ilości danych;
— Identyfikuj i rozwiązuj problemy w potokach danych i systemach rozproszonych, aby zapewnić płynne działanie;
— Współpracuj z zespołami DevOps w celu wdrażania, monitorowania i skalowania klastrów Kafka zgodnie z wymaganiami.

Niezbędne:
– Doskonałe umiejętności analityczne i rozwiązywania problemów;
— Doświadczenie z technologią Kafka, praktyczne doświadczenie produkcyjne oraz głębokie zrozumienie architektury Kafki i wewnętrznych elementów jej działania, a także wzajemne oddziaływanie elementów architektonicznych: brokerzy, Zookeeper, producenci/konsumenci, Kafka Connect, KafkaStrumienie;
—  Biegłość w zakresie rejestru schematów;
— Zrozumienie monitorowania infrastruktury Kafki wraz z powiązanymi komponentami (łączniki, KStreams i inne aplikacje producentów/konsumentów);
– Doświadczenie z narzędziami do orkiestracji kontenerów (np. Kubernetes).

Mile widziane:
– Doświadczenie z innymi platformami do przetwarzania danych strumieniowych (np. Spark Streaming, Flink);
— Doświadczenie z narzędziami do zarządzania schematami (np. Avro, Protobuf);
– Doświadczenie z DevSecOps i technologią natywną w chmurze z narzędziami takimi jak Docker, Kubernetes, Jenkins i Terraform.

Co możemy Ci zaoferować:
— Interesującą i pełną wyzwań pracę w firmie opartej na produktach i danych;
— Mnóstwo możliwości nauki, rozwoju i postępu w karierze;
— Urlop roczny: 20 dni roboczych w roku;
— Wszystkie płatne dni chorobowe z zaświadczeniem lekarskim (bez ograniczenia liczby zwolnień, ale za 1 raz wypłacane jest do 2 tygodni);
— Rejestracja w DiiaCity (kontrakt koncertowy);
— Indywidualne zajęcia z języka angielskiego w szkole internetowej EnglishDom (rekompensata w wysokości 50% kwoty wydatków);
— Budżet 450 € rocznie na szkolenia i/lub sport (rekompensata w wysokości 50% kwoty wydatków) po okresie próbnym;
— Bezpłatne ubezpieczenie zdrowotne po okresie próbnym.

Brzmi interesująco? Aplikuj teraz, nie czekaj!
SoftConstruct to fajne miejsce do pracy, w którym będziesz się dobrze bawić, nawiązywać przyjaźnie i rozwijać się zawodowo.