Główny inżynier Big Data w KITRUM

20 lipca 2024 r

Główny inżynier Big Data

Варшава (Польща)

Wymagane umiejętności

— Ponad 5 lat doświadczenia doświadczenie w inżynierii danych, ze szczególnym uwzględnieniem technologii big data.
— Zaawansowane umiejętności obsługi Scali i/lub Pythona.
—  Biegła znajomość Apache Spark/PySpark/Spark SQL DSL
— Dogłębne doświadczenie z AWS (EC2, IAM, S3, Glue, EMR)
— Rozległa wiedza na temat procesów i narzędzi CI/CD ( Jenkins, Akcje GitHuba).
–  Biegłość w projektowaniu i architekturze potoków przetwarzania danych/baz danych (architektura Lambda, Kappa, Datalake/Lakehouse)
— Znajomość Databricks (Jobs, SQL Warehouse, OverWatch, Unity Catalog).
– Dogłębna wiedza na temat strumieniowego przesyłania danych i przetwarzania danych w czasie rzeczywistym.
– Doświadczenie z brokerami komunikatów (Kafka) i technikami przechwytywania zmian danych (CDC).
– Bieżna znajomość baz danych SQL i NoSQL.
— Poziom języka angielskiego: wyższy średniozaawansowany.

Jako plus

— Doświadczenie z Apache Airflow, w tym pisanie wtyczek i niestandardowych operatorów.
— Doświadczenie z Terraform
— Dogłębne zrozumienie usług platformy danych AWS oraz ich mocnych i słabych stron
— Doświadczenie w korzystaniu z Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins < /p>

Obowiązki

— Kierowanie projektowaniem, rozwojem i konserwacją skalowalnych i wydajnych potoków danych.
Przeprowadzaj przeglądy kodu i twórz dokumenty projektowe dla nowych funkcji.
– Zapewnij wsparcie techniczne i opiekę mentorską innym zespołom w organizacji.
– Bierz udział w spotkaniach kierownictwa, aby omówić priorytety, zakresy, terminy i zależności między zespołami.
— Tworzenie, optymalizacja i dostrajanie zadań Apache Spark (Scala, PySpark, Spark SQL).
— Wdrażaj procesy CI/CD za pomocą Jenkins i GitHub Actions.
— Projektuj i wdrażaj potoki przetwarzania danych przy użyciu usług AWS i GCP.
– Pracuj z Apache Airflow, aby zarządzać przepływami pracy i automatyzować je, w tym tworzyć niestandardowe wtyczki.
– Wykorzystuj Databricks do planowania zadań, przechowywania danych SQL i wizualizacji danych.

Oferujemy

— Wysokie wynagrodzenie zgodne z Twoimi umiejętnościami technicznymi;
— Ciekawe projekty ze świetnymi Klientami;
— 5-dniowy tydzień pracy, 8-godzinny dzień pracy, elastyczny grafik;
— Demokratyczny styl zarządzania i przyjazne środowisko;
— W pełni zdalny;
— Roczny płatny urlop – 30 b/dni + bezpłatny urlop;
— Płatne zwolnienia lekarskie – 6 b/dni w roku;
— Dodatki korporacyjne (szkolenia zewnętrzne, kursy języka angielskiego, imprezy firmowe/budowanie zespołu);
— Rozwój zawodowy i osobisty.

Opis projektu

Klient to amerykańska usługa subskrypcji e-booków i audiobooków obejmująca milion tytułów. Platforma udostępnia 60 milionów dokumentów na otwartej platformie wydawniczej.
Platforma umożliwia:
— każdemu dzielenie się swoimi pomysłami ze światem;
— dostęp do audiobooków;
— dostęp do światowych kompozytorów publikujących swoją muzykę;
— zawiera artykuły od prywatnych wydawców i czasopism światowych;
– umożliwia dostęp do ekskluzywnych treści.

Platforma podstawowa zapewnia solidne i podstawowe oprogramowanie, zwiększające doskonałość operacyjną w celu skalowaniaps i dane. Koncentrujemy się na budowaniu, testowaniu, wdrażaniu aplikacji i infrastruktury, które pomogą innym zespołom szybko skalować, współdziałać, integrować z danymi w czasie rzeczywistym i włączać uczenie maszynowe do swoich produktów. Współpracując z naszymi klientami z działów nauki o danych i inżynierii treści oraz naszymi współpracownikami z zespołów ds. narzędzi wewnętrznych i infrastruktury, zapewniamy widoczność na poziomie systemów i skupienie się na naszych projektach.

Celem klienta nie jest całkowita doskonałość architektoniczna lub projektowa, ale raczej wybór właściwych kompromisów, aby osiągnąć równowagę między szybkością, jakością i kosztami.

Opis firmy

KitRUM to kompleksowa firma zajmująca się tworzeniem oprogramowania na zamówienie z siedzibą na słonecznej Florydzie i centrami programistycznymi na Ukrainie i w Polsce.
Dysponując pulą ponad 300 najwyższej klasy zasobów inżynieryjnych, pomagamy dyrektorom naczelnym startupów wspieranych przez VC i szybko rozwijających się firm technologicznych w USA, UE i Australii w tworzeniu niestandardowych zespołów inżynierów oprogramowania wypełnionych najwyższej klasy talentami.

Dlaczego my?

Zdajemy sobie sprawę, że jedną z najważniejszych rzeczy dla programistów — są odpowiedni klienci i fascynujące projekty. Dlatego kwalifikujemy naszych klientów, aby mieć pewność, że:
— mają pomysł, który ich zdaniem uczyni świat lepszym miejscem;
— myśl długoterminowo i szukaj zaufanego partnera technologicznego;
— chcą polegać na mikrozarządzaniu i unikać go;
— nie są pieprzonymi kretynami :-)

Śledź nasz zespół na Instagramie, aby dowiedzieć się więcej o naszym codziennym życiu :)
Uwielbiamy nawiązywać nowe znajomości na tablicy!