Starszy inżynier danych w Osavul

17 lipca 2024 miltech

Starszy inżynier danych

віддалено

Czy pasjonujesz się ochroną krajów, społeczeństw i firm przed manipulacją i dezinformacją w Internecie? Nie szukaj dalej! Nasza szybko rozwijająca się firma z pasją angażuje się w tę kluczową misję, oferując Ci uprzywilejowaną możliwość współpracy z niektórymi z najbardziej wpływowych organizacji na świecie, w tym z NATO i UE. Jako zespół ukraiński jesteśmy zdeterminowani, aby wprowadzić istotne i znaczące zmiany!

Jeśli chcesz dołączyć do dynamicznego zespołu pracującego na rzecz wspólnej wizji bezpieczniejszego cyfrowego świata, zapraszamy Cię do wzięcia udziału naszej podróży. Kształtuj z nami przyszłość i pomóż bronić się przed zagrożeniami internetowymi dzięki celowości i innowacjom.

Opis roli:

Poszukujemy doświadczonego starszego inżyniera danych z dogłębną znajomością hurtowni i przetwarzania danych w celu ulepszenia naszej infrastruktury danych. Będziesz odpowiedzialny za zaprojektowanie i wdrożenie architektury danych mocno obciążonego systemu, pracę z treściami tekstowymi i multimedialnymi, ich wektorową reprezentacją (osadzenie), danymi statystycznymi w czasie rzeczywistym i danymi graficznymi (połączenia między różnymi aktorami). Twoje rozwiązania w zakresie danych będą zasilać naszą skierowaną do klienta platformę AI, usprawniając nasze wyszukiwanie, wzbogacanie danych AI, RAG i nie tylko.

Jeśli pasjonujesz się inżynierią danych, potrafisz optymalizować przepływy pracy z danymi i specjalizujesz się w projektowaniu skalowalnych rozwiązań dla skomplikowanych systemów, ta oferta jest stworzona dla Ciebie.

Obowiązki:

• Wdrażanie i wspieranie jeziora danych, hurtowni danych i odpowiednich magazynów danych dla różnych typów danych: tekstów, wektorów, statystyk , wykresy.
• Implementuj potoki ETL, aby zapełnić różne magazyny wzbogaconymi danymi i zagwarantować spójność danych.
• Wdróż narzędzia do standaryzowanych wewnętrznych i zewnętrznych zapytań o dane w różnych formatach i miejscach, w tym wyszukiwanie pełnotekstowe, wyszukiwanie podobieństw wektorowych, agregacje analityczne i przeszukiwanie grafów.
• Współpracuj z zespołem pobierającym dane nad formatem danych i procesem ich przetwarzania.
• Podziel złożone problemy na wykonywalne zadania.
• Monitoruj wydajność systemu, upewnij się, że spójność danych i opóźnienie aktualizacji spełniają wymagania produktu.

Wymagane umiejętności i możliwości:

• Znajomość języka programowania Python i bibliotek do przetwarzania danych, takich jak pandy i numpy.
• Doświadczenie z Elasticsearch lub podobną technologią do wyszukiwania pełnotekstowego
• Doświadczenie produkcyjne z osadzaniem i wysokoobciążonymi magazynami wektorowymi (Milvus, Quadrant, Pinecone lub podobne).
• Biegła znajomość SQL i analitycznych baz danych Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB.
• Doświadczenie w budowie rurociągów RAG.
• Doświadczenie we wdrożeniach kontenerów Docker w K8.
• Silne poczucie własności i umiejętność radzenia sobie ze złożonymi, abstrakcyjnymi problemami.
• Możliwość pisania wydajnego i skalowalnego kodu oraz testów jednostkowych w celu zapewnienia spójności w całym kodzie.
• Duch zespołowy i umiejętność skutecznej współpracy wi inni.
• Umiejętność sformułowania jasnej strategii; zamapuj i wykonaj niezbędne kroki, aby przyspieszyć realizację celów strategicznych firmy.

Minimalne kwalifikacje:

• Tytuł licencjata lub magistra w dziedzinie informatyki, inżynierii lub pokrewnej dziedzinie.
• Minimum 5 lat doświadczenia na stanowisku inżyniera danych lub na podobnym stanowisku, szczególnie w pracy nad zadaniami związanymi z przetwarzaniem i przechowywaniem danych, ze znajomością złożonych architektur danych.
• Doświadczenie w budowaniu potoków danych wraz ze zrozumieniem pozyskiwania danych oraz przekształcania danych ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych w usługach w chmurze.
• Doświadczenie we wdrażaniu rozwiązań danych, które działają pod dużym obciążeniem i przetwarzają duże ilości danych.
• Doświadczenie w modelach osadzania tekstu i osadzaniu magazynów.
• Znajomość systemów konteneryzacji (Docker) i orkiestracji (Kubernetes), Linux i skryptów powłoki.

Preferowane kwalifikacje:

• Doświadczenie w pracy z danymi medialnymi będzie dodatkowym atutem.
• Doświadczenie w potokach przesyłania strumieniowego.
• Doświadczenie z GCP i Google BigQuery będzie dodatkowym atutem.

• Mile widziane doświadczenie w firmie produktowej lub startupie.
• Doświadczenie z neo4j lub podobnym graphDB będzie dodatkowym atutem

Oferujemy:

• Możliwość zaprezentuj swój produkt i pomóż prestiżowym klientom, takim jak rządy i wiodące organizacje pozarządowe, w zwalczaniu zagrożeń informacyjnych i wyzwań związanych z bezpieczeństwem.
• Szansa na rozwój kariery i wejście na stanowisko kierownicze.
• Autonomia i swoboda eksperymentowania i wdrażania własnych pomysłów.
• Jeśli staniesz się kluczowym współtwórcą, zostaniesz także nagrodzony naszym programem rekompensat za akcje.
• Elastyczność w pełni zdalnej pracy z możliwością wykorzystania naszej tętniącej życiem przestrzeni coworkingowej w Kijowie na Ukrainie.

Złóż wniosek już teraz i weź udział w misji, która naprawdę ma znaczenie!