Starszy/główny inżynier danych w Quantum

Quantum jest globalnym partnerem technologicznym dostarczającym wysokiej klasy oprogramowanie, które rozwiązuje rzeczywiste problemy. Wykorzystuj nowe technologie w celu uzyskania nieszablonowych rozwiązań. Koncentrujemy się na uczeniu maszynowym, widzeniu komputerowym, głębokim uczeniu się, GIS, MLOps, Blockchain i nie tylko. Tutaj, w Quantum, poświęcamy się tworzeniu najnowocześniejszych rozwiązań, które skutecznie rozwiązują palące problemy stojące przed biznesem i światem. Do tej pory nasz zespół wyjątkowych ludzi pomógł już wielu organizacjom na całym świecie osiągnąć przywództwo technologiczne. Stale odkrywamy nowe sposoby rozwiązywania niekończących się wyzwań biznesowych poprzez wdrażanie nowych technologii, nawet jeśli nie ma jeszcze najlepszych praktyk. Jeśli podzielasz naszą pasję do rozwiązywania problemów i wywierania wpływu, dołącz i ciesz się poznaniem naszego bogatego doświadczenia! O stanowisku Quantum powiększa zespół i ma wspaniałe możliwości dla Lead Data Engineer. Klientem jest technologiczna firma badawcza, która wykorzystuje zastrzeżone analizy oparte na sztucznej inteligencji i modele językowe, aby zapewnić kompleksowy wgląd w globalne akcje we wszystkich językach. Naszą misją jest wypełnienie luki w wiedzy w świecie inwestycji i umożliwienie inwestorom wszelkiego rodzaju stania się „superinwestorami”. Dzięki naszej technologii generatywnej sztucznej inteligencji wdrożonej w platformach maklerskich i infrastrukturach innych instytucji finansowych, oferujemy natychmiastowe analizy fundamentalne światowych akcji wraz z dostosowanymi do indywidualnych potrzeb strategiami inwestycyjnymi, umożliwiając świadome inwestowanie decyzje dla milionów inwestorów na całym świecie. Wymagane umiejętności: Co najmniej 5 lat na stanowisku inżyniera danych lub odpowiednie doświadczenie z wiodącymi umiejętnościami. Znajomość Spark/PySpark. Solidna znajomość języka Python (opcjonalnie Java może być dostępna, ale baza kodu to Python) i zrozumienie projektowania obiektowego. Praktyczne doświadczenie w optymalizacji wydajności zadań Spark, wiedza na temat wdrażania Spark, zarządzania zasobami dla zadań Spark. Zrozumienie różnicy pomiędzy OLAP i OLTP: System operacyjny vs system przetwarzania danych. Znajomość abstrakcji modeli danych: hurtownia danych, Lakehouse. Oraz modele danych: Architektura medalionowa, schemat startowy, szerokie tabeleZnajomość technologii SQL i NoSQLCo najmniej średniozaawansowany poziom języka angielskiego (w mowie i piśmie)Będzie plus:Apache Storm, Apache Flink, GCP Data Flow, Apache BeamApache Hadoop, Apache Hive, Snowflake, Dremio, RedshiftAirflow, Prefect, Airbyte Dobra praktyczna znajomość AWS Glue lub Amazon EMR i powiązanych narzędzi W kontekście doświadczenia w analizie danych z Apache Pulsar, Kafka, KinesisPresto/Trino, AthenaZrozumienie różnicy pomiędzy partiami i strumieniami. A także — różnica między strumieniem aqueue a strumieniem danych. Kontrola jakości danych: pochodzenie danych, jakość danych itp. Wzorce architektury wiedzy, takie jak lambda, kappa, siatka danych. Twoje zadania będą obejmować: Tworzenie architektury rozwiązań produkcyjnych, sugerowanie rozwiązań ulepszeńBudowanie i utrzymywanie potoków danych do ekstrakcji, transformacja i ładowanie danychZarządzanie bazami danych, zapewnienie spójności, integralności i bezpieczeństwa danychWykrywanie i rozwiązywanie problemów z wydajnością na poziomie architektury, projektu i koduTworzenie solidnych testów jednostkowych i integracyjnych zgodnie ze standardami organizacyjnymiGenerowanie rozwiązań technicznych dla zadańTworzenie planów projektów, estimate BudgetsWspółpraca z projektantami, programistami i właścicielami produktówBierz udział w przedsprzedaży, analizuj zadania, komunikuj się z klientamiOferujemy:Dostarczanie wysokiej klasy projektów oprogramowania, które rozwiązują rzeczywiste problemyeksperci z otoczenia, którzy są gotowi do profesjonalnego rozwojuPlan rozwoju zawodowego i wsparcie lidera zespołuPrzejęcie odpowiedzialności za prace badawczo-rozwojowe i istotne społecznie projektyUczestnictwo w ogólnoświatowych konferencjach i konkursach technologicznychBiorąc udział wregularnych działaniach edukacyjnychBycie poza wielokulturową firmą z wesołą i wesołą atmosferąPraca z dowolnego miejsca z elastycznymi godzinami pracyPłatne urlopy i dni zwolnień lekarskichDołącz do Quantum i wkrocz o krok w stronę przyszłości opartej na danych.