Starszy/główny inżynier danych w Quantum

Quantum to globalny partner technologiczny dostarczający wysokiej klasy oprogramowanie, które rozwiązuje rzeczywiste problemy.

Udoskonalamy nowe technologie w celu uzyskania nieszablonowych rozwiązań. Koncentrujemy się na uczeniu maszynowym, widzeniu komputerowym, głębokim uczeniu się, GIS, MLOps, Blockchain i nie tylko.

W Quantum jesteśmy zaangażowani w tworzenie najnowocześniejszych rozwiązań które skutecznie rozwiązują palące problemy stojące przed przedsiębiorstwami i światem. Do tej pory nasz zespół wyjątkowych ludzi pomógł już wielu organizacjom na całym świecie osiągnąć wiodącą pozycję technologiczną.

Nieustannie odkrywamy nowe sposoby rozwiązywania niekończących się wyzwań biznesowych poprzez wdrażanie nowych technologii, nawet jeśli nie ma jeszcze najlepsze praktyki. Jeśli podzielasz naszą pasję do rozwiązywania problemów i wywierania wpływu, dołącz do nas i poznaj nasze bogate doświadczenie!

O stanowisku

Quantum powiększa zespół i ma świetne możliwości dla głównego inżyniera danych. Klient to technologiczna firma badawcza, która wykorzystuje zastrzeżoną analizę opartą na sztucznej inteligencji i modele językowe, aby zapewnić kompleksowy wgląd w światowe akcje we wszystkich językach. Naszą misją jest wypełnienie luki w wiedzy w świecie inwestycji i umożliwienie inwestorom wszelkiego rodzaju zostania „superinwestorami”.

Dzięki naszej technologii generatywnej sztucznej inteligencji wdrażanej w platformach maklerskich i infrastrukturze innych instytucji finansowych, możemy oferują natychmiastowe analizy fundamentalne światowych akcji wraz z dostosowanymi do indywidualnych potrzeb strategiami inwestycyjnymi, umożliwiając świadome decyzje inwestycyjne milionom inwestorów na całym świecie.

Wymagane umiejętności:

— Co najmniej 5 lat na stanowisku inżyniera danych lub odpowiednie doświadczenie z wiodącymi umiejętnościami

— Znajomość Spark/PySpark

— Solidna znajomość języka Python (Java może być opcja, ale baza kodu jest w języku Python) i zrozumienie projektowania obiektowego

— Praktyczne doświadczenie w optymalizacji wydajności zadań Spark, znajomość wdrażania Spark, zarządzanie zasobami dla zadań Spark

— Zrozumienie różnicy między OLAP i OLTP: system operacyjny a system przetwarzania danych

— Znajomość abstrakcji modeli danych: hurtownia danych, Lakehouse. Oraz modele danych: architektura medalionowa, schemat startowy, szerokie tabele

— Znajomość technologii SQL i NoSQL

— Co najmniej poziom średniozaawansowany języka angielskiego (w mowie i piśmie)

— Znajomość technologii SQL i NoSQL p>

Byłby dodatkowym atutem:

— Apache Storm, Apache Flink, GCP Data Flow, Apache Beam

— Apache Hadoop, Apache Hive, Snowflake, Dremio, Redshift

— Airflow, Prefect, Airbyte

— Dobra praktyczna znajomość AWS Glue lub Amazon EMR i powiązanych narzędzi

— W kontekście doświadczenia w analizie danych z Apache Pulsar, Kafka, Kinesis

— Presto/Trino, Athena

— Zrozumienie różnicy pomiędzy wsadami i strumieniami. Oraz – różnica między kolejką a strumieniem danych

— Kontrola jakości danych: pochodzenie danych, jakość danych itp.

— Wzorce architektury wiedzy, takie jak lambda, kappa, siatka danych< /p>

Twoje zadania będą obejmować:

— Tworzenie architektury rozwiązania produkcyjnegos, proponuj rozwiązania usprawniające

— Budowanie i utrzymywanie potoków danych w celu ekstrakcji, transformacji i ładowania danych

— Zarządzanie bazami danych, zapewnianie spójności, integralności i bezpieczeństwa danych

— Zarządzanie bazami danych, zapewnianie spójności, integralności i bezpieczeństwa danych

— p>

— Wykrywaj i rozwiązuj problemy z wydajnością na poziomie architektury, projektu i kodu

— Twórz solidne testy jednostkowe i integracyjne zgodnie ze standardami organizacyjnymi

— Generuj rozwiązania techniczne dla zadań

— Twórz plany projektów, oszacuj budżety

— Współpracuje z projektantami, programistami i właścicielami produktów

— Weź udział w przedsprzedaży, analizuj zadania, komunikuj się z klientami

Oferujemy:

— Dostarczanie wysokiej klasy projektów oprogramowania rozwiązujących rzeczywiste problemy

— Otoczenie ekspertów gotowych do dalszego rozwoju zawodowego

— Plan rozwoju zawodowego i wsparcie lidera zespołu

— Przejmowanie odpowiedzialności za projekty badawczo-rozwojowe i istotne społecznie

— Udział w światowych konferencjach i konkursach technologicznych

— Branie udziału w regularnych działaniach edukacyjnych

— Bycie częścią wielokulturowej firmy, w której panuje wesoła i wesoła atmosfera

— Praca z dowolnego miejsca z elastycznymi godzinami pracy

— płatne urlopy i dni zwolnień lekarskich

Dołącz do Quantum i zrób krok w stronę przyszłości opartej na danych .