Inżynier/architekt danych (databricks) w Sphere Partners

26 czerwca 2024

Inżynier/architekt danych (Databriks)

віддалено

Sphere Współpracuje z klientami w celu transformacji ich organizacji, osadzania technologii i procesów we wszystkim, co robią, i umożliwiają trwałą przewagę konkurencyjną. Łączymy globalną wiedzę specjalistyczną z lokalną wiedzą, aby pomóc ludziom i firmom w urzeczywistnieniu ich ambitnych celów. W Sphere stawiamy ludzi na pierwszym miejscu i staramy się być twórcami zmian, budując lepszą przyszłość dzięki innowacjom i technologii. Sphere pomaga znanej międzynarodowej firmie we wprowadzaniu innowacji i wprowadzaniu na rynek nowych platform i poszukuje  inżyniera/architekta danych (Databriks) , który dołączy do naszego zespołu.

< /p> Obowiązki obejmują między innymi:

• współpracę z analitykami danych, analitykami i innymi inżynierami przy projektowaniu i opracowywaniu złożonych potoków pozyskiwania danych przy użyciu różnych źródeł danych;
• Tworzenie zadań/przepływów pracy Databricks i zarządzanie nimi oraz zarządzanie dostępem do wrażliwych danych;
• Rozwijanie usług zapewniających dokładne i istotne informacje w zależności od kontekstu użytkownika przy użyciu ogromnych zbiorów danych i różnych LLM, w tym integracji OpenAI;
• Poprawa jakości odpowiedzi w zależności od kontekstu użytkownika i wykorzystania frameworków LLM, takich jak LlamaIndex i Langchain;
• Pisanie czystego, wydajnego i dobrze udokumentowanego kodu, który może być łatwo utrzymywany i rozwijany przez zespół;
• W razie potrzeby zapewnij wsparcie dla krytycznych systemów produkcyjnych.

Wymagania:

• Dobra wiedza na temat projektowania i wdrażania potoków danych, w tym technik transformacji danych i przechowywania danych najlepsze praktyki optymalizacji i bezpieczeństwa danych;
• Doświadczenie z Databricks (notatniki Databricks, przepływy pracy, katalog Unity);
• Zaawansowana znajomość języka SQL i duże doświadczenie z relacyjnymi bazami danych, w tym wiedza z zakresu pisania złożonych zapytań i znajomość różnych systemów baz danych;
• Doświadczenie z narzędziami AI, takimi jak (Llama, ChatGTP, DBRX), Spark i Python;
• Certyfikat Databricks (preferowany);
• Płynna znajomość języka angielskiego.

Sphere oferuje konkurencyjne i satysfakcjonujące wynagrodzenie i pakiet świadczeń, a także środowisko pracy stymulujące intelektualnie i twórczo, elastyczność i wyjątkowe możliwości podróży międzynarodowych.