Inżynier operacyjny ML w Solvd Inc

12 września 2024 r

Inżynier ML Ops

Київ, віддалено

Solvd Inc. jest wiodącą firmą zajmującą się inżynierią oprogramowania. Mamy 8 biur na całym świecie i zatrudniamy ponad 800 pracowników z całego świata. Dzięki ponad 12-letniemu doświadczeniu, wysoko wykwalifikowanym zespołom na całym świecie i głębokiej wiedzy branżowej pomagamy klientom tworzyć oprogramowanie, które usprawnia ich działalność i otwiera nowe rynki. Stworzyliśmy imponującą listę klientów korporacyjnych z branży cyfrowej, w tym niektóre z największych marek w handlu detalicznym i mediach społecznościowych.

Poszukujemy doświadczonego inżyniera operacyjnego ML , który dołączy do naszego dynamicznego zespołu.

Na tym stanowisku będziesz odpowiedzialny za zarządzanie infrastrukturą uczenia maszynowego i wdrażanie modeli w środowiskach produkcyjnych. Będziesz pracować z narzędziami takimi jak AWS, AWS CloudFormation, AWS SageMaker i platforma Databricks, w tym Unity Catalog, w celu optymalizacji i utrzymania naszych kompleksowych potoków ML.

Kluczowe obowiązki:

• Zarządzanie infrastrukturą ML: Projektowanie, zarządzanie i utrzymywanie skalowalnej infrastruktury ML przy użyciu usług AWS, takich jak EC2, SageMaker, S3, i szablony CloudFormation.
• Wdrażanie modelu: zautomatyzuj wdrażanie modeli uczenia maszynowego w środowisku produkcyjnym za pomocą AWS SageMaker i Databricks, zapewniając ciągłą dostępność i wydajność.
• CloudFormation Automation: użyj AWS CloudFormation do definiowania i udostępniania infrastruktury dla obciążeń ML, zapewniając infrastrukturę zgodnie z najlepszymi praktykami w zakresie kodu.
• Zarządzanie danymi i nadzorowanie: Wykorzystaj Databricks Unity Catalog do zarządzania danymi, bezpieczeństwa i zgodności, zapewniając wysoką jakość danych i usprawnione procesy szkolenia modeli.
• Monitorowanie i optymalizacja: wdrażaj i monitoruj modele w środowisku produkcyjnym, korzystając z narzędzi takich jak rozwiązania monitorujące AWS CloudWatch i Databricks. Eliminuj wąskie gardła wydajności i zapewniaj dokładność modelu w miarę upływu czasu.
• Współpraca z zespołami zajmującymi się danymi: ścisła współpraca z analitykami i inżynierami danych, aby usprawnić przepływy pracy związane z opracowywaniem i produkcją modeli, zapewniając bezproblemową współpracę.
• Zautomatyzowane potoki ML : twórz i utrzymuj potoki CI/CD dla modeli ML przy użyciu AWS i Databricks. Upewnij się, że modele są stale testowane, monitorowane i przeszkolone, jeśli to konieczne.

Wymagane umiejętności:

• Znajomość AWS: Dobra znajomość usług AWS, w tym AWS SageMaker, CloudFormation, EC2, S3, i CloudWatch.
• CloudFormation: doświadczenie w tworzeniu, zarządzaniu i automatyzacji zasobów AWS przy użyciu szablonów AWS CloudFormation.
• Doświadczenie w zakresie Databricks: wiedza specjalistyczna w zakresie platformy Databricks i Unity Catalog z możliwością zarządzania potokami danych na dużą skalę i zapewniania wydajności modelu na dużą skalę.
• Wdrożenie ML: udokumentowane doświadczenie we wdrażaniu modeli uczenia maszynowego w środowiskach produkcyjnych przy użyciu AWS SageMaker i Databricks.
• Potoki CI/CD: solidne zrozumienie potoków CI/CD i kontroli wersji, szczególnie w kontekście modeli uczenia maszynowego.
• Umiejętności programowania: Dobra umiejętność kodowania w Pythonie ze znajomością bibliotek ML, takich jak TensorFlow, PyTorch i scikit-learn.
• Monitorowanie i rejestrowanie: doświadczenie w konfigurowaniu monitorowania i rejestrowania modeli produkcyjnych oraz zarządzaniu nimi, śledzeniu wydajności i wykrywaniu anomalii.
• Nastawienie DevOps: Znajomość zasad DevOps i automatyzacji infrastruktury, z doświadczeniem w korzystaniu z Dockera, Kubernetesa lub innych narzędzi do konteneryzacji/orkiestracji.