Starszy inżynier danych w Cybernetic Controls Ltd

Пряме повідомлення учасника, який розмістив вакансію, з Cybernetic Controls Ltd Bushra Shahzaib Bushra Shahzaib Międzynarodowy specjalista ds. rekrutacji | Ekspert administracyjny | Freelance Content Writer PrzeglądCCL tworzy wysokiej jakości ramy automatyzacji i dostosowane do indywidualnych potrzeb rozwiązania programowe dla firm, aby pomóc organizacjom ulepszyć ich procesy operacyjne oraz zmniejszyć ogólne ryzyko i zwiększyć wydajność. Innym kluczowym celem CCL jest zapewnienie większej przejrzystości firmom i organom regulacyjnym. CCL pasjonuje się także usuwaniem marnotrawstwa i upraszczaniem życia. W CCL uważamy, że równie ważne jest, abyś czuł, że jesteśmy odpowiednią firmą dla Ciebie, a także że Ty jesteś dla nas odpowiednią firmą. Dlatego chcemy dzielić się z Tobą wartościami naszej firmy. Wartości te powstały w wyniku wspólnego wysiłku naszych pracowników i są integralną częścią naszej firmy. Te zachowania leżą u podstaw wszystkiego, co robimy i pomagają stworzyć pozytywną kulturę w CCL. Przeczytaj więcej na stronie Cybernetic Controls. Nasz Klient: Jesteśmy wielokrotnie nagradzaną firmą RegTech, której misją jest zmiana jakości raportowania regulacyjnego w branży usług finansowych. Połączyliśmy wiedzę regulacyjną z zaawansowaną technologią, aby opracować nasze wiodące na rynku usługi zapewniania jakości. Nasze usługi charakteryzują się wyjątkową możliwością pełnej oceny jakości danych i są wykorzystywane przez niektóre z największych na świecie banków inwestycyjnych, zarządzających aktywami, fundusze hedgingowe i brokerów, pomagając im obniżyć koszty, poprawić jakość i zwiększyć zaufanie do sprawozdawczości regulacyjnej.Streszczenie stanowiskaNasz klient poszukuje starszego inżyniera danych, który dołączy do naszego szybko rozwijającego się zespołu. Wybrany kandydat dołączy do zespołu testowego, aby pracować nad zadaniami ETL i programistycznymi. To ekscytująca i pełna wyzwań szansa na zbudowanie nowych potoków łączących i przetwarzających duże ilości ustrukturyzowanych danych z różnych źródeł za pomocą PySparkat na wyciągnięcie ręki. Kluczowe obowiązkiArchitektowanie i budowanie potoków przy użyciu rozwiązań chmurowych AWS, które udostępniają dane z niezawodnością i łatwością konserwacji , wydajność, skalowalność, dostępność i bezpieczeństwo. Twórz kod w Pythonie i/lub Spark (najlepiej PySpark, ale Spark-Scala też warto mieć) implementujący złożone transformacje danych. Projektuj i utrzymuj bazy danych oraz interfejsy API do przechowywania i przesyłania danych pomiędzy aplikacjami .Monitoruj potoki w środowisku produkcyjnym (i opracowuj narzędzia ułatwiające to). Współpracuj z innymi członkami zespołu (burza mózgów, rozwiązywanie problemów i przegląd kodu). Współpracuj z innymi zespołami programistów, aby zapewnić integralność potoków danych. Umiejętności, wiedza i doświadczenie Umiejętności: Doskonała Programowanie w Pythonie i PySpark (w tym ramki danych Pandas/PySpark, połączenia internetowe i bazy danych)Doskonała znajomośćg procesów ETL w ramach Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Najlepsze praktyki w zakresie cyklu życia oprogramowania Rozwój oparty na testach Przetwarzanie bezserwerowe (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 itp.) .)Projektowanie i zarządzanie bazami danych SQL i NoSQL (DynamoDB, MySQL)Dobra umiejętność kodowania SQL (Spark-SQL, Presto SQL, MySQL itp.)Infrastruktura jako kod (CloudFormation)Doświadczenie w skryptowaniu powłoki (najlepiej Linux)Kontrola wersji za pomocą Git/ Zasady, procesy i narzędzia GithubAgile Doskonałe umiejętności komunikacji pisemnej i werbalnej. Doświadczenie: Projektowanie, wdrażanie i zarządzanie złożonymi potokami danych produkcyjnych, które współdziałają z szeregiem źródeł danych (systemy plików, sieć, baza danych, użytkownicy). Duże doświadczenie z Amazon Web Services (AWS) )5 lat pracy na podobnym stanowisku.Wiedza:Modelowanie danych, architektura potoków danych, wdrażanie Big Data.Dobre praktyki w zakresie cyklu życia oprogramowania.Wiedza finansowa będzie dodatkowym atutem. Kwalifikacje/szkolenia: Licencjat lub równoważny w dziedzinie informatyki lub pokrewnego przedmiotu. Co otrzymasz w zamian Konkurencyjny pakiet wynagrodzeń Prywatna składka na opiekę zdrowotną Roczny przegląd wynagrodzeń Regularne spotkania towarzyskie w zespole Praca w kulturze innowacji i współpracy Możliwość odegrania kluczowej roli w pionierskiej, rozwijającej się firmie Pokaż więcej Pokaż mniej Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов'язки Ін формаційні технології Галузі Розробка програмного забезпечення