Leitender Dateningenieur in Cybernetic Controls Ltd

Vor Kurzem wurde ich von Cybernetic Controls Ltd. Bushra Shahzaib Bushra Shahzaib International Recruitment Specialist | Verwaltungsexperte | Übersicht über freiberufliche Content-AutorenCCL erstellt hochwertige Automatisierungs-Frameworks und maßgeschneiderte Softwarelösungen für Unternehmen mit dem Ziel, Organisationen dabei zu helfen, ihre betrieblichen Prozesse zu verbessern, das Gesamtrisiko zu reduzieren und die Effizienz zu steigern. Ein weiteres wichtiges Ziel von CCL besteht darin, mehr Transparenz für Unternehmen und Regulierungsbehörden zu ermöglichen. CCL legt außerdem großen Wert darauf, Verschwendung zu beseitigen und die Dinge einfacher zu machen. Bei CCL ist es für uns genauso wichtig, dass Sie das Gefühl haben, dass wir das richtige Unternehmen für Sie sind und dass Sie der Richtige für uns sind. Deshalb möchten wir unsere Unternehmenswerte mit Ihnen teilen. Diese Werte wurden als Gemeinschaftsarbeit unserer Mitarbeiter geschaffen und sind integraler Bestandteil unseres Unternehmens. Diese Verhaltensweisen bilden die Grundlage für alles, was wir tun, und tragen dazu bei, eine positive Kultur innerhalb von CCL zu schaffen. Lesen Sie mehr auf der Website von Cybernetic Controls. Unser Kunde: Wir sind ein mehrfach preisgekröntes RegTech-Unternehmen mit der Mission, die Qualität der regulatorischen Berichterstattung in der Finanzdienstleistungsbranche zu verändern. Wir haben regulatorisches Fachwissen mit fortschrittlicher Technologie kombiniert, um unsere marktführenden Qualitätssicherungsdienste zu entwickeln. Einige der weltweit größten Investmentbanken, Vermögensverwalter, Hedgefonds und Broker nutzen unsere Dienstleistungen als Einzige, da sie in der Lage sind, die Datenqualität vollständig zu bewerten. Sie helfen ihnen dabei, Kosten zu senken, die Qualität zu verbessern und das Vertrauen in ihre aufsichtsrechtliche Berichterstattung zu stärken.AuftragsübersichtUnser Kunde sucht einen Senior Data Engineer zur Verstärkung unseres schnell wachsenden Teams. Der erfolgreiche Kandidat wird dem Testteam beitreten, um an ETL- und Entwicklungsaufgaben zu arbeiten. Dies ist eine spannende und herausfordernde Gelegenheit, neue Pipelines aufzubauen, die große Mengen strukturierter Daten aus verschiedenen Quellen mit der Leistung von PySpark kombinieren und verarbeiten. Hauptaufgaben: Entwerfen und erstellen Sie Pipelines mithilfe von AWS-Cloud-Computing-Lösungen, die Daten robust und wartbar verfügbar machen , Effizienz, Skalierbarkeit, Verfügbarkeit und Sicherheit. Entwickeln Sie Python- und/oder Spark-Code (vorzugsweise PySpark, aber auch Spark-Scala ist gut), der komplexe Datentransformationen implementiert. Entwerfen und pflegen Sie Datenbanken und APIs für die Speicherung und Übertragung von Daten zwischen Anwendungen .Überwachen Sie Pipelines in der Produktion (und entwickeln Sie Tools, um dies zu erleichtern).Arbeiten Sie mit anderen Teammitgliedern zusammen (Brainstorming, Fehlerbehebung und Codeüberprüfung).Arbeiten Sie mit anderen Entwicklungsteams zusammen, um die Integrität von Datenpipelines sicherzustellen.Fähigkeiten, Wissen und FachwissenFähigkeiten:Ausgezeichnet Python- und PySpark-Programmierung (einschließlich Pandas/PySpark-Datenrahmen, Web- und Datenbankverbindungen) Hervorragendes Verständnisg von ETL-Prozessen innerhalb von Amazon Web Services (AWS)Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake FormationBest Practices für den SoftwareentwicklungslebenszyklusTestgetriebene EntwicklungServerloses Computing (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 usw .)SQL- und NoSQL-Datenbankdesign und -verwaltung (DynamoDB, MySQL)Ausgeprägte SQL-Codierungskenntnisse (Spark-SQL, Presto SQL, MySQL usw.)Infrastruktur als Code (CloudFormation)Erfahrung in Shell-Scripting (vorzugsweise Linux)Versionskontrolle mit Git/ GithubAgile Prinzipien, Prozesse und ToolsAusgezeichnete schriftliche und mündliche Kommunikationsfähigkeiten.Erfahrung:Entwerfen, Bereitstellen und Verwalten komplexer Produktionsdatenpipelines, die mit einer Reihe von Datenquellen (Dateisysteme, Web, Datenbank, Benutzer) interagieren.Ausgeprägte Erfahrung mit Amazon Web Services (AWS). )5 Jahre Arbeit in einer ähnlichen Rolle.Kenntnisse:Datenmodellierung, Datenpipeline-Architektur, Big-Data-Implementierung.Best Practices für den Softwareentwicklungslebenszyklus.Finanzkenntnisse wären von Vorteil. Qualifikationen/Ausbildung:Bachelor-Abschluss oder gleichwertiger Abschluss in Informatik oder einem verwandten Fach.Was Sie als Gegenleistung erhaltenKonkurrenzfähiges GehaltspaketPrivater GesundheitsbeitragJährliche GehaltsüberprüfungRegelmäßige TeamtreffenArbeiten in einer Kultur der Innovation und ZusammenarbeitMöglichkeit, eine Schlüsselrolle in einem zukunftsweisenden Wachstumsunternehmen zu spielen Mehr anzeigen Weniger anzeigen Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов'язки ІнFORMATIK TECHNOLOGIї Галузі зробка програмного забезпечення