Leitender Dateningenieur in Impressit

Senior Data Engineer віддалено Impressit ist auf der Suche nach einem Senior Data Engineer, der sich einem KI/ML-Team anschließt, das an einer vollständig autonomen KI-Handelsplattform arbeitet. Was erwarten wir? – Kenntnisse in Python für die Softwareentwicklung. —Erfahrung mit SQL- und NoSQL-Datenbanken. – Vertrautheit mit Datenverwaltungstechniken wie MapReduce, Partitionierung und Spark. – Erfahrung mit Datenerfassungstools wie Kafka, Flume oder Sqoop. – Kenntnisse über MapReduce für die verteilte Datenverarbeitung. – Verständnis der Datenbankpartitionierungstechniken. – Erfahrung mit Apache Spark für die Verarbeitung großer Datenmengen. – Vertrautheit mit Feature Store zur Verwaltung von Funktionen für maschinelles Lernen. – Erfahrung in der Sicherstellung der technischen Reproduzierbarkeit von Datenpipelines. – Kenntnisse im Schreiben und Durchführen von Unit-Tests. -Erfahrung im Umgang mit Fehlern, um Fehlertoleranz und Robustheit von Handelssystemen sicherzustellen. – Kenntnisse in gerichteten azyklischen Graphen (DAGs) unter Verwendung von Airflow oder Prefect für die Workflow-Orchestrierung. – Vertrautheit mit MLFlow zur Verwaltung von Experimenten zum maschinellen Lernen. – Kenntnisse in Docker für Containerisierung. – Erfahrung mit AWS-Diensten wie S3 und Lambda für die Cloud-Bereitstellung. – Obere Mittelstufe oder höheres Englischniveau. – Bachelor-Abschluss oder höher, vorzugsweise in Software Engineering oder einem verwandten Bereich. Was werden Sie tun? – Konzentriert sich auf DataOps von der Aufnahme bis zur Bereitstellung. —Pflege und Verbesserung der Handelspipelines. – Kombinieren Sie verschiedene Datenquellen über eine API oder erstellen Sie sie zu einer einzigen Wahrheitsquelle. – Feature-Store entwickeln und Feature-Bereinigung, -Verarbeitung, -Engineering und -Überwachung von Drifts automatisieren. – Entwickeln Sie die Datenherkunft jedes Features und stellen Sie außerdem die Feature-Integrität mithilfe von Daten-Fingerprinting-Techniken sicher. – Arbeiten Sie mit Batch- und Streaming-Daten und reduzieren Sie Anomalien in Datenorganisationen in verschiedenen Finanzdatenquellen. – Erstellen, pflegen und verbessern Sie Datenpipelines mithilfe von DataOps-, MLOps- und AIOps-Frameworks. – Arbeiten Sie mit einer vollständigen Suite von Daten- und Modellinfrastruktur und -integration, z. B. SageMaker Studio. Was ist mit unseren Vorteilen? – Großzügige Urlaubszeit: 24 Tage im Jahr; —Budget für berufliche Bildung und Ausbildung; —Voller Steuerausgleich; —WOW-Teambuilding-Events; —Büro im Stadtzentrum von Lemberg; —Bezahlter Krankenstand; Wir warten darauf, dass Sie unserem WOW-Team beitreten!