Remote Senior Data Engineer in Varwise

Wir suchen Dateningenieure, die remote für ein Adtech-Unternehmen arbeiten, das maschinelles Lernen und Datenwissenschaft nutzt, um einen Identitätsgraphen zu erstellen, der skaliert werden kann, um Millionen von Benutzern über Marken mit programmatisch ausgewählten Haushalten zu erreichen. Die Arbeit umfasst die Skalierung unseres Big-Data-Assets, das Milliarden von Transaktionsdatenpunkten einschließlich Absichten, Konvertierungen und First-Party-Daten in einem Identitätsdiagramm kombiniert, das auf eine zukünftige Welt ohne Cookies skaliert werden muss. Wir legen Wert auf technische Exzellenz und Sie werden sowohl Ressourcen als auch Zeit dafür haben liefern erstklassigen Code. Dies ist eine 100 % Remote-Position. Sie werden mit Teammitgliedern in NYC zusammenarbeiten. Wenn Sie gerne schwierige und technisch anspruchsvolle Probleme lösen, kommen Sie zu uns und nutzen Sie diese Fähigkeiten, um gleichzeitige, global verteilte Systemanwendungen und -dienste in Echtzeit zu erstellen. Rekrutierungsprozess: Kurzes Gespräch mit Varwise. Erstes Gespräch mit dem Personalmanager oder einem Teammitglied. Herausforderung zum Mitnehmen. Folge- und abschließende technische Interviewsitzung. Mindestens 8 Jahre relevante Berufserfahrung, einschließlich Java/Scala und Spark. Kenntnisse in allen Aspekten von SDLC, vom Konzept bis zum Betrieb von Produktionssystemen Kenntnisse im Umgang mit Spark (PySpark) oder Tensorflow. Erfahrung in der Teilnahme an ETL- und ML-Pipeline-Projekten auf Basis von Airflow, Kubeflow, Mleap, Sagemaker oder ähnlichen AWS-Erfahrungen, einschließlich Kafka, Lambda, Glue, Athena, IAM-Datenbankerfahrung im großen Maßstab, sowohl SQL- als auch NOSQL-Datenbanken wie Postgresql, Cassandra, Neo4j, Neptune oder ähnliches. Erfahrung mit großen Datenverwaltungsformaten und Frameworks wie Parquet ORC, Databricks / Delta Lake, Iceberg oder Hudi. Bachelor-Abschluss in Informatik oder einer verwandten Disziplin. Wir suchen Dateningenieure, die aus der Ferne arbeiten für ein Adtech-Unternehmen, das maschinelles Lernen und Datenwissenschaft nutzt, um ein Identitätsdiagramm zu erstellen, das skaliert werden kann, um Millionen von Benutzern über Marken mit programmatisch ausgewählten Haushalten zu erreichen. Die Arbeit umfasst die Skalierung unseres Big-Data-Assets, das Milliarden von Transaktionsdatenpunkten einschließlich Absichten, Konvertierungen und First-Party-Daten in einem Identitätsdiagramm kombiniert, das auf eine zukünftige Welt ohne Cookies skaliert werden muss. Wir legen Wert auf technische Exzellenz und Sie werden sowohl Ressourcen als auch Zeit dafür haben liefern erstklassigen Code. Dies ist eine 100 % Remote-Position. Sie werden mit Teammitgliedern in NYC zusammenarbeiten. Wenn Sie gerne schwierige und technisch anspruchsvolle Probleme lösen, kommen Sie zu uns und nutzen Sie diese Fähigkeiten, um gleichzeitige, global verteilte Systemanwendungen und -dienste in Echtzeit zu erstellen. Rekrutierungsprozess: Kurzes Gespräch mit Varwise. Erstes Gespräch mit dem Personalmanager oder einem Teammitglied. Herausforderung zum Mitnehmen. Folge- und abschließende technische Interviewsitzung. [Arbeiten Sie an der Erstellung und Wartung zuverlässiger und skalierbarer verteilter Datenverarbeitungssysteme. Werden Sie ein zentraler Betreuer des Data Lake. Pflegen Sie unsere Data Lake durch Aufbau durchsuchbarer Datensätze für breitere Geschäftsanwendungen, Skalierung, Fehlerbehebung und Behebung bestehender Anwendungen und Dienste, Besitz eines komplexen Satzes von Diensten und Anwendungen, Konzentration auf die Sicherstellung, dass unsere Datenpipelines rund um die Uhr laufen, Leitung technischer Diskussionen, die zu Verbesserungen bei Tools führen , Prozesse oder Projekte, Arbeiten Sie an der Skalierung unseres Identitätsdiagramms, um es bereitzustellenWirkungsvolle Werbekampagnen, Arbeiten an Datensätzen mit mehr als Milliarden Datensätzen, Arbeiten an einer AWS-basierten Infrastruktur, Skalieren unserer MLOps-Plattform durch die Verwendung sowohl traditioneller ML- als auch LLM/Generative AI-basierter Anwendungen] Benutzer: Spark, AWS, Linux, NoSQL, SQL, Kafka, Java, Scala, AWS Lambda, Glue, Athena, Cassandra, Neo4j, Databricks, PySpark, Kinesis, Airflow, Jenkins, Datadog, Python, TensorFlow. Tools: Jira, GitHub, GIT, Jenkins, Agile, Kanban. Zu den Vorteilen zählen: Kleine Teams, Internationale Projekte, Teamevents, 100 % Remote Always, Internationales Team, Flache Struktur, Kostenloser Kaffee, Fahrradabstellplätze, Spielzimmer, Kostenlose Snacks, Kostenlose Getränke, Modernes Büro, Keine Kleiderordnung, Inhouse-Schulungen.