Leitender Big-Data-Ingenieur in KITRUM

20 Tage 2024

Leitender Big Data Engineer

Варшава (Polen)

Erforderliche Fähigkeiten

– 5+ Jahre Erfahrung in der Datentechnik mit Schwerpunkt auf Big-Data-Technologien.
– Fortgeschrittene Kenntnisse in Scala und/oder Python.
— Kenntnisse in Apache Spark/PySpark/Spark SQL DSL
– Umfangreiche Erfahrung mit AWS (EC2, IAM, S3, Glue, EMR)
– Umfangreiche Kenntnisse von CI/CD-Prozessen und -Tools ( Jenkins, GitHub-Aktionen).
— Kenntnisse in Datenverarbeitungspipelines/Datenbankdesign und -architektur (Lambda, Kappa, Datalake/Lakehouse-Architektur)
– Vertrautheit mit Databricks (Jobs, SQL Warehouse, OverWatch, Unity Catalog).
— Ausgeprägtes Verständnis für Daten-Streaming und Echtzeit-Datenverarbeitung.
— Erfahrung mit Message Brokern (Kafka) und Change Data Capture (CDC)-Techniken.
— Kenntnisse in SQL- und NoSQL-Datenbanken.
— Englischniveau: Obere Mittelstufe.

Als Pluspunkt

– Erfahrung mit Apache Airflow, einschließlich Schreiben von Plugins und benutzerdefinierten Operatoren.
– Erfahrung mit Terraform
– Ausgeprägtes Verständnis der AWS-Datenplattformdienste und ihrer Stärken/Schwächen
– Ausgeprägte Erfahrung mit Jira, Slack, JetBrains-IDEs, Git, GitLab, GitHub, Docker, Jenkins < /p>

Verantwortlichkeiten

– Leiten Sie den Entwurf, die Entwicklung und die Wartung skalierbarer und effizienter Datenpipelines.
Führen Sie Codeüberprüfungen durch und erstellen Sie Designdokumente für neue Funktionen.
— Bieten Sie anderen Teams innerhalb der Organisation technische Unterstützung und Mentoring.
— Nehmen Sie an Managementbesprechungen teil, um Prioritäten, Umfänge, Fristen und teamübergreifende Abhängigkeiten zu besprechen.
— Apache Spark-Jobs (Scala, PySpark, Spark SQL) entwickeln, optimieren und optimieren.
— Implementieren Sie CI/CD-Prozesse mit Jenkins und GitHub Actions.
— Entwerfen und implementieren Sie Datenverarbeitungspipelines mithilfe von AWS- und GCP-Diensten.
— Arbeiten Sie mit Apache Airflow, um Arbeitsabläufe zu verwalten und zu automatisieren, einschließlich der Entwicklung benutzerdefinierter Plugins.
– Nutzen Sie Databricks für Jobplanung, SQL-Warehousing und Datenvisualisierung.

Wir bieten

— Hohe Vergütung entsprechend Ihren technischen Fähigkeiten;
— Interessante Projekte mit tollen Kunden;
— 5-Tage-Woche, 8-Stunden-Arbeitstag, flexible Arbeitszeiten;
— Demokratischer Führungsstil und freundliches Umfeld;
— Vollständige Fernbedienung;
— Jährlicher bezahlter Urlaub – 30 b/Tage + unbezahlter Urlaub;
— Bezahlter Krankheitsurlaub – 6 b/Tage pro Jahr;
— Unternehmensvorteile (externe Schulungen, Englischkurse, Firmenveranstaltungen/Teambuildings);
— Berufliche und persönliche Weiterentwicklung.

Projektbeschreibung

Kunde ist ein amerikanischer E-Book- und Hörbuch-Abonnementdienst, der eine Million Titel umfasst. Die Plattform hostet 60 Millionen Dokumente auf ihrer offenen Veröffentlichungsplattform.
Die Plattform ermöglicht:
— jedem, seine/ihre Ideen mit der Welt zu teilen;
– Zugriff auf Hörbücher;
– Zugang zu Komponisten weltweit, die ihre Musik veröffentlichen;
– enthält Artikel von privaten Verlagen und Weltzeitschriften;
– ermöglicht den Zugriff auf exklusive Inhalte.

Core Platform bietet robuste und grundlegende Software, die die betriebliche Exzellenz steigert, um eine zu skalierenPPS und Daten. Wir konzentrieren uns auf das Erstellen, Testen und Bereitstellen von Apps und Infrastrukturen, die anderen Teams dabei helfen, schnell zu skalieren, zu interagieren, Echtzeitdaten zu integrieren und maschinelles Lernen in ihre Produkte zu integrieren. Durch die Zusammenarbeit mit unseren Kunden in den Bereichen Data Science und Content Engineering und unseren Kollegen in den Teams für interne Tools und Infrastruktur sorgen wir für Transparenz und Fokus auf Systemebene bei unseren Projekten.

Das Ziel des Kunden ist nicht die völlige architektonische oder gestalterische Perfektion, sondern vielmehr die Wahl der richtigen Kompromisse, um ein Gleichgewicht zwischen Geschwindigkeit, Qualität und Kosten zu finden.

Unternehmensbeschreibung

KitRUM ist ein One-Stop-Unternehmen für kundenspezifische Softwareentwicklung mit Hauptsitz im sonnigen Florida und Entwicklungszentren in der Ukraine und Polen.
Mit einem Pool von über 300 erstklassigen technischen Ressourcen unterstützen wir CxOs von VC-unterstützten Start-ups und schnell wachsenden Technologieunternehmen in den USA, der EU und Australien dabei, maßgeschneiderte Software-Entwicklungsteams voller erstklassiger Talente aufzubauen.

Warum wir?

Wir sind uns bewusst, dass eines der wichtigsten Dinge für Entwickler ausreichende Kunden und faszinierende Projekte sind. Deshalb qualifizieren wir unsere Kunden, um sicherzustellen, dass sie:
– eine Idee haben, von der sie glauben, dass sie die Welt zu einem besseren Ort machen wird;
— denken Sie langfristig und suchen Sie einen vertrauenswürdigen Technologiepartner;
– Sie möchten sich auf Mikromanagement verlassen und es vermeiden;
– sind keine verdammten Idioten :-)

Folgen Sie unserem Team auf Instagram, um mehr über unser tägliches Leben zu erfahren :)
Wir lieben es, im Forum neue Freunde zu finden!