Dateningenieur/Architekt (Databricks) in Sphere Partners

26. Oktober 2024

Dateningenieur/Architekt (Databriks)

aktualisiert

Sphere arbeitet mit Kunden zusammen, um deren Organisationen zu transformieren, Technologie und Prozesse in alles zu integrieren, was sie tun. und ermöglichen dauerhafte Wettbewerbsvorteile. Wir kombinieren globales Fachwissen und lokale Einblicke, um Menschen und Unternehmen dabei zu helfen, ihre ehrgeizigen Ziele in die Realität umzusetzen. Bei Sphere stellen wir den Menschen in den Mittelpunkt und streben danach, ein Changemaker zu sein, indem wir durch Innovation und Technologie eine bessere Zukunft schaffen. Sphere unterstützt ein bekanntes multinationales Unternehmen bei der Innovation und Markteinführung neuer Plattformen und sucht einen Dateningenieur/Architekten (Databriks) , der unserem Team beitritt.

< /p> Zu den Aufgaben gehören unter anderem:

• Zusammenarbeit mit Datenwissenschaftlern, Analysten und anderen Ingenieuren, um komplexe Datenaufnahmepipelines unter Verwendung verschiedener Datenquellen zu entwerfen und zu entwickeln;
• Erstellen und Verwalten von Databricks-Jobs/Workflows und Verwalten des Zugriffs auf sensible Daten;
• Entwicklung von Diensten, die je nach Benutzerkontext genaue und relevante Informationen bereitstellen, unter Verwendung umfangreicher Datensätze und verschiedener LLMs, einschließlich OpenAI-Integration;
• Verbesserung der Qualität der Antworten je nach Benutzerkontext und Verwendung von LLM-Frameworks wie LlamaIndex und Langchain;
• Schreiben von sauberem, effizientem und gut dokumentiertem Code, der vom Team einfach gewartet und erweitert werden kann;
• Bieten Sie bei Bedarf Unterstützung für kritische Produktionssysteme.

Anforderungen:

• Umfangreiche Kenntnisse im Design und der Implementierung von Datenpipelines, einschließlich Datentransformationstechniken und Datenspeicherung Best Practices für Optimierung und Datensicherheit;
• Erfahrung mit Databricks (Databricks Notebooks, Workflows, Unity Catalog);
• Fortgeschrittene SQL-Kenntnisse und umfassende Erfahrung mit relationalen Datenbanken, einschließlich Fachwissen im Schreiben komplexer Abfragen und Vertrautheit mit verschiedenen Datenbanksystemen;
• Erfahrung mit KI-Tools wie (Llama, ChatGTP, DBRX), Spark und Python;
• Databricks-Zertifizierung (bevorzugt);
• Fließendes Englisch.

Sphere bietet ein wettbewerbsfähiges und lohnendes Gehalts- und Leistungspaket sowie ein intellektuell und kreativ anregendes Arbeitsumfeld, Flexibilität und einzigartige internationale Reisemöglichkeiten.