Инженер по данным Azure в Lingarogroup

Мы ищем опытного инженера по облачным данным, владеющего Azure и Databricks. Идеальный кандидат будет иметь практический опыт проектирования и внедрения конвейеров данных, решений для хранилищ данных и рабочих процессов ETL, поэтому, если это соответствует вашему опыту, не стесняйтесь применить!Задачи: - Проектирование и внедрение систем обработки данных на платформе Azure. Это включает в себя написание эффективного и масштабируемого кода для обработки, преобразования и очистки больших объемов структурированных и неструктурированных данных. Создание конвейеров данных для приема данных из различных источников, таких как базы данных, API или потоковые платформы. Интеграция и преобразование данных для обеспечения их совместимость с целевой моделью или форматом данных.- Практический опыт проектирования и оптимизации хранилищ данных (озера данных, хранилища данных, распределенные файловые системы).- Знакомство с секционированием, сжатием, оптимизацией хранения и извлечения данных.- Идентификация и устранение узких мест, настройка запросов и реализация стратегий кэширования для повышения скорости поиска данных и общей эффективности системы. - Сотрудничество с межфункциональными командами, включая специалистов по данным, аналитиков и заинтересованных сторон, для понимания их требований и предоставления технических решений. - Независимость и ответственность в предоставление решений. - Способность работать по гибким методологиям. Требования: - Подтвержденный опыт работы в облачной инфраструктуре Azure, Databricks и одной из реализаций SQL (например, Oracle, T-SQL, MySQL и т. д.). - Не менее 4 лет опыта работы. опыт работы в сфере данных и аналитики - Очень хороший уровень общения, включая способность четко и конкретно передавать информацию коллегам и заинтересованным сторонам бизнеса. - Опыт работы в гибких методологиях - вспомогательные инструменты (JIRA, Azure DevOps). - Английский язык как минимум на уровне B2, в идеале C1.- Опыт или знание других облачных технологий, хранилищ данных, управления данными и бизнес-анализа является плюсом. Приятно иметь:- Знание Python- Навыки программирования для анализа данных (особенно PySpark, SparkSQL).