Инженер по обработке данных (Azure Databricks) в LimestoneDigital

Требования: - Уверенное знание Azure Data Factory (ADF) и Azure Synapse для проектирования и реализации конвейеров и рабочих процессов данных; - Знание SQL для запросов и манипулирования данными в реляционных базах данных и хранилищах данных; - Опыт работы с Databricks для обработки больших данных, данных. исследование и расширенная аналитика; - Знание Azure Events Hub для приема и обработки потоков данных в реальном времени; - Знакомство с функциями Azure для разработки бессерверных вычислительных решений и архитектур, управляемых событиями; - Понимание Azure PureView для управления качеством данных и профилирования данных. ;- Знание машинного обучения Azure для построения и развертывания моделей машинного обучения в облачной среде;- Способность проектировать и разрабатывать масштабируемые, надежные и эффективные решения для обработки данных на облачной платформе Azure;- Знание принципов моделирования данных и проектирования баз данных для обеспечить целостность данных и оптимизировать производительность запросов; - Знание передовых методов управления данными и безопасности данных для обеспечения соответствия требованиям и конфиденциальности данных; - Опыт работы с методами интеграции и преобразования данных для извлечения, преобразования и загрузки (ETL) данных из различных источников в целевую систему. репозитории данных;- Знакомство с концепциями и методами машинного обучения для поддержки специалистов по данным в разработке и развертывании моделей;- Понимание платформ облачных вычислений (Azure и/или AWS) и их сервисов для задач инженерии и обработки данных. Обязанности:- Работать в тесном контакте с нашими инженерами и клиентом для достижения качественного результата для наших клиентов; - Общение с внешними веб-сервисами и сбор данных; - Разрабатывать и писать эффективный, читаемый код в (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView); - Работать со сторонними библиотеками; - Процессы развития самосовершенствования. Приятно иметь: - Знание программирования Python для написания сценариев и автоматизации рабочих процессов обработки данных; - Сильные навыки общения и сотрудничества для эффективной работы с межфункциональными командами и заинтересованными сторонами; - Способность быть в курсе последних тенденций и достижений. в области инженерии данных и облачных технологий; - Сильные навыки решения проблем и способность устранять неполадки и отлаживать процессы и рабочие процессы обработки данных.