Инженер по обработке данных (Azure Databricks) в LimestoneDigital

Limestone Digital ищет инженера по обработке данных для расширения нашей команды.

Требования:

- Хорошее знание Фабрики данных Azure (ADF) и Azure Synapse для проектирования и реализации конвейеров данных и рабочих процессов;

- Знание SQL для запроса и управления данными внутри реляционные базы данных и хранилища данных;

– Опыт работы с Databricks для обработки больших данных, исследования данных и расширенной аналитики;

– Знание Azure Events Hub для приема и обработки данных в реальном времени. потоки;

- Знакомство с функциями Azure для разработки бессерверных вычислительных решений и архитектур, управляемых событиями;

- Понимание Azure PureView для управления качеством данных и профилирования данных;

- Способность проектировать и разрабатывать масштабируемые, надежные и эффективные решения для обработки данных на облачной платформе Azure;

- Способность проектировать и разрабатывать масштабируемые, надежные и эффективные решения для обработки данных на облачной платформе Azure;

- Способность проектировать и разрабатывать масштабируемые, надежные и эффективные решения для обработки данных на облачной платформе Azure; p>

- Знание принципов моделирования данных и проектирования баз данных для обеспечения целостности данных и оптимизации производительности запросов;

- Знание передовых методов управления данными и безопасности данных для обеспечения соответствия требованиям и конфиденциальности данных;

- Опыт работы с методами интеграции и преобразования данных для извлечения, преобразования и загрузки (ETL) данных из различных источников в целевые репозитории данных;

- Знакомство с концепциями и методами машинного обучения для поддержки данных. ученые, занимающиеся разработкой и развертыванием моделей;

- Понимание платформ облачных вычислений (Azure и/или AWS) и их сервисов для задач проектирования и обработки данных.

- Работать в тесном контакте с нашими инженерами и клиентами для получения высококачественного результата для наших клиентов;

- Общение с внешними веб-сервисами и дату сбора данных;

– Разработка и написание эффективного, читаемого кода в (ADF/Synapse, SQL, Databricks, Events Hub, Функции Azure, PureView);

– Работа со сторонними партийные библиотеки;

- Процессы самосовершенствования.

Приятно иметь:

- Знание программирования Python для написания сценариев и автоматизации рабочих процессов обработки данных;

- Сильные навыки общения и сотрудничества для эффективной работы с межфункциональными командами и заинтересованными сторонами;

- Способность не отставать от работы. быть в курсе последних тенденций и достижений в области обработки данных и облачных технологий.