Средний инженер по большим данным в MODUS X

10 июля 2024 года

Middle Big Data Engineer

Киев

Станьте частью команды, создающей цифровую реальность!

Компания ModusX имеет уникальный опыт в разработке и внедрении аналитических решений на основе технологий BigData, индустриального IoT, AI/ML и платформ облачных вычислений.

Список проектов и клиентов расширяется. В связи с этим мы набираем инженеров данных — специалистов в области разработки программных решений для данных с практическим опытом работы с Microsoft FABRIK, Azure Synapse SQL Analytics, Azure Data Factory, Azure Power BI Embedded, Azure Data Lake, One Lake Hadoop, Spark , NoSQL, Data Warehouse и т.д.. Нам нужны увлеченные инженеры для реализации и внедрения контейнеров многоуровневой обработки данных, которые также включают аналитические модели.

Процесс разработки системы основывается на методологии Scrum, ориентированный на использование итеративной разработки, динамического формирования требований и постоянной коммуникации рабочих групп с представителями бизнеса для обеспечения максимальной эффективности.

Что мы ожидаем от вас:

• Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, многоуровневой обработки и структурирование данных для дальнейшего анализа и использования в системе
• Разработка оптимальной структуры хранения и передачи данных
• Взаимодействие с аналитиками данных и владельцем продукта для определения требований к загрузке, конвертации и представлению данных
• li>
• Взаимодействие с архитектором данных для обеспечения качества разрабатываемых технических решений обработки данных
• Участие во всех циклах разработки— дизайн, программирование, тестирование и релиз
• Проведение рецензии кода ( code review) с целью обеспечения качества разработки
• Применение концепции непрерывной интеграции и доставки (CI/CD)
• Оптимизация конвейеров данных и совершенствование архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом

Необходимый профессиональный опыт и требования:

• Опыт работы в роли инженера данных не менее 2- х лет
• Практические навыки проектирования и реализации систем сбора и обработки данных Microsoft Fabrik, Azure Synapse Analytics
• Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой сфере < /li>
• Понимание принципов распределенных вычислений
• Способность осуществлять исследования данных (data exploration) и взаимодействовать с экспертами предметной отрасли с целью достижения бизнес-целей
• Знание SQL и NoSQL, опыт работы с различными СУБД (MSSQL/ MySQL/ PostgreSQL/ Cassandra и др.)
• Практические навыки использования Databricks (Apache Spark): Core, SQL, Stream and Batch Processing
• Опыт работы с Delta Lake
• Практические навыки применения облачных сервисов:
• Streaming, Databases и др.).
• Python 3.x

Мы предлагаем:

• Официальное трудоустройство
• Конкурентные условия и бонусная программа
• Корпоративная техника
• Корпоративная программа медицинского страхования
• Программа психологической поддержки сотрудников
• Удаленный или гибридный формат работы в инновационном парке Unit City
• Возможности обучения и профессиональное развитие (онлайн курсы, аудиторные тренинги, мастер-классы, профессиональные сообщества)

Мы ценим тех, кто принимает вызовы. Среди нас каждый может проявить свои таланты и ощутить непосредственное влияние на наш общий успех. Инвестируем в развитие каждого, даем возможность получать новые знания и достигать профессиональных целей. Больше информации о компании и наш опыт на официальной странице MODUS X в LinkedIn.