Инженер по обработке данных (Центр компетенции по работе с данными) в Sigma Software

Data Engineer (Центр компетенции в области данных) Киев, Львов, Днепр, Одесса, Винница, Ивано-Франковск, Луцк, Моршин, Черновцы Присоединяйтесь к нам в Sigma Software, чтобы быть в авангарде самых интересных проектов и играть ключевую роль в развитии и успехе наших инициатив и Центра компетенции. КЛИЕНТ Мы ищем инженера по обработке данных, который не только обладает глубокими знаниями в области проектирования данных, но и готов взять на себя роль водителя, внося свой вклад в работу нашего Центра компетенции по данным в рамках Sigma Software. Мы ищем человека, увлеченного обработкой данных, который искренне желает развивать свои навыки и опыт в этой области. ОБЯЗАННОСТИ Создание конвейеров ETL, конфигураций оркестрации, автоматизации CI/CD, сценариев и т. д. Анализ, организация и интерпретация необработанных данных с использованием современного стека данных. Создание SQL-запросов для эффективного манипулирования данными. Внесение вклада и продвижение передового опыта в области разработки данных: исследование технологических тенденций и анализ лучших практик для обеспечения нашей безопасности. решения остаются самыми современными ТРЕБОВАНИЯ Умение создавать, поддерживать, тестировать и доставлять крупномасштабные конвейеры данных. Знание ETL/ELT: практический опыт работы хотя бы с одним комплексным решением, его запуском, разработкой и обслуживанием. Уверенные знания. SQL Опыт и теоретическое понимание моделирования данных и оптимизации баз данных Не менее 3 лет владения Python/Scala для обработки и преобразования данных. Опыт работы со Spark с упором на PySpark. Практический опыт работы с основными платформами и библиотеками в областях инженерии данных: Spark, Kafka, Airflow и т. д., с подтвержденным опытом отладки и оптимизации. Опыт работы с облачными решениями для обработки данных на AWS/Azure. Опыт/сертификация Databricks. Опыт работы с CI/CD indata. самые известные проекты будут играть ключевую роль в развитии нашей инициативы и компетенции Центра. Инженер по обработке данных, который является инженером по обработке данных, является очень сильным инженером, но уже готов взять на себя роль руководителя, применяя роботы нашего Центра компетенций для работы с Sigma Software. Мишукаємо люди, которые захотят обработать данные, чтобы развивать свои навички и узнавать всю информацию о них. ОБЪЯВЛЕНИЕ Создание конфигураций ETL, конфигурация оркестровки, автоматизация CI/CD, скрипты для анализа, организация и обработка необработанных данных, использование современных методов создания SQL-запросов для эффективного манипулирования данными вне дома. развитие инженерных решений, которые используются лидерами всех галузий: изучить технологические тенденции и проводы. анализ лучших практик, которые гарантируют, что они запрашивают самое лучшее время, необходимые для обучения, обучения, тестирования и проведения конференций для великого сообщества Экспертиза ETL/ELT: Практический опыт работы в ближайшем будущем в каждом повторном цикле, атакуя досвидение его внедрения, развивать таобслуговування Глубинные знания SQL Теоретические данные обсуждение моделей оптимизации на основе более 3-х этапов работы с Python/Scala для разработкии тапреобразование данных Опыт работы со Spark, акцентом на PySpark Практический опыт работы с основными фреймворками и библиотеками в области Data Engineering: Spark, Kafka, Airflow и т.п., с подтвержденным опытом устранения ошибок и оптимизации Опыт работы с облачными решениями для обработки данных на EWS данных Опыт работы с BI инструментами, такими как Tableau, Qlik, Grafana или подобными Опыт работы/сертификация Databricks