Инженер по обработке данных (Центр компетенции по работе с данными) в Sigma Software

Присоединяйтесь к нам в Sigma Software, чтобы быть в авангарде самых интересных проектов и играть ключевую роль в росте и успехе наших инициатив и Центра компетенции. КЛИЕНТ Мы ищем инженера по обработке данных, который не только обладает глубокими знаниями в области проектирования данных, но и готов взять на себя роль водителя, внося свой вклад в работу нашего Центра компетенции по данным в рамках Sigma Software. Мы ищем человека, увлеченного обработкой данных, который искренне желает развивать свои навыки и опыт в этой области. ОБЯЗАННОСТИ Создание конвейеров ETL, конфигураций оркестрации, автоматизации CI/CD, сценариев и т. д. Анализ, организация и интерпретация необработанных данных с использованием современного стека данных. Создание SQL-запросов для эффективного манипулирования данными. возглавлять передовые технологии в области обработки данных: исследовать технологические тенденции и проводить анализ лучших практик, чтобы гарантировать, что наши решения остаются самыми современными. ТРЕБОВАНИЯ. Навыки создания, обслуживания, тестирования и доставки крупномасштабных конвейеров данных. Экспертиза ETL/ELT: практический опыт как минимум с одной конечной целью. -конечное решение, его запуск, разработка и обслуживание. Хорошие знания SQL. Опыт и теоретическое понимание моделирования данных и оптимизации баз данных. По крайней мере, 3 года владения Python/Scala для обработки и преобразования данных. Опыт работы с Spark с упором на PySpark. Практический опыт работы с основными платформами и библиотеками в областях инженерии данных: Spark, Kafka, Airflow и т. д., с подтвержденным опытом отладки и оптимизации. Опыт работы с облачными решениями для обработки данных на AWS/Azure. МОЖЕТ БЫТЬ APLUSD. Опыт/сертификация Databricks. но в центрах самых известных проектов выделите ключевую роль в разработке нашей инициативы и компетенции Центра. Чи роботи нашего Центра компетенций по разработке данных в Sigma Software. Мысленно люди, которые хотят обработать данные программы, развивают свои навыки и все знают о второй галузе.Объекты разработки конфигураций ETL, настройки оркестрации, автоматизация CI/CD, скрипты и весь анализ, организация работы Терроризировать необработанные данные, используя существующие стеки данныхСоздание SQL-запросов для эффективного манипулирования даннымиРабота внеок тестирования инженерных данных, которые ведут лидеры всех галузий: изучить технологические тенденции, провести анализ наиболее важных практик, что гарантирует, что решение запрашивает наибольшее развитие, во время проведения конференций в даньх великих обсужденияхЭкспертиза ETL/ELT: практический результат роботы, который будет меньше повторяться в повторном цикле, атакован дополнить его внедрение, изучить все знания SQL. Теоретическое решение модели этих оптимизаций на основе более 3-х доступных роботов с Python/Scala для обработки данных для роботов с PySpark. Практическая работа с базовыми фреймворками с таблицами данных в регионах: Spark, Kafka, Airflow и т. д.что, с подтвержденным опытом устранения ошибок и оптимизации Опыт работы с облачными решениями для обработки данных на AWS/Azure ПРЕИМУЩЕСТВОМ БУДЕТ: Опыт работы с CI/CD в инженерии данных Опыт работы с BI инструментами, такими как Tableau, Qlik, Grafana или подобными Опыт работы / сертификация