Старший инженер данных в GlobalLogic

Вы станете частью команды, разрабатывающей цифровые инструменты для совместной работы с функциями, обеспечивающими преобразование аналога в цифру. Вы будете работать с очень известным брендом. В настоящее время основное внимание уделяется приложениям, созданным для использования в Microsoft Teams и мобильных приложениях для iOS/Android. В портфеле продуктов представлен широкий спектр технологий и потребностей бизнеса. В этом году основное внимание уделяется глобальной масштабируемости, соответствию стандартам и новым функциям UX. Продукт представляет собой весь стек технологий Azure и репозитории кода GitHub и работает с использованием процессов Agile Scrum. Это ведущая цифровая инициатива компании и веселая команда для работы! Требования: Минимальные требования: - Минимум 4 года опыта работы с языками программирования SQL и Python, особенно для задач инженерии данных. - Навыки работы с облачными технологиями, такими как как Azure или AWS.- Опыт работы с Spark и Databricks или аналогичными платформами обработки и анализа больших данных.- Опыт работы с большими средами данных, включая обработку данных, интеграцию и хранение данных.- Опыт работы с методами оценки и улучшения качества данных, включая данные. профилирование, очистка и проверка данных. - Знакомство с озерами данных и связанными с ними технологиями, такими как Azure Data Lake Storage, AWS S3 или Delta Lake, для масштабируемого и экономичного хранения и управления данными. - Опыт работы с базами данных NoSQL, такие как MongoDB или Cosmos, для обработки неструктурированных и полуструктурированных данных. Дополнительные навыки (желательно иметь): - Знакомство с методологиями Agile и Scrum, включая работу с Azure DevOps и Jira для управления проектами. - Знание методологий и практик DevOps, включая непрерывную интеграцию и непрерывное развертывание (CI/CD). - Опыт работы с Azure Data Factory или аналогичными инструментами интеграции данных для оркестрации и автоматизации конвейеров данных. - Способность создавать и поддерживать API-интерфейсы для интеграции и потребления данных. - Опыт работы с серверными модулями данных для программного обеспечения. платформы, включая проектирование баз данных, оптимизацию и настройку производительности. Обязанности: - Отвечает за создание, развертывание и обслуживание критически важных аналитических решений, которые быстро обрабатывают данные в масштабах больших данных. - Отвечает за проектирование и внедрение конвейеров интеграции данных. - Вносит вклад в проектирование, код, конфигурации и документацию для компонентов, которые управляют приемом данных, потоковой передачей в реальном времени, пакетной обработкой, извлечением, преобразованием и загрузкой данных в несколько хранилищ данных. - Принимайте участие в полном цикле разработки функций (анализ требований, декомпозиция, проектирование и т. д.) — Проектируйте, разрабатывайте и внедряйте различные веб- и серверные решения вместе с другими талантливыми инженерами в совместной командной среде. — Вносите вклад в общее качество услуг по разработке посредством мозгового штурма, модульного тестирования и упреждающего предложения различных улучшения и инновации.