Старший инженер по данным (#1421) в N-iX

N-iX активно ищет старшего инженера по обработке данных в нашу команду! Наш клиент — один из крупнейших операторов нефранчайзинговых центров ремонта автомобилей и один из крупнейших операторов розничной торговли автомобильными стеклами в Северной Америке по количеству локаций и объему продаж. В настоящее время компания имеет офисы в Канаде и США.

Обязанности:

• Проводить анализ существующих систем данных, определять области для улучшения. и предоставлять рекомендации по улучшению архитектуры.
• Разрабатывать модели данных, потоки данных и стратегии интеграции данных, чтобы обеспечить плавное и эффективное управление данными в различных системах и платформах.
• Предоставлять рекомендации и техническую экспертизу для команды разработчиков внедряют решения для работы с данными, обеспечивая соответствие лучшим практикам и отраслевым стандартам.
• Выполнение профилирования данных, оценки качества данных и деятельность по управлению данными для обеспечения точности, целостности и безопасности данных.
• Сотрудничайте со специалистами по данным и аналитиками, чтобы обеспечить аналитику и понимание данных посредством внедрения соответствующих структур данных и алгоритмов.
• Будьте в курсе новых тенденций, технологий и лучших отраслевых практик в архитектуре данных. аналитика и облачные вычисления.
• Предоставление стратегических рекомендаций и рекомендаций по инициативам, связанным с данными.
• Общение с внутренними владельцами продуктов, заинтересованными сторонами и внешними поставщиками.

• 6+ лет опыта работы с корпоративными платформами данных, создания озер данных и управления ими, а также использования технологий больших данных.
• 5+ лет опыта работы с реляционными и нереляционными базами данных/NoSQL, продвинутые знания SQL.
• 4+ года опыта работы с платформой AWS. Опыт разработки решений в инфраструктуре AWS с использованием таких сервисов, как AWS IAM, S3, API Gateway, Lambda, Glue, Lake form, Redshift, DynamoDB, RDS.
• 4+ года опыта использования Python для инженерии данных и разработки высокопроизводительных приложений. производительность и масштабируемый конвейер данных.
• 2+ года опыта работы с Apache Airflow для организации аналитической рабочей нагрузки.
• 2+ года опыта работы с решениями IaC, такими как terraform, формирование облаков.
< li>Глубокое понимание концепций хранилищ данных, бизнес-аналитики, безопасности данных, качества данных и профилирования.
• Предыдущий опыт работы с традиционными инструментами ETL, такими как Talend Open Studio, Informatica, Pentaho или чем-то подобным.
• Предыдущий опыт работы в среде на базе SQL-сервера и использовании таких технологий, как SSIS, TSQL, SSRS, .Net, C#.
• Должен быть командным игроком и открыт для работы с новыми технологиями, а также для поддержки устаревших систем.
• Уверенное знание Agile-методологий.
• Уровень английского языка – Upper-Intermediate.

Приятно иметь:

• Опыт работы с сервисом AWS EKS, настройка и управление кластерами Kubernetes.
• Опыт Cloud DevOps с использованием таких продуктов, как Gitlab, Bitbucket или аналогичные.
• Хорошее понимание и опыт работы с варионаши продукты в экосистеме больших данных, такие как Spark, EMR, Hive, Presto, базы данных NoSQL, такие как DynamoDB, MongoDB