Senior Data Engineer (№1421) в N-iX

N-iX активно шукає старшого інженера з даних, щоб приєднатися до нашої команди! Наш клієнт є одним із найбільших операторів нефранчайзингових центрів ремонту автомобілів і одним із найбільших операторів роздрібної торгівлі автосклом у Північній Америці з точки зору кількості розташувань і продажів. Наразі компанія працює в Канаді та США.

Обов’язки:

• Проведення аналізу існуючих систем даних, визначення областей для вдосконалення , а також надати рекомендації щодо покращення архітектури
• Розробити моделі даних, потоки даних і стратегії інтеграції даних, щоб забезпечити безперебійне й ефективне керування даними в різних системах і платформах
• Надати вказівки та технічну експертизу для команди розробників у впровадженні рішень для обробки даних, забезпеченні відповідності найкращим практикам і галузевим стандартам
• Профілювання даних, оцінка якості даних і діяльність з керування даними, щоб забезпечити точність, цілісність і безпеку даних
• Співпрацюйте з науковцями та аналітиками, щоб увімкнути аналітику та статистику на основі даних шляхом впровадження відповідних структур даних і алгоритмів
• Будьте в курсі нових тенденцій, технологій і найкращих галузевих практик щодо архітектури даних, аналітика та хмарні обчислення
• Надання стратегічних рекомендацій і вказівок щодо ініціатив, пов’язаних із даними.
• Спілкування з внутрішніми власниками продуктів, зацікавленими сторонами та зовнішніми постачальниками

• 6+ років досвіду роботи з корпоративними платформами даних, створення та керування озерами даних і використання технологій великих даних
• 5+ років досвіду роботи з реляційними та нереляційними/NoSQL базами даних, поглиблені знання SQL
• 4+ роки досвіду роботи з платформою AWS. Досвід роботи з рішеннями на інфраструктурі AWS із використанням таких служб, як AWS IAM, S3, API Gateway, Lambda, Glue, Lake formation, Redshift, DynamoDB, RDS
• 4+ роки досвіду використання Python для розробки даних і розробки високих продуктивність і масштабований конвеєр даних
• 2+ роки досвіду роботи з Apache Airflow для оркестрування аналітичних навантажень
• 2+ роки досвіду роботи з рішеннями IaC, такими як terraform, формування хмар
< li>Глибоке розуміння концепцій сховищ даних, BI, безпеки даних, якості даних і профілювання
• Попередній досвід роботи з традиційними інструментами ETL, як-от Talend Open Studio, Informatica, Pentaho чи щось подібне
• Попередній досвід роботи в середовищі на основі SQL-сервера та використання таких технологій, як SSIS, TSQL, SSRS, .Net, C#.
• Впевнене знання методологій Agile
• Рівень вищого середнього англійської

Приємно мати:

• Досвід служби AWS EKS, налаштування та керування кластерами Kubernetes
• Досвід роботи в Cloud DevOps із використанням таких продуктів, як Gitlab, Bitbucket або подібних
• Гарне розуміння та досвід роботи з варіонаші продукти в екосистемі великих даних, як-от Spark, EMR, Hive, Presto, бази даних NoSQL, як-от DynamoDB, MongoDB