Инженер данных в QAtronic

Обзор проекта
Проект представляет собой преобразовательную инициативу, направленную на интеграцию инфраструктуры данных Театров (JJ) с клиентской современная архитектура данных после приобретения Клиентом этих новых кинотеатров в США. Основная цель проекта – перенести существующие данные из Databricks на платформу Snowflake, обеспечив высокое качество, надежность и
доступность данных для облегчения расширенной аналитики и процессов принятия решений.

Описание роли:
 В качестве инженера по данным в проекте вы будете играть важную роль в разработке и внедрении надежных конвейеров данных
, которые эффективно переносят существующие в кинотеатре системы данных в хранилище данных ATG Snowflake. Для этой роли требуются
глубокие технические знания в области обработки данных, большой опыт работы с облачными платформами, такими как AWS, а также знание сред Databricks и Snowflake.

Ключевые обязанности:
 Проектирование, сборка, установка, тестирование и обслуживание высокомасштабируемых систем управления данными, обеспечение надлежащей
интеграции в облачную архитектуру Клиента.
 Внедрение процессов и системы для мониторинга качества данных, гарантируя, что производственные данные всегда точны
и доступны для ключевых заинтересованных сторон.
 Создавайте высокопроизводительные алгоритмы, прототипы, прогнозные модели и доказательства концепций.
 Возможности для исследований для сбора данных и нового использования существующих данных.
 Разработать процессы набора данных для моделирования, анализа и производства данных.
 Интегрировать новые технологии управления данными и инструменты разработки программного обеспечения в существующие структуры.
 Сотрудничать с архитекторами данных, разработчиками моделей и членами ИТ-команды над достижением целей проекта.
 Рекомендовать способы повышения надежности, эффективности и качества данных.

Основные навыки и квалификация:
 Обширный опыт работы с SQL и Python для сложных манипуляций, преобразования и анализа данных.
 Знание Databricks и Snowflake, а также четкое понимание проблем перехода между ними.
эти платформы.
 Большой опыт работы с облачными сервисами AWS, особенно с теми, которые связаны с обработкой данных (например, AWS Glue,
AWS Lambda и Amazon S3).
 Знакомство с моделирование данных, разработка ETL и методы хранения данных.
 Сильные аналитические навыки и способности решать проблемы.
 Отличные устные и письменные коммуникативные навыки, способные четко формулировать сложные технические идеи
не -технические заинтересованные стороны.
 Способность к творческому решению проблем и активный подход к выявлению и решению проблем.
 Отличные коммуникативные навыки, способность формулировать сложные концепции для различных аудиторий, включая менеджеров по доходам и старших заинтересованных лиц.< br/> Способность работать совместно в быстро развивающейся, ориентированной на команду среде, а также самостоятельно с минимальным контролем.

Желательные навыки:
 Опыт работы с DBT (инструментом построения данных) для управления рабочими процессами преобразования данных.
 Знание практик DevOps, связанных с инженерией данных, включая интеграцию конвейеров CI/CD.

 Бакопыт реализации крупномасштабных проектов по переносу данных на разные платформы
 Понимание индустрии развлечений или продажи билетов является плюсом.

Личные качества:

Личные качества: