Старший инженер данных в GM CONSULTING GROUP

Наш клиент является лидером в секторе дошкольного образования (ECE), предоставляя наиболее широко используемую систему оценки развития и учебных программ в США. Они ищут высококвалифицированного подрядчика-инженера данных, который присоединится к их команде и будет способствовать развитию и обслуживанию их конвейеров данных. Вы будете нести ответственность за самостоятельное выполнение задач, используя свой опыт работы с Python, Spark, Airflow и S3. Ваше основное внимание будет сосредоточено на улучшении и оптимизации конвейеров данных, а также на разработке и выполнении преобразований SQL для обновления таблиц дельта-озера. В качестве инженера по обработке данных вы будете: - разрабатывать и оптимизировать преобразования данных с использованием Python, Spark, Airflow, S3 и Redshift; - Создавать SQL-запросы для эффективного манипулирования данными для хранения в таблицах дельта-озера; - Обеспечивать надежность, масштабируемость и производительность наших решений по обработке данных; - Сотрудничать с нашим старшим инженером по обработке данных для внедрения и улучшения конвейеров данных; - Самостоятельно выполнять задачи, связанные с создание, обслуживание и улучшение конвейеров данных. Квалификация: - Более 5 лет практического опыта работы в сфере инженерии данных или разработки систем данных; - Подтвержденный опыт в построении и оптимизации конвейеров и архитектур «больших данных»; - Знание Python для обработка данных;- Большой опыт работы с Spark, с акцентом на PySpark;- Знакомство с сервисами AWS, такими как EMR, S3 и MWAA (Airflow);- Глубокое понимание моделирования данных, хранилищ данных и методов ETL/ELT;- Квалификация. в работе с данными в различных форматах, включая паркетные, структурированные и неструктурированные данные, хранящиеся в S3, Redshift или других столбчатых базах данных;- Исключительные навыки совместной работы с отличными устными и письменными коммуникативными способностями;- Острое внимание к деталям и послужной список решение сложных задач.Мы предлагаем:- Конкурентоспособную рыночную зарплату;- Полностью удаленную работу;- Удобный и несколько гибкий график работы (вам придется работать до 20:00 по киевскому времени (13:00 EST));- 28 дней оплачиваемого отпуска. в год; - Работа над очень социально ценным продуктом вместе с высокопрофессиональной международной командой из США; - Интересные задачи и способность расти и учиться.