Старший інженер з даних в GM CONSULTING GROUP

Наш клієнт є лідером у секторі ранньої освіти дітей (ECE), що забезпечує найбільш широко використовувану систему оцінювання розвитку та навчальних програм у США. Вони шукають висококваліфікованого підрядника-інженера даних, щоб приєднатися до їхньої команди та сприяти розробці та підтримці їхніх каналів даних. Ви відповідатимете за самостійне виконання завдань, використовуючи свій досвід роботи з Python, Spark, Airflow і S3. Ваша основна увага буде зосереджена на вдосконаленні та оптимізації конвеєрів даних, а також створенні та виконанні перетворень SQL для оновлення таблиць delta lake. Як інженер даних ви: - Розроблятимете та оптимізуйте перетворення даних за допомогою Python, Spark, Airflow, S3 і Redshift; - Створення запитів SQL для ефективного керування даними для зберігання в таблицях Delta Lake; - Забезпечення надійності, масштабованості та продуктивності наших рішень для обробки даних; - Співпраця з нашим старшим інженером з обробки даних для впровадження та вдосконалення конвеєрів даних; - Незалежне виконання завдань, пов'язаних із побудова, підтримка та вдосконалення конвеєрів даних. Кваліфікація: - 5+ років практичного досвіду роботи з розробкою даних або розробкою системи даних; - Перевірений досвід у створенні та оптимізації конвеєрів і архітектур «великих даних»; - Володіння Python для обробка даних;- Великий досвід роботи зі Spark, зосереджено на PySpark;- Знайомство з такими сервісами AWS, як EMR, S3 і MWAA (Airflow);- Тверде розуміння моделювання даних, сховищ даних і методів ETL/ELT;- Вміння у роботі з даними в різних форматах, включаючи паркетні, структуровані та неструктуровані дані, що зберігаються в базах даних S3, Redshift або інших колонкових базах даних;- Виняткові навички співпраці з чудовими усними та письмовими здібностями спілкування;- Пильна увага до деталей і послужний список вирішення складних завдань. Ми пропонуємо:- Конкурентну ринкову заробітну плату;- Повністю віддалену роботу;- Зручний і дещо гнучкий графік роботи (вам доведеться працювати до 20:00 за київським часом (13:00 EST));- 28 днів оплачуваної відпустки на рік;- Робота над дуже соціально цінним продуктом разом із високопрофесійною міжнародною командою, що базується в США;- Цікаві виклики та здатність рости та вчитися.