Провідний інженер з даних в EPAM Systems

ОписНаш клієнт — американська компанія з виробництва відеоігор. Обов’язки Перенести поточні конвеєри даних і DAG із збережених процедур GCP BigQuery в AWS Redshift. Виконувати заповнення необхідних даних і перевіряти якість і цілісність під час і після міграції. Проектувати, розробляти та підтримувати конвеєри даних за допомогою таких служб AWS, як Amazon. Redshift (або будь-яке рішення MPP), Amazon S3, dbt і Apache Airflow Використовуйте рішення SQL і ETL/ELT для перетворення та завантаження даних із різних джерел у сховища даних і озера даних Оптимізуйте робочі процеси та процеси даних для забезпечення ефективності, масштабованості та надійності Впроваджуйте автоматичне оновлення механізми для підтримки конвеєрів і систем даних в актуальному стані за допомогою останніх даних. Співпрацюйте з багатофункціональними командами, щоб зрозуміти вимоги до даних і надавати рішення, які відповідають потребам бізнесу. Моніторинг і усунення несправностей конвеєрів даних для своєчасного виявлення та вирішення проблем. Виконуйте оцінку даних і аналітику для надати інформацію та рекомендації для прийняття рішень на основі даних. Вимоги. 5+ років досвіду інженера даних. Розширений SQL, PLSQL, TSQL для трансформації та оптимізації даних. Досвід написання коду ETL/ELT, керування та розгортання DAG за допомогою DBT або Airflow. Практичний досвід роботи з AWS RedShift. , якщо ні, ви працювали з подібними системами Cloud EDW Рівень англійської мови вищий-середній, розмовний і письмовий (B2+) Приємно мати Знайомство з Google Cloud Platform (GCP) і Google Cloud BigQuery для зберігання та аналітики даних Знання інструментів міграції AWS для перенесення даних і робочі навантаження від Google Cloud Platform до AWSДосвід роботи з аналітикою та методами оцінки даних для оцінки якості, цілісності та зручності використання Досвід у методологіях тестування BI та інструментах для перевірки звітів бізнес-аналітики та інформаційних панелей Досвід розробки аналітики даних із зосередженням на створенні масштабованих і ефективних рішень для данихМи Пропозиція Конкурентоспроможна винагорода залежно від досвіду та навичок Індивідуальна кар’єра Необмежений доступ до навчальних рішень LinkedIn Відпустка через хворобу та звичайна відпустка Курси англійської мови з сертифікованими викладачами англійської Гнучкий графік роботи Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі ІТ-послуги та ІТ Консалтинг