Опис провідного інженера з даних
Наш клієнт — американська компанія з виробництва відеоігор. #LI-JF4 Обов'язки Перенести поточні конвеєри даних і DAG із збережених процедур GCP BigQuery в AWS Redshift Виконуйте заповнення необхідних даних і перевіряйте якість і цілісність під час міграції та після неї. Проектуйте, розробляйте та обслуговуйте конвеєри даних за допомогою служб AWS, таких як Amazon Redshift (або будь-яке рішення MPP), Amazon S3, dbt і Apache Airflow Використовуйте рішення SQL
Опис провідного інженера з даних
Наш клієнт — американська компанія з виробництва відеоігор.
#LI-JF4 Обов'язки
- Перенести поточні конвеєри даних і DAG із збережених процедур GCP BigQuery в AWS Redshift
- Виконуйте заповнення необхідних даних і перевіряйте якість і цілісність під час міграції та після неї.
- Проектуйте, розробляйте та обслуговуйте конвеєри даних за допомогою служб AWS, таких як Amazon Redshift (або будь-яке рішення MPP), Amazon S3, dbt і Apache Airflow
- Використовуйте рішення SQL і ETL/ELT для перетворення та завантаження даних із різних джерел у сховища даних і озера даних
- Оптимізуйте робочі процеси та процеси даних для забезпечення ефективності, масштабованості, і надійність
- Впроваджуйте механізми автоматичного оновлення, щоб підтримувати конвеєри даних і системи в актуальному стані за допомогою останніх даних
- Співпрацюйте з міжфункціональними командами, щоб зрозуміти вимоги до даних і надати рішення, які задовольняти бізнес-потреби
- Відстежувати та виправляти неполадки в конвеєрах даних, щоб своєчасно виявляти та вирішувати проблеми
- Виконувати оцінку та аналітику даних, щоб надати інформацію та рекомендації для прийняття рішень на основі даних
- li>
Вимоги
- 5+ років досвіду інженера даних
- Розширений SQL, PLSQL, TSQL для трансформації та оптимізації даних
- Досвід написання коду ETL/ELT, керування та розгортання DAG за допомогою DBT або Airflow
- Практичний досвід роботи з AWS RedShift, якщо ви не працювали з подібними системами Cloud EDW
- Розмовна та письмова англійська мова на рівні Upper-Intermediate (B2+)
Приємно мати
- Знайомство з Google Cloud Platform (GCP) та Google Cloud BigQuery для зберігання та аналітики даних
- Знання інструментів міграції AWS для перенесення даних і робочих навантажень із Google Cloud Platform на AWS
- Досвід аналітики та методів оцінки даних для оцінки якості даних, цілісність і зручність використання
- Досконале володіння методологіями тестування BI та інструментами для перевірки звітів бізнес-аналітики та інформаційних панелей
- Досвід розробки аналітичних даних із зосередженням на створенні масштабованих і ефективних рішень для даних
Ми пропонуємо
- працювати за гнучким графіком дистанційно або з будь-якого з наших комфортних офісів чи коворкінгів в Україні
- отримати необхідне обладнання для виконувати свої робочі завдання
- Змінювати проекти та стеки технологій у EPAM
- Отримувати досвід у різних сферах бізнесу (страхування, електронна комерція, охорона здоров’я, фінанси, подорожі, медіа, штучний інтелект та більше)
- Розгляньте варіанти переїзду в більш ніж 30 країнах світу
- Беріть участь у волонтерських, благодійних програмах і спільнотах (як технічних, так і за інтересами)
- Ви можете планувати ваш індивідуальний кар’єрний шлях разом із вашим менеджером
- Регулярно отримуйте відгуки від колег
- Покращуйте свою англійську безкоштовно з сертифікованими вчителями (Speaking Clubs, курси підготовки до співбесіди з клієнтами тощо)
- Отримайте можливість пройти безкоштовне навчання та сертифікацію з AWS, GCP або Azure Cголосно
- Використовуйте внутрішню навчальну програму E-learn (понад 18 200 спеціалізованих програм навчання та наставництва)
- Отримуйте доступ до корпоративних облікових записів на LinkedIn Learning, Get Abstract та інших ресурсах партнерів
< li> Навчайтеся в Школі архітектури рішень EPAM з інструкторами, які є архітекторами. - Розвивайтеся як лідер, приєднуйтесь до школи управління доставкою, управління ресурсами, основи лідерства тощо
- Беріть участь у внутрішніх спільнотах (500+ зустрічей, технічних обговорень, мозкових штурмів, онлайн-заходів і конференцій на рік)
- Відпустка та лікарняний (включаючи лікарняний без медичної довідки)
- Широкий спектр добровільних Програми медичного страхування, які передбачають як медичне лікування, так і різноманітні профілактичні варіанти (зокрема, спортивні заходи)
- Медичне страхування для членів родини за корпоративними тарифами
- Підтримка компанії під час важливих життєвих подій (пологи чи усиновлення, одруження)
- Підтримка психологічного комфорту: знижки на послуги психологів або тренерів, тематичні тренінги
- Програма E-kids – безкоштовна програма навчання мови програмування для дітей EPAMers
EPAM прагне надати своїй глобальній команді понад 52 800 професіоналів у понад 55 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги є джерелом успіху EPAM, тому ми цінуємо співпрацю, прагнемо завжди розуміти бізнес наших клієнтів і прагнемо до найвищих стандартів якості. Незалежно від того, де ви знаходитесь, ви приєднаєтесь до відданої, різноманітної спільноти, яка допоможе вам максимально реалізувати свій потенціал.