Big Data Engineer (Польща) в UST Ukraine

Big Data Engineer (Польща)

віддалено

Наш клієнт шукає старшого Big Data Engineer рішення в екосистемі Google Cloud. Ви знайдете чудове місце для роботи, якщо ви захоплюєтеся проектуванням завдань із прийому даних, вивченням нових технологій, а також пропозицією та впровадженням нових технологій.

МІСЦЕ Кандидата: Польща

Обов'язки:

• Видобування, перетворення та завантаження даних з багатьох джерел і різних форматів за допомогою технологій великих даних.
• Розробка, удосконалення та підтримка завдань прийому даних із різних вихідних систем відповідно до існуючих шаблонів проектування з використанням служб GCP, таких як Apache Spark, Dataproc, Dataflow, BigQuery, Airflow тощо.
• Працюйте між командами та старшими інженерами, щоб зробити дані більш доступними для інших в організації.
• Змініть конвеєри вилучення даних на стандартизовані підходи, які можна повторювати та повторно використовувати з мінімальним наглядом старших інженерів.
• Автоматизація ручних процесів, оптимізація доставки даних, переробка інфраструктури для більшої масштабованості тощо.
• Тісно співпрацюйте зі старшими інженерами, щоб оптимізувати методи запитів і доступу до даних.
• Застосовувати сучасні практики розробки програмного забезпечення (безсерверні обчислення, архітектура мікросервісів, CI/CD, інфраструктура як код тощо)
• Брати участь у згуртованій команді інженерів, що використовує гнучке програмне забезпечення практики розвитку.

Вимоги:

• Ступінь бакалавра в галузі інформатики, системної інженерії або еквівалентний досвід.
• 5+ років досвіду роботи інженером Big Data.
• 3+ роки досвіду використання таких технологій, як Apache Spark, Hive, HDFS і Beam.
• Досвід роботи з Dataflow, Dataproc, композитором і потоком даних.
• 3+ роки досвіду роботи з SQL і Scala або Python.
• Понад 2 роки досвіду роботи з інструментами керування збірками програмного забезпечення, такими як Maven або Gradle.
• Понад 2 роки досвіду роботи з хмарними технологіями, такими як GCP, AWS або Azure.

Буде плюсом:

• Розробка даних за допомогою технологій GCP (BigQuery, DataProc, Dataflow, Composer, DataStream тощо) )
• Самостійний початківець, який визначає/реагує на переміщення пріоритетів із мінімальним наглядом.
• Системи керування керуванням вихідним кодом (наприклад, SVN/Git, Github) та інструменти для створення, як-от Maven & Gradle.
• Гнучкі середовища (наприклад, Scrum, XP)
• Реляційні бази даних (наприклад, SQL Server, Oracle, MySQL)
• Інструменти Atlassian (наприклад, JIRA, Confluence та Github) )

Ми пропонуємо:

• Гнучкий графік та можливість віддаленої роботи (8 годинний робочий день).
• Привітний професійний персонал і тепла атмосфера.
• Середовище, де можна реалізувати свої ідеї.
• Оплачувані відпустки та лікарняні.
• Медичне страхування.
• Можливість працювати віддалено.
• Участь у освітніх заходах та тематичних конференціях.
• Командні вечірки та корпоративи.