Инженер по большим данным (Польша) в UST Ukraine

Инженер по большим данным (Польша)

добавлено

Наш клиент ищет старшего инженера по большим данным, который станет частью команды, выполняющей и поддерживающей периферийную аналитику. решения в облачной экосистеме Google. Вы найдете отличное место для работы, если вы увлечены разработкой задач по приему данных, изучением новых технологий, а также предложением и внедрением новых технологий.

МЕСТОПОЛОЖЕНИЕ кандидата: Польша

Обязанности:

• Извлечение, преобразование и загрузка данных из нескольких источников и разных форматов с использованием технологий больших данных.
• Разработка, улучшение и поддержка заданий по приему данных из различных исходных систем в соответствии с существующими шаблонами проектирования с использованием служб GCP, таких как Apache Spark, Dataproc, Dataflow, BigQuery, Airflow и т. д.
• Работайте между командами и старшими инженерами, чтобы сделать Данные более доступными для других внутри организации.
• Преобразуйте конвейеры извлечения данных в стандартизированные подходы, которые можно повторять и повторно использовать при минимальном контроле со стороны старших инженеров.
• Автоматизация ручных процессов, оптимизация доставки данных, перепроектирование инфраструктуры для большей масштабируемости и т. д.
• Тесно сотрудничайте со старшими инженерами для оптимизации методов запросов и доступа к данным.
• Применять современные методы разработки программного обеспечения (бессерверные вычисления, микросервисная архитектура, CI/CD, инфраструктура как код и т. д.).
• Участвовать в сплоченной команде инженеров, использующей гибкое программное обеспечение. практики развития.

Требования:

• Степень бакалавра в области компьютерных наук, системной инженерии или эквивалентный опыт.
• 5+ лет опыта работы в должности инженера по большим данным.
• 3+ года опыта использования таких технологий, как Apache Spark, Hive, HDFS и Beam.
• Опыт работы с Dataflow, Dataproc, композитором и потоком данных.
• 3+ года опыта работы с SQL и Scala или Python.
• 2+ года опыта работы с инструментами управления сборкой программного обеспечения, такими как Maven или Gradle.
• 2+ года опыта работы с облачными технологиями, такими как GCP, AWS или Azure.

Будет плюсом:

• Разработка данных с использованием технологий GCP (BigQuery, DataProc, Dataflow, Composer, DataStream и т. д.) )
• Самостоятельный человек, который определяет изменения приоритетов и реагирует на них с минимальным контролем.
• Системы управления контролем исходного кода (например, SVN/Git, Github) и инструменты разработки, такие как Maven и Gradle.
• Гибкие среды (например, Scrum, XP)
• Реляционные базы данных (например, SQL Server, Oracle, MySQL)
• Инструменты Atlassian (например, JIRA, Confluence и Github) )

Мы предлагаем:

• Гибкий график и возможность работать удаленно (8 часовой рабочий день).
• Дружелюбный профессиональный персонал и теплая атмосфера.
• Среда, в которой можно реализовать свои идеи.
• Оплачиваемые отпуска и больничные.
• Медицинская страховка.
• Возможность работать удаленно.
• Участие в образовательных мероприятиях и тематических конференциях.
• Командные вечеринки и корпоративные мероприятия.