Інженер даних (Центр компетенції даних) в Sigma Software

Приєднуйтеся до Sigma Software, щоб бути в авангарді найцікавіших проектів і відігравати ключову роль у зростанні та успіху наших ініціатив і Центру компетенції. КЛІЄНТ Ми шукаємо інженера з обробки даних, який не тільки має великий досвід у розробці даних, але також готовий взяти на себе роль водія, сприяючи Центру компетенції даних у рамках Sigma Software. Ми шукаємо людину, яка захоплюється обробкою даних і бажає розвивати свої навички та досвід у цій галузі. ОБОВ’ЯЗКИ Створюйте конвеєри ETL, конфігурації оркестровки, автоматизацію CI/CD, сценарії тощо. Аналізуйте, упорядковуйте та інтерпретуйте необроблені дані за допомогою сучасного стеку даних. Створюйте запити SQL для ефективної обробки даних. ініціатор досконалості Data Engineering: досліджуйте технологічні тенденції та проводите аналіз найкращих практик, щоб переконатися, що наші рішення залишаються найсучаснішими. ВИМОГИ. Вміння створювати, підтримувати, тестувати та надавати широкомасштабні конвеєри даних. Експертиза ETL/ELT: практичний досвід принаймні одного кінця кінцеве рішення та його запуск, розробка та підтримка. Потужне знання SQL. Досвід і теоретичне розуміння моделювання даних та оптимізації баз даних. Принаймні 3 роки досвіду роботи з Python/Scala для обробки та перетворень даних. Досвід роботи зі Spark, зосереджено на PySpark. Практичний досвід роботи з основними фреймворками та бібліотеками в областях Data Engineering: Spark, Kafka, Airflow тощо з підтвердженим досвідом налагодження й оптимізації. Досвід роботи з хмарними рішеннями для обробки даних на AWS/AzureWOULDBE APLUSDatabricks. Досвід/сертифікація. Досвід роботи з розробкою даних CI/CD. Досвід роботи з такими інструментами BI, як Tableau, Qlik, Grafana або подібними. Приєднуйтесь донас уSigma Software, щоб бути в центрі уваги найцікавіших проектів та відігравати ключову роль у розвитку тауспіху нашого проекту та Центру компетенцій.ЗАМОВНИК Мишукаємо Data Engineer, який має майже сильний досвід розробки даних, але й готовий взяти на себе лідера, сприяючи роботі нашого Центру компетенцій обробки даних у Sigma Software. Мишукаємо людину, яка захоплює знання оброблених даних і прагне розвивати свої навички тавдосконалювати в цій галузі.ОБОВ'ЯЗКИ Створювати конвеєри ETL, оркестр конфігурації, автоматизацію CI/CD, скрипти тощоАналізувати, організовувати та інтерпретувати необроблені дані, використовуючи сучасні стек данихСтворювати SQL-запити для ефективного маніпулювання данимиРобити внесок урозвиток інженерії даних табути лідером у цій галузі: Досліджувати технологічні тенденції та проводити аналіз найкращих практик, щоб гарантувати, що наші рішення залишаються на найвищому рівні ВИМОГИ Досвід побудови, обслуговування, тестування та впровадження конвеєрів даних великого обсягуЕкспертиза ETL/ELT: Практичний досвід роботи щонайменше зоднім рішенням повного циклу, атакож досвід впровадження, розвиток таобслуговуванняГлибокі знання SQLДосвід теоретичне розуміння моделювання даних таоптимізація бази данихЩонайменше 3роки досвіду роботи зPython/Scala для обробки таперетворення данихДосвід роботи зіSpark, закцентом наPySparkПрактичний досвід роботи зосновними фреймворками табібліотеками області Data Engineering: Spark, Kafka, Airflow toщо, зпідтвердженим досвідом усунення помилок таоптимізаціїДосвід роботи зхмарними рішеннями для обробки даних наAWS/AzureПЕРЕВАГОЮ БУДЕ:Досвід роботи зCI/CDв інженерії данихДосвід роботи зBIінструментами, такими якTableau, Qlik, Grafana або подібнимиДосвід роботи/сертифікація Databricks