Data Engineer (Data Competency Center) in Sigma Software

Data Engineer (Data Competency Center) Київ, Львів, Дніпро, Одеса, Вінниця, Івано-Франківськ, Луцьк, Моршин, Чернівці Joinus atSigma Software tobeatthe forefront ofthe most interesting projects and play apivotal role inthe growth and success ofour initiatives and Competence Center. CUSTOMER Weare looking for aData Engineer who not only has strong expertise indata engineering but isalso ready totake onadriver role, contributing toour Data Competency Center within Sigma Software. Weseek someone passionate about data processing who strongly desires togrow their skills and expertise inthis field. RESPONSIBILITIES Create ETLpipelines, orchestration configurations, CI/CDautomation, scripts, etc. Analyze, organize, and interpret raw data using amodern data stack Create SQL queries toefficiently manipulate data Contributing toand spearheading Data Engineering excellence: Research technology trends and conduct best practices analysis toensure our solutions remain state-of-the-art REQUIREMENTS Proficiency inbuilding, maintaining, testing, and delivering large-scale data pipelines ETL/ELT expertise: Practical experience with atleast one end-to-end solution and its start, development, and maintenance Strong knowledge ofSQL  Experience and theoretical understanding indata modeling and database optimizations Atleast 3years ofproficiency inPython/Scala for data processing and transformations Experience with Spark, with afocus onPySpark Hands-on experience with main frameworks and libraries inData Engineering domains: Spark, Kafka, Airflow, etc., with aproven record ofdebugging and optimization experience Experience with cloud-based data processing solutions onAWS/Azure WOULDBE APLUS Databricks experience/certification Experience with CI/CD indata engineering Experience withBI tools such asTableau, Qlik, Grafana orsimilar Приєднуйся донас уSigma Software, щоб бути вцентрі уваги найцікавіших проєктів тавідігравати ключову роль урозвитку тауспіху наших ініціатив таЦентру компетенцій. ЗАМОВНИК Мишукаємо Data Engineer, який нетільки має сильний досвід вінженерії даних, але йготовий взяти насебе роль лідера, сприяючи роботі нашого Центру компетенцій зобробки даних вSigma Software. Мишукаємо людину, яка захоплюється обробкою даних іпрагне розвивати свої навички тавдосконалювати знання вцій галузі. ОБОВ’ЯЗКИ Створювати конвеєри ETL, конфігурації оркестрування, автоматизацію CI/CD, скрипти тощо Аналізувати, організовувати таінтерпретувати необроблені дані, використовуючи сучасний стек даних Створювати SQL-запити для ефективного маніпулювання даними Робити внесок урозвиток інженерії даних табути лідером уцій галузі: Досліджувати технологічні тенденції тапроводити аналіз найкращих практик, щоб гарантувати, щонаші рішення залишаються нанайвищому рівні ВИМОГИ Досвід побудови, обслуговування, тестування тавпровадження конвеєрів даних великого обсягу Експертиза ETL/ELT: Практичний досвід роботи щонайменше зодним рішенням повного циклу, атакож досвід його впровадження, розвитку таобслуговування Глибокі знання SQL Досвід татеоретичне розуміння моделювання даних таоптимізації баз даних Щонайменше 3роки досвіду роботи зPython/Scala для обробкand data transformation Experience with Spark, with an emphasis on PySpark Practical experience with the main frameworks and libraries in the field of Data Engineering: Spark, Kafka, Airflow, etc., with proven experience in troubleshooting and optimization Experience with cloud solutions for data processing on AWS/Azure WILL BE AN ADVANTAGE: Experience with CI/CD in engineering experience with BI tools such as Tableau, Qlik, Grafana or similar Databricks experience/certification