Старший інженер з даних в Limango Polska

Senior Data Engineer @ Limango

Remote/Wroclaw

Контракт B2B – щоденна ставка 900-1250 злотих

Ваша роль і основні завдання

• Розробка платформи даних Central Lakehouse на основі екосистеми AWS / Databricks
• Управління інфраструктурою даних (Terraform AWS / Databricks) і кодом ETL (PySpark, Delta) Live Tables, SparkSQL)
• Впровадження моніторингу, тестів якості даних, модульного тестування для коду та автоматичних сповіщень у системі
• Рефакторинг застарілих рішень AWS (AWS Glue, Redshift) у контрольовані та CI/CD розгорнула екосистему Lakehouse з очікуваними даними/тестуванням якості даних
• Активна підтримка створення медальйонної архітектури lakehouse для даних ML і аналітики та впровадження концепцій сітки даних
• Активна підтримка бізнес-аналітики і команди ML, які працюють над платформою даних

Вам знадобиться

• ступінь інформаційних систем, комп’ютерних наук, математики/фізики , Інженерна справа чи споріднена галузь
• кілька років досвіду створення рішень для обробки даних (ідеально в електронній комерції)
• дуже добре знання програмування на Python (створення програм, автоматизоване тестування, пакування) і розгортання) 
• реальний досвід обробки даних PySpark і добре розуміння архітектури механізму обробки Spark
• Розширені навички обробки SQL
• досвід роботи з архітектурою озер даних і моделюванням даних парадигми
• досвід роботи з розгортанням інфраструктури як коду Terraform і CI/CD
• досвід створення та розгортання ETL-додатків для обробки даних – конвеєри CI/CD у середовищах git 
< li> Вільне володіння англійською – ми працюємо в міжнародному середовищі
• Ставлення до команди та бажання вивчати сучасні технології/фреймворки

Приємно- мати

• Знайомство з архітектурою AWS Cloud і платформою Databricks буде дуже вітатися
• Досвід роботи зі складськими ресурсами AWS Glue і Redshift
• Досвід роботи з шаблонами CloudFormation
• Досвід роботи з потоковою обробкою AWS Kinesis і Spark
• Добре знання програмування Scala, функціонального програмування та розробки додатків
• Досвід роботи з середовищами MLOps (наприклад, MLFlow) < /li>

Переваги: ​​

• Доступ до приватного медичного обслуговування, що гарантує благополуччя вам і вашим близьким.
• Мовні курси англійської та німецької мов, адаптовані до вашого рівня навичок.
• Можливості віддаленої роботи та гнучкий графік роботи відповідно до вашого графіка.
• Співфінансування мультиспортивної картки.
• Офіс, розташований у жвавому центрі Вроцлава, поруч із зручностями, зокрема кінотеатрами, фітнес-клубами та різноманітними закладами обіду.
• У неробочий час ми часто організовуємо цікаві екскурсії чи зустрічі в нашому офісі чи поблизу J