Старший інженер з даних в Cybernetic Controls Ltd

Пряме повідомлення учасника, який розмістив вакансію, з Cybernetic Controls Ltd Bushra Shahzaib Bushra Shahzaib International Recruitment Specialist | Адміністративний експерт | Огляд позаштатного автора контентуCCL створює високоякісні системи автоматизації та індивідуальні програмні рішення для фірм, щоб допомогти організаціям покращити їхні операційні процеси та знизити загальний ризик і підвищити ефективність. Ще одна ключова мета CCL – забезпечити більшу прозорість для фірм і регуляторів. CCL також захоплюється видаленням відходів і спрощенням роботи. Ми в CCL вважаємо, що не менш важливо, щоб ви відчували, що ми – правильна компанія для вас, а також, щоб ви підходили нам. Тому ми хочемо поділитися з вами цінностями нашої компанії. Ці цінності були створені спільними зусиллями наших співробітників і є невід’ємною частиною нашої компанії. Така поведінка лежить в основі всього, що ми робимо, і допомагає створити позитивну культуру в CCL. Дізнайтеся більше на веб-сайті Cybernetic Controls. Наш клієнт: ми — компанія RegTech, яка отримала багато нагород і прагне змінити якість нормативної звітності в галузі фінансових послуг. Ми об’єднали нормативний досвід із передовими технологіями, щоб розробити наші лідируючі на ринку послуги із забезпечення якості. Наші послуги, унікальні завдяки можливості повної оцінки якості даних, використовуються деякими з найбільших у світі інвестиційних банків, менеджерів активів, хедж-фондів і брокерів, допомагаючи їм скоротити витрати, підвищити якість і підвищити довіру до їх нормативної звітності. Огляд роботи Наш клієнт шукає старшого інженера з даних, щоб приєднатися до нашої команди, яка швидко зростає. Успішний кандидат приєднається до команди тестування для роботи над ETL і завданнями розробки. Це захоплююча й складна можливість побудувати нові конвеєри, поєднуючи й обробляючи великі обсяги структурованих даних із різноманітних джерел за допомогою потужності PySparkat під рукою. Основні обов’язки Архітектор і створення конвеєрів за допомогою хмарних обчислювальних рішень AWS, які роблять дані доступними з надійністю та зручністю обслуговування , ефективність, масштабованість, доступність і безпека. Розробка Python і/або Spark (бажано PySpark, але Spark-Scala також добре мати) код, який реалізує складні перетворення даних. Проектування та підтримка баз даних і API для зберігання та передачі даних між програмами .Моніторинг конвеєрів у виробництві (і розробка інструментів для полегшення цього). Працюйте разом з іншими членами команди (мозковий штурм, усунення несправностей і перегляд коду). Зв’язок з іншими командами розробників для забезпечення цілісності конвеєрів даних. Навички, знання та досвід Навички: відмінно Програмування на Python і PySpark (включаючи кадри даних Pandas/PySpark, підключення до Інтернету та баз даних) Чудове розумінняg процесів ETL у Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Найкращі практики життєвого циклу розробки програмного забезпечення Розробка на основі тестування Безсерверні обчислення (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 тощо) .)Розробка та керування базами даних SQL і NoSQL (DynamoDB, MySQL)Сильні навички кодування SQL (Spark-SQL, Presto SQL, MySQL тощо)Інфраструктура як код (CloudFormation)Досвід роботи зі сценаріями оболонки (бажано Linux)Керування версіями за допомогою Git/ Принципи, процеси та інструменти GithubAgile. Відмінні навички письмового та усного спілкування. Досвід: проектування, розгортання та керування складними конвеєрами виробничих даних, які взаємодіють із різними джерелами даних (файловими системами, Інтернетом, базами даних, користувачами). Значний досвід роботи з Amazon Web Services (AWS). )5 років роботи на аналогічній посаді. Знання: моделювання даних, архітектура каналу даних, впровадження великих даних. Найкращі практики життєвого циклу розробки програмного забезпечення. Фінансові знання будуть активом. Кваліфікація/навчання: Ступінь бакалавра або еквівалент у галузі комп’ютерних наук або спорідненого предмету. Що ви отримаєте натомість Конкурентоспроможний пакет заробітної плати Приватний внесок у систему охорони здоров’я Щорічний перегляд зарплати Регулярні командні спілкування Робота в культурі інновацій та співпраці Можливість відігравати ключову роль у компанії, що розвивається новатором Показати більше Показати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов'язки Інформаційні технології Галузі Розробка програмного забезпечення