Старший инженер данных в Cybernetic Controls Ltd

Прямое сообщение участника, который объявил о вакансии, с Cybernetic Controls Ltd Бушра Шахзаиб Бушра Шахзаиб Специалист по международному подбору персонала | Административный эксперт | Обзор внештатного автора контентаCCL создает высококачественные среды автоматизации и индивидуальные программные решения для фирм с целью помочь организациям улучшить свои операционные процессы, снизить общий риск и повысить эффективность. Еще одна ключевая цель CCL — обеспечить большую прозрачность для фирм и регулирующих органов. CCL также с энтузиазмом относится к удалению мусора и упрощению работы. В CCL мы считаем, что так же важно, чтобы вы чувствовали, что мы — подходящая вам компания, а также вы — подходящая нам компания. Поэтому мы хотим поделиться с вами ценностями нашей компании. Эти ценности были созданы в результате совместных усилий наших сотрудников и являются неотъемлемой частью нашей компании. Такое поведение лежит в основе всего, что мы делаем, и помогает создать позитивную культуру внутри CCL. Подробнее читайте на веб-сайте Cybernetic Controls. Наш клиент: Мы — отмеченная множеством наград компания RegTech, миссия которой — изменить качество нормативной отчетности в индустрии финансовых услуг. Мы объединили опыт регулирования с передовыми технологиями для разработки наших лидирующих на рынке услуг по обеспечению качества. Наши услуги уникальны тем, что позволяют полностью оценить качество данных. Наши услуги используются некоторыми крупнейшими в мире инвестиционными банками, управляющими активами, хедж-фондами и брокерами, помогая им сократить расходы, улучшить качество и повысить доверие к их нормативной отчетности. Краткое описание вакансииНаш клиент приглашает присоединиться к нашей быстрорастущей команде старшего инженера по обработке данных. Успешный кандидат присоединится к команде тестирования для работы над ETL и задачами разработки. Это захватывающая и интересная возможность создавать новые конвейеры, объединяющие и обрабатывающие большие объемы структурированных данных из различных источников с помощью PySpark, который находится у вас под рукой. Основные обязанности. Проектирование и создание конвейеров с использованием решений облачных вычислений AWS, которые обеспечивают надежность и удобство обслуживания данных. , эффективность, масштабируемость, доступность и безопасность. Разработайте код Python и/или Spark (предпочтительно PySpark, но также полезно иметь Spark-Scala), который реализует сложные преобразования данных. Проектируйте и поддерживайте базы данных и API для хранения и передачи данных между приложениями. .Отслеживать конвейеры в производстве (и разрабатывать инструменты для облегчения этого). Работать совместно с другими членами команды (мозговой штурм, устранение неполадок и проверка кода). Поддерживать связь с другими командами разработчиков для обеспечения целостности конвейеров данных. Навыки, знания и знания. Навыки: отлично. Программирование на Python и PySpark (включая фреймы данных Pandas/PySpark, подключения к Интернету и базам данных). Отличное пониманиеg процессов ETL в Amazon Web Services (AWS) Apache Spark, AWS Glue, Athena, S3, Step Functions, Lake Formation Лучшие практики жизненного цикла разработки программного обеспечения Разработка через тестирование Бессерверные вычисления (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3 и т. д.) .)Проектирование и управление базами данных SQL и NoSQL (DynamoDB, MySQL)Сильные навыки кодирования SQL (Spark-SQL, Presto SQL, MySQL и т. д.)Инфраструктура как код (CloudFormation)Опыт написания сценариев Shell (предпочтительно Linux)Контроль версий с помощью Git/ Принципы, процессы и инструменты GithubAgile. Отличные письменные и устные коммуникативные навыки. Опыт: Проектирование, развертывание и управление сложными конвейерами производственных данных, которые взаимодействуют с различными источниками данных (файловые системы, Интернет, базы данных, пользователи). Большой опыт работы с Amazon Web Services (AWS). ) 5 лет работы на аналогичной должности. Знания: моделирование данных, архитектура конвейеров данных, внедрение больших данных. Лучшие практики жизненного цикла разработки программного обеспечения. Финансовые знания будут преимуществом. Квалификация/Обучение: Степень бакалавра или эквивалент в области компьютерных наук или аналогичного предмета. Что вы получите взамен. Конкурентоспособный пакет заработной платы. Частный вклад в здравоохранение. Ежегодный обзор заработной платы. Регулярные командные социальные мероприятия. Работа в рамках культуры инноваций и сотрудничества. Возможность играть ключевую роль в новаторской развивающейся компании. Свернуть