Средний/старший инженер по обработке данных в CHI Software

Прямое сообщение участника, который разместил вакансию, в CHI Software Елена Ляляева Елена Ляляева Технический рекрутер в CHI Software Команда CHI Software не стоит на месте. Мы любим свою работу и отдаемся ей на сто процентов! Каждый новый проект – это вызов, с которым мы успешно справляемся. Единственное, что может нас остановить, это… Подожди, ничего! Количество проектов растёт, а вместе с ними и наша команда. И теперь нам нужен старший инженер по данным. Идеальный кандидат будет глубоко вовлечен в обнаружение, анализ и сборку больших и сложных наборов данных. Они будут проектировать и строить нашу инфраструктуру больших данных, обеспечивать безопасность данных и оптимизировать производительность наших платформ больших данных, в первую очередь в облачной среде AWS. Требования: Степень бакалавра в области компьютерных наук или смежной области. 3-4 года опыта работы в инженерия данных и создание платформ данных. Подтвержденный успех в развертывании облачных продуктов и продуктов модели SaaS, а также опыт создания оптимизированных конвейеров обработки для приложений потоковой аналитики. Знание баз данных и оптимизации запросов (PostgresSQL, ElasticSearch, MongoDB, Redis, Druid), включая опыт работы с NoSQL и графовые базы данных. Опыт работы с базами данных с горизонтальным масштабированием. Опыт работы с Kafka и Airflow, с глубоким пониманием инструментов профилирования во время выполнения. Опыт работы с системами обработки больших данных, такими как Apache Spark, Flink, Beam или аналогичные. Навыки автоматизации сборки, непрерывной интеграции. и инструменты развертывания (CI/CD) (Webpack, Buddy, Jenkins, Docker). Навыки программирования Python на экспертном уровне. Облачная платформа: AWS. Будет плюсом: Технический опыт в области искусственного интеллекта и машинного обучения. Опыт проектирования и реализации интерактивных запросов. - управляемые основные компьютерные интеллектуальные системы. Опыт работы с распределенными командами. Обязанности: Разработка и внедрение распределенных систем обработки данных в режиме реального времени, анализирующих общедоступные данные и обнаружение возникающих угроз. Разработка и оптимизация процессов ETL для различных форматов данных из социальных сетей, новостей и Интернета. источники. Проектируйте и внедряйте надежные системы баз данных и разрабатывайте инструменты для обработки запросов и анализа, уделяя особое внимание приложениям потоковой передачи в реальном времени. Возглавьте усилия по автоматизации сборки, непрерывной интеграции, развертыванию и оптимизации производительности, соблюдая наши строгие требования безопасности. Разрабатывайте наборы тестов и внедряйте их. встроенные инструменты для обеспечения корректности данных.Наши льготыПериод отпуска: 20 рабочих дней и 5 выходных.Бесплатные занятия английским языком.Гибкий график работы.По-настоящему дружелюбная и поддерживающая атмосфера.Работа удаленно или в одном из наших офисов.Медицинская страховка для сотрудников из Украины.Компенсация психологических консультаций.Юридические. поддержка.Помощь в переезде.Show more Show less Должностной уровень Старший средний уровень Тип занятости Полный рабочий день Отрасли Information Technology & Services