Старший инженер по большим данным (потребности подразделения веб- и мобильных устройств) в Sigma Software

Вы ищете команду профессионалов, использующих передовые технологии? Вы ищете место, где можно улучшить свою карьеру в области больших данных? Мы приглашаем вас присоединиться к нашему Центру компетенции по большим данным, который является частью сложной организационной структуры Sigma Software, объединяющей различных клиентов, интересные проекты и мероприятия для развития ваших профессиональных навыков. КЛИЕНТ Мы работаем в различных сферах бизнеса и работаем с широким кругом клиентов (тех, у кого нет NDA, можно найти здесь: sigma.software/case-studies). Наша команда высоко ценит свободу сотрудников, самостоятельность в принятии решений, стремление глубоко понять запрос клиента и увидеть корень проблемы. Мы верим, что люди, стремящиеся к такому мышлению, обязательно добьются успеха как признанные профессионалы и движущая сила развития больших данных в Украине. Центр компетенции по большим данным PROJECT — это место, где мы собираем лучшие инженерные практики и объединяем их в одну базу знаний, чтобы предоставлять нашим клиентам услуги технического совершенства. Мы не просто команда, собравшаяся для написания кода. Мы все готовы внести свой вклад в эту область, участвуя в жизни отдела больших данных или постоянно совершенствуя свои навыки. В нашем подразделении вы можете быть инженером по большим данным/руководителем группы/архитектором, или вы можете стать наставником, или человеком, стоящим за всеми новыми технологиями в команде, или активным слушателем, если хотите. Что бы вы ни решили, будьте уверены, что вы не одиноки. Будь то сложная задача, необычный запрос клиента или следующий проект, у вас всегда будет наставник и товарищи по команде с одинаковым мышлением, которые помогут найти лучшее решение. Мы используем необычный подход, нанимая людей не под конкретный проект, а в первую очередь в нашу команду. Это дает нам возможность узнать вас лучше и гарантировать, что мы обеспечим идеальное соответствие между потребностями клиента и вашими профессиональными интересами. Если у вас хватит смелости стать частью первоклассного сообщества больших данных в Украине, воспользуйтесь своим шансом, и давайте вместе творить историю! Описание вакансии Участие в исследованиях новых технологий и разработке комплексных решений, поддержка культуры инноваций с учетом вопросов безопасности, масштабируемости и надежности с упором на построение наших ETL-процессов. Работа с современным стеком данных, создание хорошо продуманных и надежных технических решений. код и внедрение процессов управления данными. Работа и профессиональное общение с командой заказчика. Берем на себя ответственность за предоставление основных функций решения. Участие в процессе сбора и уточнения требований, предложение оптимальных стратегий архитектуры, руководство внедрением архитектуры данных. Разработка основных модулей и функций, проектирование масштабируемых и экономически эффективные решения. Проведение проверок кода, написание модульных и интеграционных тестов. Масштабирование распределенной системы и инфраструктуры на новый уровень. Создание платформы данных с использованием возможностей современных облачных провайдеров (AWS/GCP/Azure). Дополнительные обязанности. Эти обязанности помогут вам расти профессионально. и может варьироваться в зависимости от проекта и желания расширить свою роль в компании.Облачная команда WS и активный вклад в партнерство. Разработка конвейеров потоковой передачи Micro Batch/Real-Time (архитектура Lambda). Работа над POC для проверки предлагаемых решений и миграции. Руководство переходом на современные технологические платформы, предоставление технических рекомендаций. Соблюдение методов CI/CD. помощь во внедрении лучших практик в команде. Вклад в рост подразделения, наставничество для других членов команды (необязательно). Владение всем конвейером и оптимизация инженерных процессов. Проектирование сложных ETL-процессов для аналитики и управления данными, стимулирование массового внедрения. Квалификация: 5+ лет работы. Опыт работы с Python и SQL Опыт работы с AWS, в частности API Gateway, Kinesis, Athena, RDS и Aurora Опыт построения конвейеров ETL для аналитики и внутренних операций Опыт создания внутренних API и интеграции с внешними API Работа с операционной системой Linux Эффективные коммуникативные навыки, особенно для объяснение технических концепций нетехническим руководителям бизнеса. Желание работать в динамичной, ориентированной на исследования команде. Опыт работы с концепциями распределенных приложений и инструментами DevOps. Отличные навыки письма и общения. Умение устранять неполадки и отладку. БУДУТ ПЛЮС Опыт работы с Hadoop, Spark и Airflow Опыт работы с группами DAG и инструментами оркестрации. Практический опыт разработки хранилищ данных на основе Snowflake. Опыт разработки конвейеров данных, управляемых событиями.