Инженер по средним данным - удаленный @ стратегические кадровые решения в Strategic Staffing Solutions

Компания Strategic Staffing Solutions ищет инженера по обработке данных для поддержки глобального клиента из США в нефтегазовой отрасли. Полностью удален от Польши с возможностью ежегодной поездки в штаб-квартиру в США. Инженер по обработке данных будет поддерживать наших разработчиков программного обеспечения, архитекторов баз данных, аналитиков данных и ученых, занимающихся данными, в инициативах по работе с данными и обеспечит согласованность оптимальной архитектуры доставки данных во всех текущих проектах. Обязанности инженера по данным Создание и поддержание оптимальной архитектуры конвейера данных. Сбор больших и сложных наборов данных, отвечающих функциональным/нефункциональным бизнес-требованиям. Определите, спроектируйте и внедрите улучшения внутренних процессов: автоматизируйте ручные процессы, оптимизируйте доставку данных, перепроектируйте инфраструктуру для большей масштабируемости и т. д. Создайте инфраструктуру, необходимую для оптимального извлечения, преобразования и загрузки данных из широкого спектра источников данных, используя Технологии больших данных SQL и AWS. Создавайте инструменты аналитики, которые используют конвейер данных для предоставления действенной информации о привлечении клиентов, операционной эффективности и других ключевых показателях эффективности бизнеса. Работайте с заинтересованными сторонами, включая команды руководителей, продуктов, данных и разработчиков, чтобы помочь с техническими проблемами, связанными с данными, и удовлетворить их потребности в инфраструктуре данных. Создавайте инструменты обработки данных для членов команды аналитиков и специалистов по обработке данных, которые помогут им создать и оптимизировать наш продукт, превратив его в инновационного лидера отрасли. Работайте с экспертами по данным и аналитике, чтобы добиться большей функциональности наших систем данных. Квалификация инженера по данным. Продвинутые знания SQL и опыт работы с реляционными базами данных, написания запросов (SQL), а также знание работы с различными базами данных. Опыт построения и оптимизации конвейеров, архитектур и наборов данных больших данных. Опыт проведения анализа первопричин внутренних и внешних данных и процессов для ответа на конкретные бизнес-вопросы и выявления возможностей для улучшения. Сильные аналитические навыки, связанные с работой с неструктурированными наборами данных. Создавайте процессы, поддерживающие преобразование данных, структуры данных, метаданные, управление зависимостями и рабочей нагрузкой. Успешная история манипулирования, обработки и извлечения ценности из больших разрозненных наборов данных. Практические навыки работы с очередями сообщений, потоковой обработкой и масштабируемыми хранилищами больших данных. Сильные навыки управления проектами и организаторские способности. Опыт поддержки и работы с кросс-функциональными командами в динамичной среде. Инженер по обработке данных присоединится к команде по интеграции линейки продуктов для обслуживания и контроля поверхностей, чтобы создавать и совершенствовать надежные решения по интеграции данных для лучшей поддержки других групп продуктов. Опыт сбора, подготовки и проверки данных, перемещения и преобразования данных в облаке Azure для интеграции данных и процессов ETL. Опыт работы с облачными службами Azure, включая базу данных SQL Azure, хранилище BLOB-объектов Azure, Azure Data Lake, Azure Data Factory, Azure Synapse. Знание технологий больших данных, таких как Spark, Hadoop или Kafka. Большой опыт работы с SQL и решениями для хранилищ данных. Сильные навыки программирования, например Python, для обработки данных. Знаком сКонвейер ADO CICD и ansible. Компания Strategic Staffing Solutions ищет инженера по обработке данных для поддержки глобального клиента из США в нефтегазовой отрасли. Полностью удален от Польши с возможностью ежегодной поездки в штаб-квартиру в США. Инженер по обработке данных будет поддерживать наших разработчиков программного обеспечения, архитекторов баз данных, аналитиков данных и ученых, занимающихся данными, в инициативах по работе с данными и обеспечит согласованность оптимальной архитектуры доставки данных во всех текущих проектах. Обязанности инженера по данным Создание и поддержание оптимальной архитектуры конвейера данных. Сбор больших и сложных наборов данных, отвечающих функциональным/нефункциональным бизнес-требованиям. Определите, спроектируйте и внедрите улучшения внутренних процессов: автоматизируйте ручные процессы, оптимизируйте доставку данных, перепроектируйте инфраструктуру для большей масштабируемости и т. д. Создайте инфраструктуру, необходимую для оптимального извлечения, преобразования и загрузки данных из широкого спектра источников данных, используя Технологии больших данных SQL и AWS. Создавайте инструменты аналитики, которые используют конвейер данных для предоставления действенной информации о привлечении клиентов, операционной эффективности и других ключевых показателях эффективности бизнеса. Работайте с заинтересованными сторонами, включая команды руководителей, продуктов, данных и разработчиков, чтобы помочь с техническими проблемами, связанными с данными, и удовлетворить их потребности в инфраструктуре данных. Создавайте инструменты обработки данных для членов команды аналитиков и специалистов по обработке данных, которые помогут им создать и оптимизировать наш продукт, превратив его в инновационного лидера отрасли. Работайте с экспертами по данным и аналитике, чтобы добиться большей функциональности наших систем данных. Квалификация инженера по данным. Продвинутые знания SQL и опыт работы с реляционными базами данных, написания запросов (SQL), а также знание работы с различными базами данных. Опыт построения и оптимизации конвейеров, архитектур и наборов данных больших данных. Опыт проведения анализа первопричин внутренних и внешних данных и процессов для ответа на конкретные бизнес-вопросы и выявления возможностей для улучшения. Сильные аналитические навыки, связанные с работой с неструктурированными наборами данных. Создавайте процессы, поддерживающие преобразование данных, структуры данных, метаданные, управление зависимостями и рабочей нагрузкой. Успешная история манипулирования, обработки и извлечения ценности из больших разрозненных наборов данных. Практические навыки работы с очередями сообщений, потоковой обработкой и масштабируемыми хранилищами больших данных. Сильные навыки управления проектами и организаторские способности. Опыт поддержки и работы с кросс-функциональными командами в динамичной среде. Инженер по обработке данных присоединится к команде по интеграции линейки продуктов для обслуживания и контроля поверхностей, чтобы создавать и совершенствовать надежные решения по интеграции данных для лучшей поддержки других групп продуктов. ,[Проектирование, создание и поддержка масштабируемых хранилищ данных и решений для больших данных с использованием Azure Synapse Analytics. Разработка и оптимизация конвейеров данных, интегрирующих различные источники данных в Synapse. Мониторинг производительности системы и выполнение настройки производительности запросов для крупномасштабных запросов к данным, устранение неполадок. проблемы и обеспечивать надежность системы и точность данных.] Требования: облако Azure, ETL, база данных SQL Azure, хранилище BLOB-объектов, озеро данных Azure, фабрика данных Azure., Azure Synapse, Большие данные, Spark, Hadoop, Kafka, SQL, Хранилище данных, Python, Конвейеры CI/CD, Ansible, Azure Дополнительно: бюджет на обучение.