Средний/старший инженер по обработке данных в N-iX

Мы ищем активного инженера по обработке данных среднего/старшего уровня, который присоединится к нашей энергичной команде. В качестве инженера по данным вы будете играть решающую роль в проектировании, разработке и обслуживании сложных конвейеров данных, объектов онтологий и функций Foundry в Palantir Foundry. Идеальный кандидат должен обладать обширным опытом работы в облачных технологиях, архитектуре данных и страстью к решению сложных задач, связанных с данными.

Ключевые обязанности:

- Сотрудничайте с межфункциональными группами, чтобы понять требования к данным, а также проектировать, внедрять и поддерживать масштабируемые конвейеры данных в Palantir Foundry, обеспечивая сквозную целостность данных и оптимизируя рабочие процессы.

- Собирайте и преобразуйте требования к данным в надежные и эффективные решения, используя свой опыт в облачной инженерии данных. Создавайте модели данных, схемы и блок-схемы для управления разработкой.

- Разрабатывайте, внедряйте, оптимизируйте и поддерживайте эффективные и надежные конвейеры данных и процессы ETL/ELT для сбора, обработки и интеграции данных для обеспечения своевременного и точную доставку данных в различные бизнес-приложения, а также внедрение передовых методов управления данными и безопасности для защиты конфиденциальной информации.

- Отслеживайте производительность конвейера данных, выявляйте узкие места и внедряйте улучшения для оптимизации скорости обработки данных и сокращения задержек.< /p>

- Устранение неполадок и решение проблем, связанных с конвейерами данных, обеспечение непрерывной доступности и надежности данных для поддержки процессов принятия решений на основе данных.

- Будьте в курсе новых технологий и отраслевых тенденций, включая инновационные решения в практике обработки данных, а также эффективно документировать и распространять технические решения и процессы.

Инструменты и навыки, которые вы будете использовать на этой должности:

- Palantir Foundry

- Python

- PySpark

- SQL

- TypeScript

Требования:

- Опыт работы в области обработки данных от 3 лет, желательно в фармацевтической или медико-биологической отрасли.

– Уверенное знание Python и PySpark.

– Владение технологиями больших данных (например, Apache Hadoop, Spark, Kafka, BigQuery и т. д.).

– Практический опыт работы с облачные сервисы (например, AWS Glue, Azure Data Factory, Google Cloud Dataflow).

– Опыт моделирования данных, хранилищ данных и концепций ETL/ELT.

– Практический опыт. опыт работы с системами баз данных (например, PostgreSQL, MySQL, NoSQL и т. д.).

- Знание технологий контейнеризации (например, Docker, Kubernetes).

- Эффективное решение проблем и аналитические навыки в сочетании с отличными коммуникативными способностями и способностями к сотрудничеству.

- Сильные коммуникативные способности и способности к командной работе.

- Понимание передовых методов обеспечения безопасности данных и конфиденциальности.

- Хорошие математические, статистические и алгоритмические навыки.

Приятно иметь:

- Сертификация по облачным платформам или смежным областям. .

- Опыт работы с поисковой системой Apache Lucene, Webservice Rest API.

- Знакомство с Veeva CRM, Reltio, SAP и/или Palantir Foundry.

- Нознание правил фармацевтической отрасли, таких как законы о конфиденциальности данных, является преимуществом.

- Предыдущий опыт работы с JavaScript и TypeScript.

Мы предлагаем :

- Гибкий формат работы – удаленно, в офисе или гибкий

- Конкурентоспособная заработная плата и хороший компенсационный пакет

- Индивидуальный карьерный рост

- Инструменты профессионального развития (программа наставничества, технические переговоры и тренинги, центры передового опыта и т. д.)

- Активные технологические сообщества с регулярным обменом знаниями.

- Компенсация за обучение.

– Памятные подарки к юбилею.

– Корпоративные мероприятия и тимбилдинги.

– Другие преимущества, зависящие от региона.