Старший удаленный инженер по обработке данных в Varwise

Мы ищем инженеров по обработке данных для удаленной работы в рекламной компании, которая использует машинное обучение и науку о данных для построения графа идентичности, который можно масштабировать, чтобы охватить миллионы пользователей через бренды с программно выбранными семьями. Работа включает в себя масштабирование нашего ресурса больших данных, который объединяет миллиарды точек данных транзакций, включая намерения, конверсии, данные первых лиц, в граф идентификации, который необходимо масштабировать для будущего мира без файлов cookie. Мы ценим техническое совершенство, и у вас будут как ресурсы, так и время для этого. создавать код мирового класса. Это 100% удаленная позиция. Вы будете работать с членами команды в Нью-Йорке. Если вам нравится решать сложные и технически сложные задачи, присоединяйтесь к нам, чтобы использовать свои навыки здесь для создания параллельных глобально распределенных системных приложений и сервисов в реальном времени. Процесс найма: Короткий звонок с Varwise. Первоначальный звонок менеджеру по найму или члену команды. Примите вызов на дому. Последующее и заключительное техническое собеседование. Минимум 8 лет соответствующего профессионального опыта, включая Java/Scala и Spark. Знание всех аспектов SDLC, от концепции до запуска производственных систем. Навыки использования Spark (PySpark) или Tensorflow. Опыт участия в проектах конвейеров ETL и ML на основе Airflow, Kubeflow, Mleap, Sagemaker или аналогичного опыта AWS, включая Kafka, Lambda, Glue, Athena, IAM. Опыт работы с базами данных как SQL, так и NOSQL. например Postgresql, Cassandra, Neo4j, Neptune или аналогичные. Опыт работы с крупномасштабными форматами и средами управления данными, такими как Parquet ORC, Databricks / Delta Lake, Iceberg или Hudi. Степень бакалавра в области компьютерных наук или смежных дисциплин. Мы ищем инженеров по обработке данных для удаленной работы. для рекламной компании, которая использует машинное обучение и науку о данных для создания графа идентичности, который можно масштабировать, чтобы охватить миллионы пользователей через бренды с автоматически выбранными семьями. Работа включает в себя масштабирование нашего ресурса больших данных, который объединяет миллиарды точек данных транзакций, включая намерения, конверсии, данные первых лиц, в граф идентификации, который необходимо масштабировать для будущего мира без файлов cookie. Мы ценим техническое совершенство, и у вас будут как ресурсы, так и время для этого. создавать код мирового класса. Это 100% удаленная позиция. Вы будете работать с членами команды в Нью-Йорке. Если вам нравится решать сложные и технически сложные задачи, присоединяйтесь к нам, чтобы использовать свои навыки здесь для создания параллельных глобально распределенных системных приложений и сервисов в реальном времени. Процесс найма: Короткий звонок с Varwise. Первоначальный звонок менеджеру по найму или члену команды. Примите домашнее задание. Последующее и заключительное техническое собеседование. [Работа над созданием и обслуживанием надежных и масштабируемых распределенных систем обработки данных. Станьте основным специалистом по обслуживанию озера данных. Поддерживайте нашу Озеро данных путем создания наборов данных с возможностью поиска для более широкого использования в бизнесе. Масштабирование, устранение неполадок и исправление существующих приложений и служб. Владение сложным набором служб и приложений. Сосредоточьтесь на обеспечении круглосуточной работы наших конвейеров данных. Ведите технические обсуждения, ведущие к усовершенствованию инструментов. , процессов или проектов. Работайте над масштабированием нашего графа идентичности, чтобы обеспечитьэффективные рекламные кампании, Работа с наборами данных, превышающими миллиарды записей, Работа с инфраструктурой на базе AWS, Масштабирование нашей платформы MLOps с использованием как традиционного машинного обучения, так и приложений на основе LLM/генеративного искусственного интеллекта] Вимоги: Spark, AWS, Linux, NoSQL, SQL, Kafka, Java, Scala, AWS Lambda, Glue, Athena, Cassandra, Neo4j, Databricks, PySpark, Kinesis, Airflow, Jenkins, Datadog, Python, TensorFlow. Инструменты: Jira, GitHub, GIT, Jenkins, Agile, Kanban. Бонусы та переваги: ​​Небольшие команды, Международные проекты, Командные мероприятия, 100% удаленность Всегда, Международная команда, Плоская структура, Бесплатный кофе, Велосипедная парковка, Игровая комната, Бесплатные закуски, Бесплатные напитки, Современный офис, Без дресс-кода, Внутренние тренинги.