Старший инженер данных в Osavul

17 июля 2024 г. miltech

Старший инженер по обработке данных

виддалено

Вы увлечены защитой стран, обществ и предприятий от онлайн-манипуляций и дезинформации? Не ищите дальше! Наша быстрорастущая компания с энтузиазмом привержена этой важной миссии, предлагая вам привилегированную возможность сотрудничать с некоторыми из самых влиятельных организаций мира, включая НАТО и ЕС. Как украинская команда, мы полны решимости добиться существенных и значимых изменений!

Если вы готовы присоединиться к динамичной команде, работающей над общим видением более безопасного цифрового мира, мы приглашаем вас стать частью нашего путешествия. Формируйте будущее вместе с нами и помогите защититься от онлайн-угроз целеустремленно и инновационно.

Обзор роли:

Мы ищем опытного старшего инженера по обработке данных, обладающего глубокими знаниями в области хранения и обработки данных для улучшения нашей инфраструктуры данных. Вы будете отвечать за проектирование и реализацию архитектуры данных высоконагруженной системы, работающей с текстовым и медиаконтентом, его векторным представлением (встраиванием), статистическими данными в реальном времени и графическими данными (связями между различными субъектами). Ваши решения для обработки данных будут использоваться в нашей ориентированной на клиентов платформе искусственного интеллекта, улучшая наш поиск, обогащение данных искусственного интеллекта, RAG и многое другое.

Если вы увлечены разработкой данных, преуспеваете в оптимизации рабочих процессов с данными и преуспеваете в разработке масштабируемых решений для сложных систем, эта возможность создана специально для вас.

Ролевые обязанности:

• Внедрение и поддержка озера данных, хранилища данных и соответствующих хранилищ данных для различных типов данных: текстов, векторов, статистики. , графики.
• Внедрите конвейеры ETL для заполнения различных хранилищ расширенными данными и обеспечения согласованности данных.
• Внедрите инструменты для стандартизированного внутреннего и внешнего запроса данных в различных форматах и ​​местах, включая полнотекстовый поиск, поиск по векторному сходству, аналитические агрегации и поиск по графам.
• Сотрудничайте с командой по сбору данных над форматом данных и процессом их приема.
• Разбивайте сложные проблемы на выполнимые задачи.
• Контролируйте производительность системы, убедитесь, что согласованность данных и задержка обновления соответствуют требованиям продукта.

Требуемые навыки и способности:

• Знание языка программирования Python и библиотек обработки данных, таких как pandas, numpy.
• Опыт работы с Elasticsearch или аналогичной технологией для полнотекстового поиска.
• Опыт работы с встраиваниями и высоконагруженными векторными хранилищами (Milvus, Quadrant, Pinecone или аналогичные).
• Владение SQL и аналитическими БД Postgresql, Aurora DB/Snowflake/Redshift/DynamoDB.
• Опыт построения конвейеров RAG.
• Опыт развертывания контейнеров Docker в K8.
• Сильное чувство ответственности и способность решать сложные абстрактные проблемы.
• Возможность писать эффективный и масштабируемый код и модульные тесты для обеспечения согласованности всей базы кода.
• Командный дух и способность эффективно сотрудничать сс другими.
• Умение сформулировать четкую стратегию; Составьте карту и выполните необходимые шаги, чтобы помочь компании ускорить достижение ее стратегических целей.

Минимальная квалификация:

• Степень бакалавра или магистра в области компьютерных наук, инженерии или связанных областей.
• Минимум 5 лет опыта работы в должности инженера по обработке данных или на аналогичной должности, в частности, при работе над задачами, связанными с обработкой и хранением данных, с глубоким пониманием сложных архитектур данных.
• Опыт построения конвейеров данных с соответствующим пониманием приема данных, преобразования структурированных, полуструктурированных и неструктурированных данных в облачных сервисах.
• Опыт внедрения решений по работе с данными, которые работают в условиях высокой нагрузки и обрабатывают большие объемы данных.
• Опыт работы с моделями встраивания текста и встраивания хранилищ.
• Знакомство с контейнеризацией (Docker) и системами оркестрации (Kubernetes), Linux и сценариями оболочки.

Предпочтительная квалификация:

• Опыт работы с данными СМИ будет преимуществом.
• Опыт работы с потоковыми конвейерами.
• Опыт работы с GCP и Google BigQuery будет преимуществом.

• Предпочтителен опыт работы в продуктовой компании или стартапе.
• Опыт работы с neo4j или аналогичной графической базой данных будет преимуществом

Мы предлагаем:

• Возможность представьте свой продукт и помогите престижным клиентам, таким как правительства и ведущие неправительственные организации, в борьбе с информационными угрозами и проблемами безопасности.
• Шанс ускорить свой карьерный рост и занять руководящую роль.
• Автономия и свобода экспериментировать и воплощать в жизнь собственные идеи.
• Став ключевым участником, вы также получите вознаграждение в рамках нашей программы вознаграждения акциями.
• Гибкая полностью удаленная работа и возможность использовать наше динамичное коворкинг-пространство в Киеве, Украина.

Подайте заявку прямо сейчас и внесите свой вклад в миссию, которая действительно имеет значение!