Старший інженер з даних в Osavul

17 липня 2024 р miltech

Senior Data Engineer

віддалено

Ви зацікавлені в захисті країн, суспільств і компаній від онлайн-маніпуляцій і дезінформації? Не дивіться далі! Наша компанія, яка швидко розвивається, пристрасно віддана цій важливій місії, пропонуючи вам привілейовану можливість співпрацювати з деякими з найвпливовіших організацій світу, включаючи НАТО та ЄС. Як українська команда, ми сповнені рішучості запровадити суттєві та суттєві зміни!

Якщо ви готові приєднатися до динамічної команди, яка працює над спільним баченням безпечнішого цифрового світу, ми запрошуємо вас стати частиною нашої подорожі. Формуйте майбутнє разом із нами та допомагайте захищатися від онлайн-загроз цілеспрямовано та інноваційно.

Огляд ролі:

Ми пошукаємо досвідченого старшого інженера з обробки даних із глибоким володінням сховищами й обробкою даних для покращення нашої інфраструктури даних. Ви відповідатимете за розробку та впровадження архітектури даних високонавантаженої системи, яка працюватиме з текстовим і медіаконтентом, його векторизованим представленням (вбудовування), статистичними даними в реальному часі та графічними даними (зв’язки між різними учасниками). Ваші рішення для обробки даних будуть живити нашу орієнтовану на клієнтів платформу ШІ, покращуючи наш пошук, збагачення даних ШІ, RAG тощо.

Якщо ви захоплюєтеся розробкою даних, процвітаєте в оптимізації робочих процесів даних і досягаєте успіху в розробці масштабованих рішень для складних систем, ця можливість спеціально створена для вас.

Обов’язки:

• Впровадження та підтримка озера даних, сховища даних і відповідних сховищ даних для різних типів даних: текстів, векторів, статистики , графіки.
• Впроваджуйте конвеєри ETL, щоб наповнювати різні сховища збагаченими даними та гарантувати узгодженість даних.
• Запровадити інструменти для стандартизованого внутрішнього та зовнішнього запиту даних у різних форматах і місцях, включаючи повнотекстовий пошук, пошук за векторною подібністю, аналітичні агрегації та пошук на графіках.
• Співпрацюйте з командою отримання даних над форматом даних і процесом передавання.
• Розбивайте складні проблеми на виконувані завдання.
• Відстежуйте продуктивність системи, переконайтеся, що узгодженість даних і затримка оновлення відповідають вимогам продукту.

Необхідні навички та вміння:

• Володіння мовою програмування Python і бібліотеками для обробки даних, як-от pandas, numpy.
• Досвід роботи з Elasticsearch або подібною технологією для повнотекстового пошуку.
• Досвід виробництва із вбудовуваннями та високонавантаженими векторними сховищами (Milvus, Quadrant, Pinecone або подібні).
• Володіння SQL та аналітичними базами даних Postgresql, Aurora DB / Snowflake / Redshift / DynamoDB.
• Досвід у будівництві трубопроводів RAG.
• Досвід розгортання контейнерів Docker у K8.
• Сильне почуття власності та здатність вирішувати складні абстрактні проблеми.
• Можливість написати ефективний і масштабований код і модульні тести для забезпечення узгодженості всієї кодової бази.
• Командний дух і здатність до ефективної співпраці with інші.
• Здатність сформулювати чітку стратегію; скласти карту та виконати необхідні кроки, щоб допомогти компанії прискорити досягнення стратегічних цілей.

Мінімальна кваліфікація:

• Ступінь бакалавра або магістра в інформатики, інженерії чи супутній галузі.
• Мінімум 5 років досвіду роботи інженером із обробки даних або подібною посадою, зокрема роботи над завданнями, пов’язаними з обробкою та зберіганням даних, із точним розумінням складної архітектури даних.
• Досвід у створенні конвеєрів даних із відповідним розумінням прийому даних, перетворення структурованих, напівструктурованих і неструктурованих даних у хмарних службах.
• Досвід упровадження рішень для обробки даних, які працюють під високим навантаженням і обробляють великі обсяги даних.
• Досвід роботи з моделями вбудовування тексту та сховищами вбудовування.
• Знайомство з системами контейнеризації (Docker) і оркестровки (Kubernetes), Linux і Shell Scripting.

Бажані кваліфікації:

• Досвід роботи з медіа-даними буде перевагою.
• Досвід у конвеєрах потокового передавання.
• Досвід роботи з GCP і Google BigQuery буде перевагою.

• Бажано досвід роботи в продуктовій компанії або стартапі.
• Досвід роботи з neo4j або подібною graphDB буде перевагою

Ми пропонуємо:

• можливість презентуйте свій продукт і допомагайте престижним клієнтам, таким як уряди та провідні неурядові організації, у боротьбі з інформаційними загрозами та проблемами безпеки.
• Шанс сприяти кар’єрному росту та зайняти керівну посаду.
• Автономність і свобода в проведенні експериментів і втіленні власних ідей у ​​життя.
• Ставши ключовим учасником, ви також отримаєте винагороду за допомогою нашої програми компенсації акцій.
• Гнучкість повністю віддаленої роботи з можливістю використовувати наш жвавий коворкінг у Києві, Україна.

Подайте заявку зараз і зробіть внесок у місію, яка справді має значення!