Провідний інженер з даних в N-iX

Наш клієнт готується революціонізувати наш ландшафт даних, створивши передову платформу Enterprise Data Lakehouse. Ми формуємо кілька команд, які очолитимуть створення базових компонентів платформи. Ці команди виходять за рамки традиційного прийому даних; вони є архітекторами платформи, керованої мікросервісами, що забезпечує абстракції, які дають змогу іншим командам безперешкодно розширювати платформу.

Ми шукаємо динамічного та висококваліфікованого інженера з даних, який має великий досвід створення самообслуговуваних корпоративних платформ даних з архітектурою мікросервісів і керує цими фундаментальними зусиллями. Для цієї посади потрібен хтось, хто не лише має глибоке розуміння
ландшафту інженерії даних, але також має дуже сильний досвід розробки програмного забезпечення, спеціально створюючи фреймворки та архітектури мікросервісів. Ідеальний кандидат буде окремим учасником, а також технічним керівником і внести значний внесок у розвиток платформи та активно формувати нашу екосистему даних.

Вимоги:

• Попередній досвід проектування та створення успішних корпоративних платформ даних із самообслуговуванням у відкритому середовищі з архітектурою на основі мікросервісів.
• Вміння створювати наскрізні платформи даних і служби даних у GCP є обов’язковими.
• Володіння інструментами та технологіями: BigQuery, Cloud Functions, Cloud Run, Dataform, Dataflow, Dataproc, SQL, Python, Airflow, PubSub.
• Досвід роботи з архітектурами мікросервісів – Kubernetes, Docker. Наші мікросервіси створені за допомогою стека TypeScript, NestJS, NodeJS. Віддаю перевагу кандидатам з таким досвідом.
• Досвід створення рівнів Symantec.
• Досвід роботи в архітектурі, проектуванні та розробці пакетної і потокової інфраструктури та робочих навантажень у режимі реального часу.
• Значний досвід розробки та впровадження керування метаданими, включаючи каталоги даних, походження даних, якість даних і можливість спостереження за робочими процесами великих даних.
• Практичний досвід роботи з екосистемою GCP і архітектурою озер даних.
• Глибоке розуміння моделювання даних, архітектури даних і принципів керування даними.
• Чудовий досвід використання принципів DataOps і автоматизації тестування.
• Чудовий досвід роботи з інструментами спостереження: Grafana, Datadog.

Наш клієнт готується революціонізувати наш ландшафт даних, створивши передову платформу Enterprise Data Lakehouse. Ми формуємо кілька команд, які очолитимуть створення базових компонентів платформи. Ці команди виходять за рамки традиційного прийому даних; вони є архітекторами платформи, керованої мікросервісами, що забезпечує абстракції, які дають змогу іншим командам безперешкодно розширювати платформу.

Ми шукаємо динамічного та висококваліфікованого інженера з обробки даних, який має великий досвід створення корпоративних платформ даних із самообслуговуванням із архітектурою мікросервісів і керує цими фундаментальними зусиллями. Для цієї посади потрібен хтось, хто не лише має глибоке розуміння
ландшафту інженерії даних, а й має дуже потужне програмне забезпеченняінженерна підготовка спеціально для створення фреймворків і архітектур мікросервісів. Ідеальний кандидат буде окремим учасником, а також технічним керівником і внести значний внесок у розвиток платформи та активно формувати нашу екосистему даних.

,[Проектуйте та створюйте корпоративні платформи даних із самообслуговуванням, використовуючи архітектуру на основі мікросервісів з нуля в новому середовищі., Архітектуруйте та впроваджуйте архітектури мікросервісів. Створюйте фреймворки та компоненти мікросервісів, які забезпечують абстракції для безперебійного розширення іншими командами. Створюйте та інтегруйте рівні Symantec у платформу даних для покращення функціональності та ефективності. Проектуйте та розробляйте інфраструктуру для потокових потокових навантажень даних у режимі реального часу, забезпечуючи ефективність і масштабованість обробка даних. Впроваджувати комплексні рішення для керування метаданими, включаючи каталоги даних, походження даних, якість даних і можливість спостереження за робочими потоками великих даних. Використовувати практичний досвід роботи з екосистемою GCP для створення та підтримки архітектур озер даних, які підтримують дані компанії. стратегії. Впроваджувати принципи DataOps і автоматизувати процеси тестування для забезпечення безперервної інтеграції, доставки та розгортання рішень для даних. Розробляти та використовувати такі інструменти спостереження, як Grafana та Datadog, для моніторингу продуктивності платформи та забезпечення надійності системи. Діяти як індивідуальний учасник і технічний керівник, який керує розробкою платформи та формує екосистему даних. Забезпечуйте наставництво та керівництво іншими інженерами в команді. Тісно співпрацюйте з кількома командами, щоб узгодити розробку платформи з бізнес-цілями та технічними вимогами. Сприяти бездоганній інтеграції та розширенню компонентів платформи іншими командами.] Вимоги: GCP, BigQuery, архітектура мікросервісів, Python, Docker, SQL, Airflow, Kubernetes, TypeScript, NestJS Інструменти: Agile, Scrum. Бонуси та переваги: ​​Гнучкий графік роботи та можливість віддаленої роботи, Програма наставництва, Страхування життя, Бюджет навчання, Уроки англійської мови, Компенсація за сертифікати, Активна технічна спільнота, Міжнародна команда, Реферальна програма, Кафетерій, Сучасний офіс, Безкоштовна кава, Кухня, Дружня атмосфера .