Інженер даних в ITRex Group

Data Engineer Київ, Варшава (Польща), віддалено Про ITRex Weare – глобальну ІТ-консалтингову та розробну компанію з позицією WeCare, яка прагне створити імпульс для цифрової трансформації наших клієнтів. Наша команда з 230+ об’єднує творчих і талановитих міжфункціональних експертів, які прагнуть успіху кожного проекту. Ми запропонували сотні кардинальних рішень для гігантів зі списку Fortune 500, компаній середнього бізнесу та стартапів і пишаємося тим, що є частиною історії успіху таких світових лідерів, як TASC, Procter & Gamble, Dun & Bradstreet, Turvo, Universal Electronics, Shutterstock, Dollar Shave Club або JibJab. Ми цінуємо ініціативу, відкрите спілкування та самовмотивовану відданість, а не дотримання вимог і прапори, і шукаємо однодумців, які поділяють нашу пристрасть до спільного створення чудових речей. Приєднуйтесь до нашої дружньої команди як інженер даних! Наші очікування Потрібний 4+ роки досвіду створення конвеєрів для обробки великих обсягів даних. Володіння Python (ООП, робота з API, обробка даних) і SQL. Досвід роботи зі Spark і Spark Structured Streaming (Databricks). Досвід роботи з AWS і хмарними обчисленнями (EC2, S3, Athena, Redshift) Досвід автоматизації CI-CD (GitHub Actions, Jenkins або подібні) Розуміння форматів великих даних: parquet, avro, delta Розуміння архітектури озера даних Досвід роботи з Kafka або RabbitMQ Досвід роботи з міжфункціональними командами та бізнес-клієнтами Сильне почуття власності та проактивний підхід до володіння та вирішення проблем. Відмінні навички усної та письмової англійської для роботи в середовищі міжнародної команди. Приємно мати базові навички розробника Java. Досвід роботи з Airflow (або подібним інструментом оркестровки). Ваші обов’язки. Розробка та підтримка масштабованих конвеєрів даних. Збір вимог, масштабів, архітекторів, розробки, створення, випуску і підтримувати проекти, орієнтовані на дані, для різних частин організації, зберігаючи при цьому продуктивність, стабільність і безпомилкову роботу. Виявляти та вирішувати проблеми конвеєрів і визначати можливості для вдосконалення. Розробляйте масштабовані та надійні рішення для обробки даних для переміщення даних між системами з кількох продуктів майже в режимі реального часу. Допоможіть оцінити нові інструменти та технології, щоб підтримувати набір технологій на передньому краї. Допоможіть усунути критичні проблеми в складних конструкціях або схемах кодування. Відстежуйте існуючі показники, аналізуйте дані та співпрацюйте з іншими внутрішніми командами, щоб розв’язувати складні проблеми, створюючи кращий досвід для клієнтів. Створюйте та обслуговуйте архітектурну та системну документацію. Що ми пропонуємо Відчуття спільності та дружби, різноманітності та інклюзивності. Неформальне робоче середовище з короткими ланцюжками прийняття рішень. Гнучкий графік роботи та варіанти дистанційної роботи. Налагоджені процеси особистого розвитку. Підтримка професійного навчання та сертифікації. Регулярні заходи компанії (ITRexTalks, сесії запитань і відповідей із генеральним директором, зустрічі з технічними спеціалістами). ) Соціальні пільги (медичне страхування, відшкодування спортивних витрат і безкоштовні уроки англійської мови)