Інженер даних (автоматизація, аналіз даних) в Valid-X

Вимоги:- Глибокі знання практики скрейпінгу та аналізу- Глибокі знання Python - Бажано знання Javascript - Mongo, PostgreSQL- Celery- OOP- Linux- Git- REST API- pet проекти на Github/Gitlab- організований, відповідальний і швидкий- людина, яка навчається. Не соромтеся подати заявку, якщо вам не вистачає певного досвіду. Ми пропонуємо- WFH і гнучкий графік роботи- Нуль бюрократіїОбов'язки:- Розробка та впровадження рішень для веб-скрапінгу за допомогою таких інструментів- Розробка та підтримка сценаріїв веб-скрапінгу та конвеєрів для вилучення даних..- Оптимізуйте процеси копіювання для підвищення ефективності та масштабованості.- Відстежуйте та усувайте несправності процесів копіювання, щоб забезпечити надійність.- Тісно співпрацюйте з багатофункціональними командами, щоб зрозуміти вимоги до даних і отримати своєчасні результати. Опис проекту: перший проект, над яким ви збираєтеся працювати, це автоматизація процесу аналізу та обробки дописів із публічних груп у соціальних мережах, який складається з наступних кроків:1. Розбір дописів із соціальних мереж у Google Sheet.2. Обробка (збагачення даних) отриманих публікацій за допомогою chatGPT, додавання результатів з chatGPT до Google Sheet.3. Геокодування (отримання геокоординат з адреси) за допомогою геосервісу, як-от https://positionstack.com, і запис отриманих координат у Google Sheet.4. Аналіз дублікатів (отримання існуючих оголошень з іншого веб-сайту через API цього сайту та порівняння їх із новими, отриманими з соціальних мереж, і видалення дублікатів).5. Рецензія модератора (дозволяє модератору позначати невідповідні повідомлення).6. Публікація оголошень на іншому сайті через API цього сайту (скрипт повинен надсилати нові повідомлення для публікації API цього сайту).7. Запишіть у отриманий файл посилання на створене оголошення (оновіть Google Sheet посиланнями на опубліковані публікації). Будь ласка, опишіть, як би ви підійшли до цього проекту, які інструменти чи платформи ви б використали для його завершення. Додайте ще щось, що, на вашу думку, нам важливо знати. Чи працювали ви над подібними проектами? Будь ласка, опишіть їх.