Инженер данных (автоматизация, анализ данных) в Valid-X

Требования: - Хорошее знание методов парсинга и синтаксического анализа - Хорошее знание Python - Знание Javascript предпочтительно - Mongo, PostgreSQL - Celery - ООП - Linux - Git - REST API - любимые проекты на Github/Gitlab - организованный, ответственный и быстрый - обучающийся человек. Не стесняйтесь подавать заявку, если вам не хватает конкретного опыта. Мы предлагаем - WFH и гибкий график работы - Нулевая бюрократия. Обязанности: - Разрабатывать и внедрять решения для очистки веб-страниц с использованием таких инструментов, как - Разработка и поддержка сценариев очистки веб-страниц и конвейеров для извлечения данных..- Оптимизируйте процессы очистки для повышения эффективности и масштабируемости. - Мониторинг и устранение неполадок в процессах очистки для обеспечения надежности. - Тесное сотрудничество с межфункциональными командами, чтобы понять требования к данным и обеспечить своевременные результаты. Описание проекта: Первый проект, над которым вы собираетесь работать, — это автоматизация. процесса парсинга и обработки постов из публичных групп в социальных сетях, который состоит из следующих этапов:1. Парсинг постов из социальных сетей в Google Sheet.2. Обработка (обогащение данных) полученных сообщений с помощью ChatGPT, добавление результатов из ChatGPT в Google Sheet.3. Геокодирование (получение геокоординат по адресу) с использованием геосервиса типа https://positionstack.com и запись полученных координат в Google Sheet.4. Анализ дубликатов (извлечение существующих объявлений с другого сайта через API этого сайта и сравнение их с вновь полученными из социальных сетей и удаление дубликатов).5. Модераторский обзор (позволение модератору отмечать неподходящие сообщения).6. Публикация объявлений на другом сайте через API этого сайта (скрипт должен отправлять новые сообщения для API публикации этого сайта).7. Прописываем в полученный файл ссылку на созданное объявление (обновляем Google Sheet ссылками на опубликованные посты). Опишите, как бы вы подошли к этому проекту, какие инструменты или платформы вы бы использовали для его реализации. Добавьте что-нибудь еще, что, по вашему мнению, нам важно знать. Работали ли вы над подобными проектами? Пожалуйста, опишите их.