Inżynier danych (automatyzacja, parsowanie danych) w Valid-X

Wymagania: - Dobra znajomość praktyk skrobania i analizowania - Dobra znajomość języka Python - Mile widziana znajomość JavaScript - Mongo, PostgreSQL - Seler - OOP - Linux - Git - REST API - Ulubione projekty na Github/Gitlab - zorganizowane, odpowiedzialne i szybkie - osoba ucząca się Nie wahaj się aplikować, jeśli brakuje Ci konkretnego doświadczenia. Oferujemy- WFH i elastyczne godziny pracy- Zero biurokracji Obowiązki:- Projektowanie i wdrażanie rozwiązań do skrobania sieci za pomocą narzędzi takich jak- Opracowywanie i utrzymywanie skryptów i potoków do ekstrakcji danych do skrobania sieci..- Optymalizuj procesy skrobania pod kątem wydajności i skalowalności. - Monitoruj i rozwiązuj problemy z procesami skrobania, aby zapewnić niezawodność. - Ściśle współpracuj z zespołami międzyfunkcyjnymi, aby zrozumieć wymagania dotyczące danych i dostarczać wyniki na czas. Opis projektu: Pierwszym projektem, nad którym będziesz pracować, jest automatyzacja procesu analizowania i przetwarzania wpisów z publicznych grup w mediach społecznościowych, który składa się z następujących kroków:1. Analizowanie postów z sieci społecznościowych w Arkuszu Google.2. Przetwarzanie (wzbogacanie danych) otrzymanych postów za pomocą chatGPT, dodawanie wyników z chatGPT do Arkusza Google.3. Geokodowanie (pobieranie współrzędnych z adresu) przy użyciu geoserwisu takiego jak https://positionstack.com i zapisywanie uzyskanych współrzędnych w Arkuszu Google.4. Analiza duplikatów (pobranie istniejących ogłoszeń z innej witryny za pośrednictwem API tej witryny i porównanie ich z nowo otrzymanymi z sieci społecznościowych oraz usunięcie duplikatów).5. Przegląd moderatora (umożliwiający moderatorowi oznaczanie nieodpowiednich postów).6. Publikacja ogłoszeń na innym serwisie poprzez API tej witryny (skrypt musi wysyłać nowe posty do API publikacji tej witryny).7. W powstałym pliku zapisz link do utworzonego ogłoszenia (zaktualizuj Arkusz Google o linki do opublikowanych postów). Proszę opisz, jak podszedłbyś do tego projektu, jakich narzędzi lub platform użyłbyś do jego realizacji. Dodaj coś jeszcze, co Twoim zdaniem jest dla nas ważne. Czy pracowałeś nad podobnymi projektami? Proszę je opisać.