Dateningenieur (Automatisierung, Datenanalyse) in Valid-X

Anforderungen: – Gute Kenntnisse in Scraping- und Parsing-Praktiken – Gute Kenntnisse in Python – Javascript-Kenntnisse sind wünschenswert – Mongo, PostgreSQL – Sellerie – OOP – Linux – Git – REST API – Haustierprojekte auf Github/Gitlab – organisiert, verantwortungsbewusst und schnell – Lernende Person Zögern Sie nicht, sich zu bewerben, wenn Ihnen spezifische Erfahrung fehlt. Wir bieten - Homeoffice und flexible Arbeitszeiten - Keine Bürokratie. Verantwortlichkeiten: - Entwerfen und implementieren Sie Web-Scraping-Lösungen mit Tools wie - Entwickeln und pflegen Sie Web-Scraping-Skripte und Pipelines für die Datenextraktion. - Optimieren Sie Scraping-Prozesse für Effizienz und Skalierbarkeit. - Überwachen und beheben Sie Scraping-Prozesse, um Zuverlässigkeit sicherzustellen. - Arbeiten Sie eng mit funktionsübergreifenden Teams zusammen, um Datenanforderungen zu verstehen und zeitnahe Ergebnisse zu liefern. Projektbeschreibung: Das erste Projekt, an dem Sie arbeiten werden, ist die Automatisierung des Prozesses zum Parsen und Verarbeiten von Beiträgen aus öffentlichen Social-Media-Gruppen, der aus den folgenden Schritten besteht:1. Parsen von Beiträgen aus sozialen Netzwerken in ein Google Sheet.2. Verarbeitung (Datenanreicherung) der empfangenen Beiträge mit chatGPT, Hinzufügen von Ergebnissen aus chatGPT zu einem Google Sheet.3. Geokodierung (Erhalten von Geokoordinaten von einer Adresse) mithilfe eines Geodienstes wie https://positionstack.com und Aufzeichnen der erhaltenen Koordinaten in einem Google Sheet.4. Duplikatanalyse (Abruf vorhandener Ankündigungen von einer anderen Website über diese Site-API und Vergleich mit den neu erhaltenen Ankündigungen aus sozialen Netzwerken und Entfernen von Duplikaten).5. Überprüfung durch den Moderator (damit ein Moderator ungeeignete Beiträge markieren kann).6. Veröffentlichung von Ankündigungen auf einer anderen Site über diese Site-API (das Skript muss neue Beiträge für die Veröffentlichungs-API dieser Site senden).7. Schreiben Sie in die resultierende Datei den Link zur erstellten Ankündigung (aktualisieren Sie das Google Sheet mit Links zu den veröffentlichten Beiträgen). Bitte beschreiben Sie, wie Sie an dieses Projekt herangehen würden und welche Tools oder Plattformen Sie verwenden würden, um es abzuschließen. Fügen Sie alles hinzu, was Ihrer Meinung nach für uns wichtig ist. Haben Sie an ähnlichen Projekten mitgearbeitet? Bitte beschreiben Sie sie.