Programista Pythona: skrobanie sieci. Scrapy w iPublisher

iPublisher wciąż się rozwija. Wznawiamy projekt nieruchomości mobilnych Clever. Jest to CRM służący do zarządzania pracą pośredników w obrocie nieruchomościami. Częścią tego projektu jest zbieranie danych ze stron internetowych poświęconych nieruchomościom. Obecnie chcemy rozszerzyć ten projekt na inne miasta. Jako część zespołu będziesz pracować nad gromadzeniem, przechowywaniem, przetwarzaniem i analizą ogromnych zbiorów danych. Głównym zadaniem będzie opracowanie parsera. Stos technologiczny: Python; Zennopostercapmonster.cloud, poznaj scrapy (właściwe narzędzie do parsowania) Django; MySQL; zespół, który pasjonuje się Twoją pracą i wspólnie wdrożycie zaawansowane technologie w łatwą w obsłudze aplikację. Mamy białą aplikację parsera. Musimy naprawić niektóre zepsute parsery (na przykład Olh), a następnie zwiększyć liczbę witryn, z których analizujemy dane. Co będziesz robić: — tworzyć narzędzia do gromadzenia danych w Internecie i rozwiązywać problemy z nimi związane; — rozwijać witryny gromadzenia danych (parsowanie); obejście zabezpieczeń przed analizowaniem — doskonalenie algorytmów analizowania; naprawianie uszkodzonych parserów – analiza docelowych stron internetowych, w tym inżynieria wsteczna, identyfikacja zabezpieczeń i stosowanie najlepszych praktyk w zakresie pozyskiwania danych; – tworzenie i utrzymywanie rozwiązań do przechowywania zebranych informacji; – analizowanie otrzymywanych danych, wydobywanie nazwanych obiektów, przeprowadzanie klasyfikacji, benchmarking itp. Nasze celem jest zbieranie danych, optymalizacja ich przechowywania i wykorzystania oraz możliwość ich analizy. Warunki pracy: – pół etatu, – praca zdalna, – naprawdę świetny zespół i partnerstwo.