GScraper - najszybszy harvester i dodawarka.

[san]

Załóżmy, że chcę:

- wyszukać subdomeny na domenie wordpress.com

- mają mieć w tytule słowo "art"

- w treści strony mają się znaleźć słowa "artystycznie" i "kultura"

site:wordpress.com intitle:art

keywordy: artystycznie kultura

znajdź sobie dobre proxy

[pitrazzz]

Załóżmy, że chcę:

- wyszukać subdomeny na domenie wordpress.com

- mają mieć w tytule słowo "art"

- w treści strony mają się znaleźć słowa "artystycznie" i "kultura"

site:wordpress.com intitle:art

keywordy: artystycznie kultura

znajdź sobie dobre proxy

Faktycznie z tym proxy może być problem;) dzięki

[ugly28]

program przy postowaniu zapisuje falszywe raporty, na liscie dofollow auto approve wcale nie ma moich komentarzy i blogi wcale nie sa dofollow (wp) Z doswiadczenia ze scrapeboxem i xrumerem wiem ze wordpressow autoapprove i doffolow jest jak na lekarstwo, okolo 1-2 blogi na 1000 sa AA, a tu zapuscilem liste 55k blogow wp i mam 4k blogow AA, WTF?

[lament]

mam 4k blogow AA, WTF?

Może chodzi o 4k podstron AA.

[golum]

Lamenty i płacze, że nie ma dofollow lub zbyt mało jest miejscówek z aa...

GS jest szybki i to jest jego zaleta! Dodaje mniej więcej do połowy mniej miejscówek niż SB, ale jest kilka razy szybszy.

Tego softu nie używa się by dodawać komentarze do trudnych miejsc

Raporty z gs? są inne narzędzia

[jezyk403]

Czemu gsc nie przyjmuje znaków(",:, itp pokazując słabe wyszukiwanie. Czy footprint ma być używany bez tych znaków by dobrze wyszukiwał?

[euroaprk]

Witam

Może jakaś promocja na Czarny Piątek ??

[pitrazzz]

Wie ktoś, czy do darmowej wersji można podpiąć api z proxymarket?

[Ptaq]

Są może jakieś plany wdrożenia łamania captchy gdy ją google wyświetli? Bo teraz dość mało wydajne stają się proxy - gdy przy pierwszym pojawieniu się captchy - proxy jest odrzucane.

[Rainmaster]

Taka sytuacja: ustawiam sobie pobieranie proxy z API, dajmy na to z proxy-market, co np. parę minut. Puszczam scrapowanie z jakąś rozsądną ilością wątków bez przesady i zostawiam harvest. Przez parę godzin obserwuję drastyczny spadek prędkości, z np początkowych 50 tyś urli na minutę do jakichś 3 tyś... Wniosek nasuwa się taki, że automatyczne pobieranie proxy co zadane parę minut w ogóle nie działa przy scrapowaniu? (gdy Gscraper nic nie robi importuje proxy podmieniając obecne co zadany czas pięknie wyświetlając nawet komunikat o tym - w czasie scrapowania komunikatu o tym brak)

[Rainmaster]

Tak ten z cache stosuję naturalnie ale że spadek prędkości harvestowania może być tak kolosalny to jestem zdziwiony. Tym bardziej że te footprinty nie zawierają jakichś dziwnych znaków itp przy których gscraper zwykle od razu daje monit że harvest może być spowolniony. W Twoim przypadku cykliczny import proxy daje radę, prędkość w czasie jest średnio mniej więcej zadowalająca, nie spada niemal do zera?

[Rainmaster]

Czyli tak czy inaczej podmianka proxy w tle w czasie harvestu musi działać i pewnie problem leży w samych proxy, dzięki za info!

[Mion]

teraz uzywam prywatne proxy z mojej stopki, 10 sztuk i jedzie ostro przy wpcomment 40k na minute i nie spada

40.000 / 60 sekund = ~ 666,6 sek1 watek

/ na 10 wątków ~ 66 sek

/ 100 wątków ~ 6 sekunde na watek

przyjmując zerowy czas zestawienia połączenie HTTP

[SzlafRock]

Nie jest to szokujący wynik, można osiągnąć więcej

Wąskie gardło to proxy, łącze i maszyna.

[x1349]

Taka sytuacja: ustawiam sobie pobieranie proxy z API, dajmy na to z proxy-market, co np. parę minut. Puszczam scrapowanie z jakąś rozsądną ilością wątków bez przesady i zostawiam harvest. Przez parę godzin obserwuję drastyczny spadek prędkości, z np początkowych 50 tyś urli na minutę do jakichś 3 tyś... Wniosek nasuwa się taki, że automatyczne pobieranie proxy co zadane parę minut w ogóle nie działa przy scrapowaniu? (gdy Gscraper nic nie robi importuje proxy podmieniając obecne co zadany czas pięknie wyświetlając nawet komunikat o tym - w czasie scrapowania komunikatu o tym brak)

To nie problem gscrapera tylko proxy. Sam gscraper podmienia proxy z api przy harvescie bez zarzutów (testowałem).