Scrabox - Harvestowanie

[john80]

Cześć,

Dawno nie używałem SB to scrapowania URLi.

Dlaczego kiedy wpisuje w przeglądarce: site:https://zdjecia.nurka.pl/ (strona przykładowa) wyskakuje mi Około 76,200 wyników (0,20 s) a kiedy używam tego samego operatora w SB program wyrzuca mi tylko kilkaset wyników?

- Probowałem wylaczyc multiharvester

- to samo dzieje sie na proxy i bez proxy

- to samo jest na VPS / PC

[zoozool]

Koło google masz taki odwrócony trójkąt, masz google.com ?

[Mion]

Cześć,Dlaczego kiedy wpisuje w przeglądarce: site:https://zdjecia.nurka.pl/ (strona przykładowa) wyskakuje mi Około 76,200 wyników (0,20 s) a kiedy używam tego samego operatora w SB program wyrzuca mi tylko kilkaset wyników?

Taki już mechanizm google ... maksymalnie do 1000 wyników pokazuje choć w praktyce przeważnie mniej.

[john80]

Koło google masz taki odwrócony trójkąt, masz google.com ?

Zaznaczone google.pl / google.com i tak daje taki sam rezultat. Nigdy nie pokrywa się z tym jak wpisze recznie.

Cześć,Dlaczego kiedy wpisuje w przeglądarce: site:https://zdjecia.nurka.pl/ (strona przykładowa) wyskakuje mi Około 76,200 wyników (0,20 s) a kiedy używam tego samego operatora w SB program wyrzuca mi tylko kilkaset wyników?

Taki już mechanizm google ... maksymalnie do 1000 wyników pokazuje choć w praktyce przeważnie mniej.

Mam ustawione 1000 wynikow. Wyrzuca mi np. 160 a gdy wpisze recznie w przegladarce to samo to pokazuje mi 76,200 wynikow. Gdyby scrapowalo max 1000 to byłoby ok. Narazie wyrzuca 160.

Anyone?

[Mion]

Im bardziej specjakistyczne zapytanie jak inurl: , intitle: itd tym liczba wyników jakie możemy wyciągnąć w ten sposób mniejsza i klient wykonujący takie żądania bardzo szybko dostaje bana. Ja kiedyś dostałem nawet ręcznie przeglądają w przeglądarce już po 10 zapytaniach

[john80]

Tak.

A co w przypadku gdy recznie nie mam bana i na tym samym komputrze uzywam SB a wyniki drastycznie się różnią?

Nie ma mowy tutaj o banie IP.

[Mion]

Dokładnie jakie wyniki Ci się tak "drastycznie się różnią ?"

[ap_seo]

no ja np mam serwis site: 2800 na pierwszej stronie ale tylko jest 200wpisow wyswietlanych... (korzystajac z SeoQuake mam numeracje wpisow,... najlepiej wejsc na ostatnia strone z wynikow w przegladarce)

[john80]

Tak też zrobilem dla przykładu w 1szym poscie. 630 wyników. Ok. Mniej niz pokazuje ale nadal niewiem czemu tutaj recznie widze te 630 a SB scrapuje tylko 160.