Celowe opóźnienie działania robotów

[yavaho]

Czy to dobry pomysl aby troche przytrzymac poruszanie sie robotow na stronie poprzez serwowanie im skryptu opozniajacego dzialanie stosujac np polecenie: sleep(10) ?

Chodzi mi o to aby nieco zwolic ich dzialanie w celu zmiejszenia obciazenia serwera i zmiejszenia transferu, ale aby to sie nie odbiło negatywnie na indeksowaniu strony i pozycji w wynikach wyszukiwania.

[Rafal]

Raczej zły pomysł.

Jak masz problemy z obiążeniem serwera i transferem przez roboty, to lepiej zmień hosting. Można blokować różne niechciane roboty, ale tak oczekiwanego przez wielu GoogleBota bym nie spowalniał.

[Daniel Kędzierski]

nie bardzo rozumiem sens sleepa ?

skoro wejdzie ci bot to co za roznica ze dalsza czesc kodu wykona za 10 sek ?

Skoro tak duzo robi sesji to tak czy tak przy pewnej ilosci polaczen w jednym czasie bedzie to samo obciazenie co przy sleep.

A jezeli wchodzi ci googlebot jedna sesja to chyba obciazenia nie generuje.

Ja bym tego nie stosowal tak jak pisze rafal

A pozatym nie bardzo moge zrozumiec co daje chwilowe uspienie skryptu w polaczeniu wielosesyjnym googlebota.

To ze wchodzi nawet z jednego IP nie oznacza przeciez ze zapuszcza sie jednym crawlerem na Twoją strone wiec moze byc tak ze jak zobaczy ze jedna strona dluzej sie laduje to pobierze nastepna i wcale nie bedzie to lepszy efekt..

A moze zastosuj cachowanie pod googlebota tak zeby tylko zjadalo traffic np cache co 12 godzin dla googlebot - wtedy nie bedzie ci generowalo obciazenia serwera.

[yavaho]

Czesto wykorzystuje boty do jakby to nazwac "czarnej roboty" Uruchamiaja mi skrypty ktorych nie uruchamiaja zwykli uzytkowicy np: update bazy danych lub zrobienie jej kopi bezpieczenstwa, cahowanie stron itp czynnosci ktore nie musza byc wykonane dokladnie o okreslonej godzinie a roboty to moga to zrobic w nocy. Te zadania nie sa zbyt skomplikowane i najwyzej opozniaja robota o jakies 1-3 sek.

Wiec pomyslalem ze mozna by celowo je opozniac przez co wiekszy piorytet w poruszaniu sie po stronie dostal by zwykly uzytkownik. Ale jezeli roboty i tak zrobia to co maja zrobic i zjedza transfer tylko ze w przeciagu dluzszego czasu to chyba na jedno i to samo wyjdzie?

A jezeli chodzi o bota wielosesyjnego, to czy on dla kazdej sesji uzywa innego IP? Jezeli tak, to skrypt wykryje go jako osobne boty.

[Daniel Kędzierski]

nie sądze by musial dla wielu połączeń uzywac roznych ip.

Googlebot zachowuje sie roznie potrafi zjechac 3000 podstron z 1 IP badz 300 podstron z 200 ip.

Nie spotkalem sie z jakimis regulami.

NP moj bot z 1 ip ciagnie max 12 polaczen ale to juz dla niego zbyt wiele

Ale na dana strone nigdy nie puszczam wiecej niz 1 robota bo do tego jeszcze nie doszedlem a i nawet nie mialem takiej koniecznosci bo jestem za cienki bolek sprzetowo.

Ale gdy mowimy o google to wszystko mozliwe przy ich mozliwosciach.

Tak czy tak nie blokowalbym nie ograniczal gbota.

A dlaczego google bot robi ci kopie bazy ? czy update ? takie sprawy mozna chyba ukryc przed botem

[yavaho]

A dlaczego google bot robi ci kopie bazy ? czy update ? takie sprawy mozna chyba ukryc przed botem

Tu mnie chyba nie zrozumiales. Mam pewne zadania do wyknania, ktore wykonuja sie tylko raz na dobe w porach nocnych i zamiast odpalac CRON'a na serwerze albo wykorzystywac jednego usera ktoremu sie wlasnie trafi na takie zadanie, to mozna uruchomienie takiego zadania zlecic wlasnie botom, jezeli jest pewnosc ze generuja pewny ruch i na pewno pojawia sie w porach nocnych.