Jak zablokować wszystkie boty oprócz Googlebota

[bybek5]

Jak wyżej w temacie. Mam zaplecze, które służy tylko do site'u, więc zależy mi w sumie tylko na indeksacji. Dlatego chciałbym zablokować praktycznie wszystkie roboty, oprócz googla, yahoo i binga, bo inne roboty zżerają mi zbyt dużo zasobów.

Aha, i tak sobie jeszcze pomyślałem, żeby może zablokować też wejście na stronę użytkownikom, aby obniżyć do minimum straty transferu. Można tak zrobić, aby nie stracić na site w Google?

[Grim]

W robots.txt ... z tą różnicą, że zamiast User-agent: * musisz wymienić boty, które chcesz blokować

Pozdrawiam

[bybek5]

musisz wymienić boty, które chcesz blokować

A jak się nazywają poszczególne te roboty?

[Grim]

Spider-Man

Pozdrawiam

P.S. Chociaż może da się tego uniknąć przy pomocy kilku komend:

- najpierw blokujesz wszystkie i całą stronę:

User-agent: *
Disallow: /

- później pozwalasz przeglądać całość kilku:

User-agent: Googlebot
Allow: /

User-agent: MSNBot
Allow: /

User-agent: Slurp
Allow: /

[bybek5]

Dzięki

To chyba nie powinno źle wpłyną na indeksację przez Google?

[-=SnU=-]

o ile cywilizowane wyszukiwarki respektują takie wpisy to nie licz na to w przypadku innej maści spambotów, one mają robots w głębokim poważaniu

[webBartek]

o ile cywilizowane wyszukiwarki respektują takie wpisy to nie licz na to w przypadku innej maści spambotów, one mają robots w głębokim poważaniu

To może z poziomu PHP:

<?php
$przepuszczac_roboty = array("google", "yahoo", "mozilla"); // tu umieszczamy nazwy robotow ktore przepuszczamy
$zablokowac=1; //standardowo wszytko jest blokowane
foreach($przepuszczac_roboty  as $spr) { //sprawdzamy, czy HTTP_USER_AGENT zawiera ciag pasujacy do tablicy
 if (eregi($spr,$_SERVER["HTTP_USER_AGENT"])) { $zablokowac=0; //jesli taki ciag sie znajdzie, nastepuje odblokowanie 
 }
}
if($zablokowac==1) { exit;}//jesli taki ciag sie nie znajdzie, skrypt konczy dzialanie i nie wyswietla niczego, co jest po tej linii

//tutaj wszystko to co ma sie wyswietlic dla "autoryzowanych" botow
?>

Skrypt blokuje wszystko i wszystkich, którzy w HTTP_USER_AGENT nie mają odpowiedniego ciągu. Tak jak wspomniał autor tematu, blokujemy także zwykłych użytkowników. W przykładzie pokazałem, co należy wrzucić do tablicy, aby przepuścić np. tylko użytkowników mozilli + roboty google i yahoo.

Nie wiem czy skrypt działa do końca poprawnie, bo jest późno i nie chce mi się już jakoś dogłębnie testować. Na95% jest OK.

[S3ntin3l]

również na webmasters.google.com jest prosty i ciekawy generator plików robots.txt