Ograniczenie Googlebota

[rss-ctn]

Zauważyłem, że googlebot zjada mi zbyt wiele transferu. 70% całego ruchu generuje googlebot na plikach forum (phpBB), konkretnie na viewtopic.php. Jak mogę ograniczyć "intensywność" robota Google? W Narzędziach dla webmasterów Google ustawiłem minimalną prędkość indeksowania, ale nic się nie zmieniło, jest nawet coraz gorzej. Za każdym razem w panelu administracyjnym widzę paredziesiąt "użytkowników" w domenie googlebota, czasem z jednego IP, czasem z 3-4.

Z góry dziękuję za wszystkie odpowiedzi. Pozdrawiam

[mkr]

Sprawdź czy nie zapętlił się. Czy napewno usuwasz id sesji dla bota? Jak strona w stopce to nie usuwasz. Zobacz ile stron z ID sesji zaindeksowal googiel. Są dotego pluginy.

No i oczywiście było.

[rss-ctn]

Jak mogę wyłączyć dodawanie parametru sid do adresu na wszystkich podstronach? Nie mogę znaleźć odpowiednich informacji za pomocą wyszukiwarki, inaczej nie pisałbym posta/tematu.

[Kaviorek]

Np. gotowa modyfikacja pt. Session Killer

https://www.forum.optymalizacja.com/index.php?s...dpost&p=379

[EDDY]

Polecam całkowicie usunąć sesję dla gości: https://www.phpbb.com/community/viewtopic.p...16&t=185839

[rss-ctn]

Oooo, dokładnie czegoś takiego szukałem, jak w Waszych postach. Z tym, że ja używam wersji by Przemo (no, co? ), a to jest do oryginalnego, czystego skryptu.

UPDATE: udało się usunąć sesje dla googlebota, za parę dni zobaczymy, co z tego wyniknie.

[Veal]

Może zrób przekierowanie 301 z "z sessid" na "bez sessid"?

[rss-ctn]

Odkopię temat...

Zmodyfikowałem forum, id sesji nie było wrzucane do adresów niezalogowanym. W logach serwera widać, że googlebot dał sobie spokój z sid. Niestety, od paru dni gwałtownie rośnie transfer, znów około 1/3 transferu przepada dla googlebota. Za każdym razem po zalogowaniu do panelu administracyjnego widzę paredziesiąt kopii robota z tego samego ip. Nie mam już pomysłów, co mogę zrobić.

[Kaviorek]

przede wszystkim ogranicz ilość linków widocznych dla google (w phpbb są to np. linki do postów - viewtopic.php?p=23590#23590, linki z cytowaniami: posting.php?mode=quote&p=23592), każdy taki link do dla google osobna podstrona do zaindeksowania, a przynajmniej do odwiedzenia, czyli zużycia transferu, podobnie z linkami do profili - jeżeli widać je tylko dla zalogowanych to nie dawać linku dla google: profile.php?mode=viewprofile&u=23

w standardowym phpbb jeden temat, który ma 10 postów może dać kilkadziesiąt razy więcej podstron w site: które oczywiście google odwiedza = zużywa transfer...

jak to ograniczyć? np. pokazywać link do cytowania pokazywać tylko dla zalogowanych, linki do postów ewentualnie też, albo w ogóle z nich zrezygnować, tylko wtedy trochę się traci z funkcjonalności...

[Veal]

jak to ograniczyć? np....

Albo robots.txt

[rss-ctn]

A jak mam (i czy w ogóle mogę) ograniczyć w robots.txt wchodzenie na viewtopic.php?p=xxx nie ograniczając przy tym viewtopic.php?t=xxx ? Jak to jest w przypadku zmiennych?

[Veal]

Wydaje mi się, że:

User-agent: *
Disallow: /viewtopic.php?p=*

Ale ręki sobie uciąć nie dam, że to zadziała...

Ewentualnie mozesz dać z poziomu meta blokade botów, jeśli isset($_GET['p'])

[rss-ctn]

Wydaje mi się, że:

User-agent: *
Disallow: /viewtopic.php?p=*

Ale ręki sobie uciąć nie dam, że to zadziała...

Sprawdzę... ale wątpię, czy wypali.

Ewentualnie mozesz dać z poziomu meta blokade botów, jeśli isset($_GET['p'])

Ale to się mija z celem, gdyż meta będzie odczytywane dopiero po pobraniu treści strony... czyli "nadgryzieniu" transferu.