wykrycie i przekierowanie googlebota do folderu z keszem strony

[emagpl]

Witam serdecznie

Posiadam rozbudowany serwis z prawie 2 milionami podstron.

Niestety mimo podania sitemap zwiększenia na max szybkości przemierzania google bota google zindeksowało nie całe 10% podstron.

Google bot odwiedza stronę codziennie, obciąża bazę danych niesamowicie jednak efekt mizerny.

Powstała idea aby przygotować dla google bota specjalny komplet plików html taka kopię strony w oddzielnym filderze. Moim zdaniem łatwiej i szybciej jest podać google botowi gotowego plik html niż ciągle go generować go z bazy.

Moje pytanie czy można wykryć i przekierować google bota na taki folder z poziomu http lub pliku robots.txt

Jeżeli ktoś ma jakiś pomysł lub uwagi będę wdzięczny za pomoc.

Pozdrawiam

emagpl

[PawelC]

Moje pytanie czy można wykryć i przekierować google bota na taki folder z poziomu http lub pliku robots.txt

Można ale za to ban jak nic dokładnie jest to cloaking, czyli przedstawianie botowi innej treści niż użytkownikom.

Jeżeli tworzysz dynamiczne linki w postaci cos.php?id=3 to użyj mod_Rewrite

[emagpl]

Tak wiem ale to będzie dokładna kopia widocznej strony, nie zamierzam oszukiwać robotów tylko podać im gotowy plik html.

Głownie chodzi o odciążenie bazy i przyspieszenie indeksowania.

Chcieliśmy przed http postawić proxy ale niestety to nie możliwe z powodu konieczności utrzymywania sesii.

Duże serwisy muszą jakoś to robić bo wątpię że za każdym razem generują nowe pliki dla google.

Pozdrawia

[Ivellios]

Ale to i tak jest cloaking.

Już lepiej moim zdaniem przedstawiać "skeszowaną" zawartość zarówno botom jak i użytkownikom.

[PawelC]

Duże serwisy muszą jakoś to robić bo wątpię że za każdym razem generują nowe pliki dla google.

Duże serwisy używają mod_rewrite, do przepisania linku z dynamicznego na przyjazny, np link.php?tytul=strona na np tytul-strona.html

[papieros]

w narzędziach webmastera można określić 'częstość odwiedzin bota' ja bym zaczął od tego - może pomoże a i w sitemapach ustawiłbym 'frequency' (czy jak to tam jest na powiedzmy 'monthly')

[Erbit]

....

Duże serwisy używają mod_rewrite, do przepisania linku z dynamicznego na przyjazny, np link.php?tytul=strona na np tytul-strona.html

Co ma mod-rewrite do obciążenia baz?

Emagpl dobrze kombinował - należy podłożyć cache by odciążyć bazę.

Ja bym jednak zaczął od optymalizacji zapytań do bazy - założę się, że jest co poprawiać.