Transfer.. jak sobie poradzić??

[michal]

Crawl-delay: 60

Googlebot nie honoruje crawl-delay, wiec nie pomoze.

[kwasny]

Witam.

Uważam że czasem warto zajżeć do źródeł w celu zaczerpnięcia nalepszej informacji. Proponuję zajżeć tutaj w celu zapoznania się z budową pliku robots.txt.

https://www.robotstxt.org/wc/exclusion.html#robotstxt

oraz tutaj jeżeli chodzi o problemy z GoogleBot. Jest tu adres na który możesz wysłać "zażalenie" na GB.

https://www.google.com/intl/en/webmasters/bot.html

Pozdrawiam.

[kwasny]

no i moze jeszcze tutaj troszke info https://www.google.com/webmasters/remove.ht...l#exclude_pages

[sorrow]

Zacznę może od początku:

mod-gzip świetna rzecz lecz przy D.O.S cały serwer pada i generuje Error 500 dlatego np hacking.pl ma to wyłączone. Z tego co widze najwięcej zżera mi transferu właśnie przez pliki php dlatego dobrze było by to skompresować najlepiej 9 no ale phpbb nie posiada takich zaawansowanych opcji.

htaccess - blokowanie botów nee niech wchodzą ale co jakiś czas możesz spróbować czegoś takiego dodając do page header

{FAKE}<meta name="revisit-after" content="7 days">{FAKE}

expire buforowanie - grafiki oraz także i strony z tego co wiem smarty templates posiada taką opcje lecz na forum phpbb z tym się nie spotkałem najlepiej jak zrobisz przekierowanie folderów z grafiką na inny serwer powinno to pomóc.

robots.txt - zobacz sobie jak to zrobili na webmasterworld

To by było na tyle z seo to powinieneś sam sobie poradzić także powinno pomuc

[zero3]

sorrow po co ten revisit-after?

jego dzialanie na wyszukiwarki poza pewna kanadyjska to mit.

[sorrow]

true true widać iż sposób jeżeli coś jest na dużej ilości serwisach to znaczy iz musi działać tutaj nie wypalił. Nom ale dowiedziałem się czegoś nowego i tak z tego nie korzystałem lecz ciekawe nie powiem. Przypomina mi się także taki przypadek jak ktoś na chama używał zaawansowanych wyrażeń regularnych w robots.txt i było to opisane na wielu stronach jako true

[ccx]

Dzięki za podpowiedzi. Jak na razie skorzystałem z wysłania zażalenia. Jak długo trzeba czekać na jakąś reakcje ze strony G. Teamu?

[ccx]

Odpowiedziali na moją wiadomość z google team utworzyć stronę forgoogl.html

Czy ktoś mógłby mi to wytłumaczyć? Na podstronie forgoogl.html mam utworzyć mapę strony? Czy coś innego?

[sorrow]

https://www.pbs.org/wonders/WhAfrica/forgoogl.html

https://www.google.com/support/bin/answer.p...=8708&topic=365

https://www.webmasterworld.com/forum10003/288.htm

[ccx]

Dzięki. Ostatnia prośba. Czy to zrozumieją? (uczyłem się niemieckiego, a angielski tylko dorywczo)

Hello Google.

Ticket: 31752309

Googlebot overloading my servers. Consume a lot transfer too. Please us to slow the rate at which Googlebot crawls my site

Thanks,

ccx@o2.pl

O:) O:)

[michal]

ccx

Googlebot is overloading my server and uses a lot of bandwidth. Please, slow down the rate at which googlebot crawls my site.

Thank you

ccx@o2.pl

[ccx]

Dzieki, wysłałem im adres i dostałem odpowiedź:

Thank you for your reply. We appreciate your providing us with the URL of

your forgoogl.html page. Please provide us with a copy of your most recent

weblog that lists Googlebot, so that we may investigate further.

Tylko zamiast uspokojenia się robotów to teraz dopiero szaleją... Jest po 40-50 gości, a przez moment widziałem nawet ponad 80. Czy ktoś ma jakieś doświadczenia, czy długo muszę czekać aż ci engeenerzy przeczytają moją wiadomość na forgoogl.htm i coś zrobią? Bo dzisiaj aż się boje spojrzeć na licznik transferu #-o #-o

[sorrow]

He mi onet szukacz właśnie tak 600Mb transferu zarł musiałem pogrzebać w pliku session bo kurkę ładnie szalał zapętlił się z siadami. Prześlij im loga z svr z tego dnia kiedy miałeś 80 crawlerów na głowie