Blokada IP robotów = filtr ?

[djbit]

Dostałem powiadomienie o zbyt wysokim obciążeniu procesora i po napisaniu do administratora dostałem odpowiedź, że roboty powodują wysokie obciążenie i żebym zablokował poniższe adresy IP:

Deny from 66.249.73.175

Deny from 157.55.35.98

Deny from 157.55.35.48

Deny from 157.55.35.94

Deny from 157.55.33.109

Deny from 157.55.33.113

Deny from 157.55.35.40

Deny from 65.55.52.92

Deny from 157.55.33.181

Deny from 157.55.32.77

Deny from 157.56.93.193

Deny from 79.110.205.12

Deny from 66.249.76.59

Z tego co przed chwilą sprawdziłem kilka z nich to roboty google.

Po dwóch dniach od zablokowania w htaccess w/w adresów strona dostała filtr.

Po wpisaniu adresu do przeglądarki domena główna nie pojawia się w wynikach i wszystkie główne frazy są poza top 100.

Czy taka sytuacja może być przyczyną zablokowania tych IP, czy to poprostu przypadek ?

[SzlafRock]

Czy taka sytuacja może być przyczyną zablokowania tych IP

Jasne.

Najlepszym rozwiązaniem jest zwiększenie planu hostingowego lub optymalizacja skryptu i bazy.

[djbit]

IP sprawdzałem tutaj:

geolocation.needthe.net

i niektóre wskazują na

crawl-66-249-73-175.googlebot.com

Co teraz zrobić, usunąć te ip botów google i się modlić ?

[heretyk]

@djbit - próbowałeś zmniejszyć szybkość indeksowania w GWT?

edit:

botów G. się nie blokuje, chyba że nie zależy Ci na ruchu z wyszukiwarki;)

[straseusz]

Ew. podeślij mape strony przez narzędzie gwt może znacznie przyspieszyć odwiedziny

[djbit]

@heretyk - Nie, jeszcze takiego rozwiązania nie próbowałem - dzięki.

@heretyk - szczeże to nie pomyślałem, że ktoś obeznany w temacie poda mi do zablokowania boty google i na pewnego wkleiłem podaną "regułkę".

@streseusz - dzięki, sprubuje.

[djbit]

OK, już wszystko jasne.

Powiadomienie z GWT:

Increase in authorization permission errors

19 grudnia 2012

Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.

--------------------------------------------------------------------------------

Recommended action

• Check the Crawl Errors page in Webmaster Tools.

• Check if your server or host is blocking Googlebot.

• If you don't want Google to crawl these pages, consider adding them to your robots.txt.

Learn more in our Help Center.

[WebReklama]

Najprostsze rozwiązania to:

1. odblokuj roboty Google

2. zoptymalizuj skrypty

3. zobacz czy nie masz za dużo zaindeksowanych stron i google po nich nie szaleje - jeśli tak to pewnie przyczyną jest strona z błędami - tam bardzo często są odwołania do nieistniejących zasobów i pętla 404 która potrafi "zeżreć" cały transfer

4. większy i lepszy hosting

A co do administratora serwera - on dba o serwer, a nie o Twoje pozycjonowanie

[djbit]

Usunięcie błędów indeksowania (jako poprawione) w GWT i wyżucenie blokowanych IP w htaccess rozwiązało problem.

Pozycje wróciły, chodź dwie najważniejsze się jeszcze wahają z 6-7 na 12-13.

[tomierc]

Bardzo dziwne że za blokadę mgło być coś takiego

[Mion]

IP sprawdzałem tutaj:

geolocation.needthe.net

i niektóre wskazują na

crawl-66-249-73-175.googlebot.com

Co teraz zrobić, usunąć te ip botów google i się modlić ?

Blokujesz IP botów google to dopiero desperacja < nie pisząc głupota>

Równie dobrze możesz "pozycjonować" na localhoscie

[djbit]

@Mion

Blokujesz IP botów google to dopiero desperacja < nie pisząc głupota>

Równie dobrze możesz "pozycjonować" na localhoscie

Niestety, ale tak mi doradził support i dodałem to do htacces bez sprawdzania, z zaufaniem.

Jak do tej pory fachowo pomagali mi w różnych sytuacjach dlatego też dodałem to bez wahania.

Człowiek się nie zna na wszystkim...

@tomierc

Bardzo dziwne że za blokadę mgło być coś takiego

Page Rank też się wyzerował według SEOBook.com Toolbar, ale również powrócił.

Poniżej przedstawiam pozycje po blokadzie IP, ostatnia z nich to adres strony.

[Mion]

Jeśli nie ma jeszcze to zainteresuj się wdrożeniem cache które o ile jest dobrze zaimplementowane znacznie zmniejsza obciążenie serwera.