pomocy - Googlebot ma zablokowany dostęp do adresu ...

[artur2345]

Witam,

przeniosłem stronę (blog na wordpressie) na nowy serwer, a w google webmaster tools widzę teraz taki napis "Googlebot ma zablokowany dostęp do adresu ... TUTAJ ADRES MOJEJ STRONY"

Co powinienem zrobić? Bardzo proszę o pomoc

[Mion]

Przenieść na inny serwer który nie blokuje dostępu botom sieciowym

[artur2345]

To jest nowy dedyk w ovh

[Mion]

A kto go konfigurował ?

[artur2345]

Malu

[Mion]

Nic mi to nie mówi Najlepiej zapytaj tego Malu dlaczego tak jest, a nie inaczej, bo może "w trosce" o transfer zablokował IP z pewnej puli i w tym jakże mile widzianego GBota

[artur2345]

Okazało się, że plik robots był dziwnym sposobem ukryty na roocie zamiast w katalogu na ftp i miał zmienioną wartość...

User-agent: *

Disallow: /

Przenieśliśmy go na ftp i jest ustawiony teraz tak...

User-agent: *

Allow: /

Gdy wchodzę przez różne przeglądarki na adres mojastrona.pl/robots.txt to pokazuje tą dobrą wersje.

Niestety minęło już ponad 12 godzin od naprawy i na razie wszystko jest dalej zablokowane. Zawsze było tak, że google siedział u mnie na stronie cały czas i odświeżał plik robots nawet co godzinę (duży newsowy blog). Jakieś rady? To dla mnie bardzo ważne.

PS: Dodam, że w panelu wordpressa w dziale "Privacy" jest wszystko od zawsze dobrze zaznaczone i teraz też.

PS2: Dodaję też nowe artykuły co godzinę, aby zachęcić google, ale nic się nie dzieje.

PS3: Dodam, że mam forum na mybb na subdomenie (forum.mojastrona.pl) i tam googlebot siedzi cały czas i przegląda sobie tematy

[Mion]

@Okazało się, że plik robots był dziwnym sposobem ukryty na roocie zamiast w katalogu na ftp i miał zmienioną wartość...

Co ma konto roota i tak zwany katalog domowy root/ wspólnego z kontami produkcyjnymi od hostingu, czyli głównymi katalogami danej domeny. Czy ten Malu zna się na tym co robi, bo jak pisałeś to on stawiał oprogramowania na tym serwera

Najlepiej zlec komuś audyt tego serwisu pod tym kontem.

[artur2345]

Strona jest na własnym nowym dedyku z ovh (sp 09 ssd). No właśnie zleciłem to pewnej osobie z PiO z prośbą o dodatkowe rzucenie okiem i na razie mam czekać 24 godziny na efekty tych zmian co wyżej opisałem. Ale postanowiłem napisać, bo może ktoś ma jeszcze jakieś pomysły.

Po prostu to jest dla mnie bardzo ważne i trochę panikuje

PS: Malu to jeden z najlepszych adminów i każdy go poleca

[Mion]

Zrób tak i to musi zadziałać

1) Wywal ten plik robots,.txt i upewnij się, że go nie ma wykonując żądanie o ten dokument mojastrona.pl/robots.txt [czyli wywołaj w przeglądarce]

2) W panelu google dla webmasterów zobacz jak widzi przedmiotową stronę google bot. Dzieki temu upewnisz się, ze nie ma innych niespodzianek np blokady IP google bota itd;

3) Wykonaj pingowanie strony głównej, kanału RSS, działów głównych. Pingowanie możesz wykonać za pomocą programu Ping SEO Master mojego autorstwa.

https://pingseomaster.hot.net.pl/

https://www.forum.optymalizacja.com/index.php?showtopic=53723

Dzięki odpingowaniu google bot "przystąpi" do przeszukiwania serwisu i indeksacji podstron.

[artur2345]

Ok, dzięki za super pomoc. To bardzo miłe

Nie rozumiem tylko tego drugie punktu (w sensie pierwszego zdania). Jeżeli chodzi o "Pobierz jako Googlebot" to cały czas pokazuje "Odrzucone przez plik robots.txt"

[Mion]

Dlatego pisze usuń z serweras robots.txt i upewnij się wywołując adres https://mojastrona.pl/robots.txt, ze tego pliku nie ma.

I jak wejdziesz w Laboratorium -> Pobierz jako Googlebot musi pobrać, bo jest to pobieranie w czasie rzeczywistym

[artur2345]

Wywaliłem robots.txt, który miał taką postać...

User-agent: *

Allow: /

Zrobiłem restart komputera, itp. Wchodzę na adres mojastrona.pl/robots.txt i co widzę? Pokazuje taki plik...

User-agent: *

Disallow:

Sitemap: https://mojastrona.pl/sitemap.xml.gz

Cholera nie wiem o co tu chodzi ;(

[Mion]

@Sitemap: https://mojastrona.pl/sitemap.xml.gz

Ale co ma z tym wspolnego sitemap.xml.gz

Wyczyść cache przeglądarki zobacz czy na serwerze jest plik robots.txt jesli jest to upewnij się, że w ogóle operujesz we właściwym katalogu. W tym celu zmien jesgo nazwę np z home na _home. Wywołaj stronę https://mojastrona.pl/ CTR+ F5 jeśli nie działa to OK jesli działa to masz nie ten katalog na który wskazuje ustawiona na serwerze domena. Poszukaj właściwy i powtórz operację kasowania robots i sprawdzanie jeszcze raz.

[βασιλιάς]

User-agent: *

Disallow:

Sitemap: https://mojastrona.pl/sitemap.xml.gz

To jest standardowy plik robots.txt WordPressa generowany dynamicznie jak masz włączony mod_rewrite.

Pozwala on na indeksację wszystkiego.