Problem z dostepem strony dla googlebota

[ognos]

Googlebot ma problem z dostepem do moich stronek, od 17.08.08r. nie byl na zadnej z nich (a jest ich sporo), mam je dodane w panelu google webmastera i wyswietla sie tam blad:

Sieć nieosiągalna: Plik robots.txt nieosiągalny 
Przemierzenie mapy witryny nie powiodło się. Odnalezliśmy plik robots.txt w katalogu głównym Twojej witryny, ale nie udało nam się go pobrać. Upewnij się, że jest on dostępny lub usuń go.

Nieosiągalne adresy URL 
Podczas testowania próbki adresów URL z Twojej mapy witryny wykryliśmy, że niektóre adresy URL były nieosiągalne. Sprawdź prawidłowość konfiguracji serwera WWW, ponieważ błędy te mogły być spowodowane błędem serwera (na przykład błędem 5xx) lub błędem sieci między Googlebotem a Twoim serwerem. Wszystkie osiągalne adresy URL będą nadal zgłoszone.

Moje dnsy to: ns1.eura7.com oraz ns2.eura7.com

Grzebie sie z tym jakis czas i niestety nie odnalazlem jeszcze przyczyny, czekam na jakies rady.

[Liszu]

Ponad miesiąc temu postawiłem stronę klientowi i oczywiście wykonałem standardowe czynności celem zaindeksowania. Strony jak nie było w indeksie tak nadal jej nie ma. Ciekawe, że z jednego z poważniejszych katalogów polskich zaindeksował link, ale nic poza tym się nie dzieje.

Zazwyczaj nowe strony udawało mi się "wstawić" do Google w ciągu maks. 5 dni.

[wlserwis]

Googlebot ma problem z dostepem do moich stronek, od 17.08.08r. nie byl na zadnej z nich (a jest ich sporo), mam je dodane w panelu google webmastera i wyswietla sie tam blad:

Sieć nieosiągalna: Plik robots.txt nieosiągalny 
Przemierzenie mapy witryny nie powiodło się. Odnalezliśmy plik robots.txt w katalogu głównym Twojej witryny, ale nie udało nam się go pobrać. Upewnij się, że jest on dostępny lub usuń go.

Nieosiągalne adresy URL 
Podczas testowania próbki adresów URL z Twojej mapy witryny wykryliśmy, że niektóre adresy URL były nieosiągalne. Sprawdź prawidłowość konfiguracji serwera WWW, ponieważ błędy te mogły być spowodowane błędem serwera (na przykład błędem 5xx) lub błędem sieci między Googlebotem a Twoim serwerem. Wszystkie osiągalne adresy URL będą nadal zgłoszone.

Mam ten sam problem od kilku dni.

Czy to możliwe, żeby Google samo blokowało bota na skutek jakiegoś filtru (który sami nałożyli)?

Oczywiście serwer jest generalnie jak najbardziej dostępny, plik robots.txt obecny.

[wojtus00]

U mnie to samo - zauważyłem to po 30 pazdziernika...

Problem w tym że ta sytuacja wystepuje na domenkach które dziwnym trafem wyrzuciło z indeksu (tzn wyrzucilo tylko strony głowne - podstrony zostały) a więc możliwe że sami siebie blokują bądz tez wyrzucilo je bo googlebot nie umial sie z nimi połączyć...

[Qbexus]

Jaki z tego wniosek? nie używać pseudo narzędzi od G

[wojtus00]

Taaa. Więc wg powyższego - lepiej nie wiedzieć że coś jest nie tak

[Qbexus]

Pytanie brzmi czy coś się dzieje czy tylko G głupoty piszę ? A to czy coś jest nie tak doskonale widać bez tych narzędzi.

[ognos]

ja u siebie znalazlem blad, problem byl z firewallem na serwerze dedykowanym - admin (pomimo ze teoretycznie ja mialem tylko dostep - bez obslugi uslugodawcy) z firmy z ktorej wynajmowalem dedyka zablokowal wejscia googlebota ;]

[wlserwis]

U mnie to samo - zauważyłem to po 30 pazdziernika...

Problem w tym że ta sytuacja wystepuje na domenkach które dziwnym trafem wyrzuciło z indeksu (tzn wyrzucilo tylko strony głowne - podstrony zostały) a więc możliwe że sami siebie blokują bądz tez wyrzucilo je bo googlebot nie umial sie z nimi połączyć...

ja u siebie znalazlem blad, problem byl z firewallem na serwerze dedykowanym - admin (pomimo ze teoretycznie ja mialem tylko dostep - bez obslugi uslugodawcy) z firmy z ktorej wynajmowalem dedyka zablokowal wejscia googlebota ;]

Miałem dokładnie to samo. Pewnie mamy ten sam hosting

A strony głowne wróciły Ci do indeksu? Pytam, bo mi niestety nie, tzn. jest sytuacja dziwna:

nie ma stron xxx.xx/ a pojawiły się w indeksie xxx.xx/indeks.html. Dziwne, przecież od lat głównymi były zawsze index.html ...

Oczywiście te strony index.html mają podłą pozycję, zupełnie, jakkby zaindeksował je na nowo. Wspinają się w wynikach tak, jakby miały właśnie fsb.

[wojtus00]

Nie tylko u Was był ten problem...

Ale z tego co widze to już wszystko poprawnie indeksuje i strony główne wracają... z tym że nie zawsze na te pozycje które były wcześniej.

Zauwazylem jeszcze jeden problem...

strona która wrociła nie ma cache`u...

[wlserwis]

Cache też wróci, spokojnie.

U mnie po ok. tygodniu wszystko wróciło do normy, no, przynajmnie NA RAZIE, bo widzę, że firewall serwera znów zaczyna blokować Googlebota Cholera, ciekawe, czy to wina zabezpieczeń serwera, czy czynnika ludzkiego, czy wreszcie ten bot stał się jakoś... toksyczny [że go ten firewall blokuje]?

Problemy z tym hostingiem u mnie zaczęły się, kiedy zamienili serwery na "superwydajne". Miało być lepiej a... jest gorzej.