googlebot i kod 403

[beny]

Witam,

Na wstepie dzien dobry, bo pisze po raz pierwszyc

Mam problem z googlebotem. Otoz pieknie ladnie przychodzi odwiedzic moja witryne, ale... Najczesciej przy tym jak chce przeczytac robots.txt widze kod 403 Access Forbiden. Zreszta to samo jest kiedy chce przejsc przez inne pliki. Najczesciej, poniewaz nie zawsze Zdarza sie, ze przy robots.txt i plikach jest 200. W google sitemaps w dziale robots.txt mam:

Last downloaded Not Found

Status Not Found

Plik robots.txt jest napewno w dobry miejscu. Macie jakies pomysly dlaczego googlebot nie chce go przeczytac? Inne boty czytaja OK!

Dzieki z gory za podpowiedzi

Pozdrawiam

BENY

[zergavis]

Powodów mogą być setki.

Najlepiej by było, gdybyś podał adres strony na której występuje problem.

Pozdrawiam,

Z

[beny]

Powodów mogą być setki.

Najlepiej by było, gdybyś podał adres strony na której występuje problem.

To mnie pocieszyles , ze powodow moga byc setki

Adres strony https://www.damyprace.pl

Kawalek logow z dzis:

66.249.72.46 - - [05/Apr/2006:12:41:50 +0200] "GET /robots.txt HTTP/1.1" 403 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

66.249.72.46 - - [05/Apr/2006:12:41:51 +0200] "GET /wybor_kraj.php HTTP/1.1" 200 3831 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

Widac ze robota nie lyknal, plik tak. Czesem zdarza sie, ze 403 jest nawet dla index.php

Jakies porady mile widziane

//EDIT

wlasnie przed chwila zameldowal sie inny bot i pobral robots.txt, pozostawiajac kod 200

Pozdrawiam

BENY

[zergavis]

Nie mam pojęcia - wszedłem jako googlebot i pobrałem robots.txt bez problemu.

Trudno mi coś sensownego powiedzieć na ten temat. Wygląda na jakiś cloaking, błąd w konfiguracji serwera albo plik ma niestandardowe uprawnienia. Powinien mieć co najmniej 755.

Nie spotkałem się wcześniej z czymś takim.

W kwestii jeszcze samego pliku - "Allow: /" można sobie darować.

Przy disallow brakuje "/" na końcu ścieżki do folderu.

Pozdrawiam,

Z

[beny]

Nie mam pojęcia - wszedłem jako googlebot i pobrałem robots.txt bez problemu.

Trudno mi coś sensownego powiedzieć na ten temat. Wygląda na jakiś cloaking, błąd w konfiguracji serwera albo plik ma niestandardowe uprawnienia. Powinien mieć co najmniej 755.

Nie spotkałem się wcześniej z czymś takim.

W kwestii jeszcze samego pliku - "Allow: /" można sobie darować.

Przy disallow brakuje "/" na końcu ścieżki do folderu.

Pozdrawiam,

Z

Dzieki za uwagi, poprawilem robots.txt

no i bylo cos zle otoz uprawnienia bylu 644 zmienilem na 755. Tylko przy 644 inne boty nie mialy problemu.

Poczekam zobacze...

[tomlie]

Dzieki za uwagi, poprawilem robots.txt

no i bylo cos zle otoz uprawnienia bylu 644 zmienilem na 755. Tylko przy 644 inne boty nie mialy problemu.

Poczekam zobacze...

Obawiam się że nie w tym rzecz.

Ja też hostuję się w KEI i też mam ten sam objaw, w przypadku różnych plików. Coś chyba jest z konfiguracją serwera, bo niektóre googleboty dla pewnych plików dostają 403. Ciekawe, że nie zawsze (o ile dobrze pamiętam)...

[beny]

Obawiam się że nie w tym rzecz.

Ja też hostuję się w KEI i też mam ten sam objaw, w przypadku różnych plików. Coś chyba jest z konfiguracją serwera, bo niektóre googleboty dla pewnych plików dostają 403. Ciekawe, że nie zawsze (o ile dobrze pamiętam)...

No prosze ehhh ta webfabryka...

U mnie dokladnie tak jak u Ciebie raz jest 403 raz 200 roznie bywa choc czesciej 200

Dzis natomiast po zmianie uprawnien na 755 robots.txt googlebot "zjadl"pieknie 200 Sprobuj u siebie tez zmienic uprawnienia. Jak bedzie dalej, bede informowal...

Pozdrawiam

BENY

[beny]

Dzis googlebot znow dostal 403 przy checi pobrania robota. Od czasu kiedy "zjadl" nie zmienialem nic. Takze rzeczywiscie calkiem mozliwe ze hosting jest do bani.

W google sitemaps mam:

Your robots URL https://www.damyprace.pl/robots.txt

Last downloaded 4/7/06 9:44:24 PM PDT

Status 403

Jak ktos ma jakies pomysly to prosze o podpowiedzi...

Pozdrawiam

BENY

[MMP]

Czasem hostingi blokują roboty jeżeli one zabierają zbyt dużo mocy.

[beny]

Czasem hostingi blokują roboty jeżeli one zabierają zbyt dużo mocy.

Tylko ze to zdarza sie tylko i wylacznie dla robota google. Poza tym raz jest ok raz nie pobierze. Jesli to hostingu wina to oprocz zmiany uslogodawcy nic nie pozostaje?

[tomlie]

Tylko ze to zdarza sie tylko i wylacznie dla robota google. Poza tym raz jest ok raz nie pobierze. Jesli to hostingu wina to oprocz zmiany uslogodawcy nic nie pozostaje?

Ja bym się tak ze zmianą nie spieszył - korzystałem z kilku hostingów w Polsce i jak do tej pory (6 miesięcy) nie zamierzam od nich uciekać.

Przejrzałem ostatnie logi - taka sytuacja miała miejsce tylko w przypadku robotów z IP 66.249.65.180 oraz 66.249.65.83. Czy u Ciebie jest podobnie?

Ten post mało już ma wspólnego z tematem wątku, więc może przejdziemy na PW?