Blokuje mi user-agentów

[Lucider]

Nikt nigdzie nic nie wie, więc może tutaj się to komuś przytrafiło Otóż:

Moja strona: https://www.e-pomocnik.pl już ok. pół roku spokojnie przebywa sobie w sieci i jak widać - działa. Jeden z adminów zauważył kilka tygodni temu, że czytnik RSS przestał aktualizować newsy. Myśleliśmy, że problem jest przejściowy. Nie zniknął jednak do dzisiaj, a okazało się że wpływa na masę innych rzeczy, nie tylko na kanał RSS.

Walidator kodu W3C, skrypty pozycjonerskie, wszelkiej maści roboty nie widzą strony i dają błąd 404 od serwera. Sami zobaczcie:

Output Validatora

Żeby było ciekawiej, jak damy ścieżkę do konkretnego, zwykłego pliku .html już działa i np. stronę z błędem 404 (która jest w czystym html) sprawdzi normalnie.

Wyeliminowałem już winę plików robots.txt oraz .htaccess, nie mamy żadnego skryptu chroniącego przed botami, ogółem - zgłupieliśmy :/

Najgorsze jest to, że przez to nie mogę pozycjonować strony, bo Google widzi że jej nie ma, więc usunęło ją z indeksu :/ Ktoś się kiedyś z takim czymś spotkał?

[Irek]

W nagłówku strony jest

HTTP/1.1 404 Not Found
Date: Mon, 12 Jan 2009 10:46:02 GMT
Server: Apache/1.3.36 (Unix) mod_fastcgi/2.4.2 PHP/5.2.6 mod_auth_passthrough/1.8 mod_log_bytes/1.2 mod_bwlimited/1.4 FrontPage/5.0.2.2635.SR1.2 mod_ssl/2.8.27 OpenSSL/0.9.7a
...

Jeżeli to nie w kodzie strony to pogadaj z włascicielem serwera.

[Łukasz Gugała]

A może ktoś Ci sie po prostu do kodu dobrał i po cichu Cię konkurencja niszczy?

A tak poza tym to:

<meta http-equiv="reply-to" content="lucider@o2.pl" />

Twój email - Twój SPAM

<!-- /Stopka i inne fetysze -->

Dobre

PS. masz w meta description błąd (literówkę) i w meta robots sobie index, follow ustaw nie all, albo to wywal, bo to już w zasadzie na nic nie wpływa - z moich testów tak wynika.

[relons]

Potwierdzam - u mnie to samo. Serwer przesyła treść strony z nagłówkiem "404 Not Found" zamiast "200 OK".

[Lucider]

Jak już napisałem w pierwszym poście- nie jest tajemnicą że serwer zwraca kod 404 dla botów, a narzędzia typu Live http headers itp tą boty, dlatego macie w nagłówku 404 zamiast 200. Kwestia tylko dlaczego, usługodawca hostingu nie ma zielonego pojęcia o co chodzi a z tego co ja wiem na ten temat, boty można blokować tylko za pomocą .htaccess i robots.txt, co już wykluczyłem jako przyczynę...

Najbardziej mnie rozbija to, że dla plików js, html, gif, jpg etc jest 200 OK, jakiś problem ma z plikami php...

PS. masz w meta description błąd (literówkę) i w meta robots sobie index, follow ustaw nie all, albo to wywal, bo to już w zasadzie na nic nie wpływa - z moich testów tak wynika.

Dzięki, poprawione

[Irek]

boty można blokować tylko za pomocą .htaccess i robots.txt, co już wykluczyłem jako przyczynę...

Co wspólnego mają z tym boty jeżeli użytkownicy też dostają 404 ?

[Arkadiusz]

Walnij do mnie na PW, to Ci powiem o co biega

[Łukasz Gugała]

Powiedzcie na forum jak żeście sprawe rozwiązali. Zawsze to się człowiek czegoś nauczy i dowie

[relons]

Jak już napisałem w pierwszym poście- nie jest tajemnicą że serwer zwraca kod 404 dla botów, a narzędzia typu Live http headers itp tą boty, dlatego macie w nagłówku 404 zamiast 200.

Coś ci się pomieszało. Live http headers nie wysyła żadnych żądań do serwera, wyświetla to, co dostała przeglądarka Firefox. Twoja aplikacja webowa nie ma pojęcia, jakie pluginy ma zainstalowane użytkownik końcowy.

Dlatego masz problem tylko z plikami .php bo widocznie twój skrypt wysyła nagłówek 404 wszystkim (widocznie masz jakiś błąd przy "wykrywaniu" botów).