Problemy z indeksacją strony

[shift76]

Witam

Zdaje sobie sprawę iż to już wielokrotnie odgrzewany temat, ale ... dosteję komunikat w narzędziach google " nieosiągalny plik roobots.txt". Komunikat wyświetla sie w momencie kiedy uruchamiam usługę - pobierz jako googleboot. Poza tym w błędach indeksowania dosteje komunikat :

"Google nie mógł zindeksować witryny, ponieważ nie mogliśmy uzyskać do niej dostępu robots.txt" a co za tym idzie od dawna mam nie zaindeksowaną stronę. Może ma ktoś pomysł co z tym zrobić???

Bardzo proszę o pomoc.

Maciek

[Mion]

Pierwsze słyszę by wymogiem zindeksowania strony było pobranie z serwera pliku robots.txt. Przynajmniej na nigdy nie zamieszczałem i nie miałem problemu z indeksacją podstron.

[shift76]

Pierwsze słyszę by wymogiem zindeksowania strony było pobranie z serwera pliku robots.txt. Przynajmniej na nigdy nie zamieszczałem i nie miałem problemu z indeksacją podstron.

ja też, ale taki komunikat zwraca google narzędzia, a strna jest nie zaindeksowana od dawna

[Bremes]

Próbowałeś się pytać o to na forum Google?

[/size][/color]

[blackpress.pl]

robots.txt nie jest przyczyną niezaindeksowania strony. Miałem kiedyś przypadek, że CMS zwracał 500 (czyli kod błędu HTTP) i strona indeksowała się bardzo dobrze. Oczywiście w GWT ten sam komunikat.

Jeśli ci bardzo zależy na robots.txt to dodaj ten plik i wtedy sprawdź co zwraca Twój skrypt. Ew będziesz musiał wprowadzić jakieś poprawki.

[Mion]

@Bremes -> u ciebie tak wszystko w normie ?

[blackpress.pl]

@Mion - to nowy sposób na biznes. Chcesz zobaczyć odpowiedź zapłać za hosting

W sumie stary, bo od dawna jest experts-exchange.com, ale na PiO żadko spotykane

[rokko]

Tak, z taką sytuacją już się spotkałem, zresztą nie tylko ja, error 500 robots.txt może być powodem niezaindeksowania zasobu/strony. Błąd powinieneś czym prędzej usunąć.

[Mion]

error 500 robots.txt może być powodem niezaindeksowania zasobu/strony. Błąd powinieneś czym prędzej usunąć.

Brak pliku robots.txt nie może zwracać kodu HTTP 500, bo ten jest od innego błędu.

_Sprostowanie _

Z tego co "widzę" jednak tak się dzieje

Wiec jeśli tak jest należy zgłosić się do administratora serwera z informacją o błędach w ustawieniach serwera. Gdyż w wypadku braku żadaengo pliku powinien być zwracany kod HTTP 404. Plik robotx.txt to nie jest jakiś specjalny plik konfiguracji serwera którego brak może rzutować na pracę serwera - jest to "zwykły" plik tekstowy.

Poza tym występowania pliku robots.txt jest stricte opcjonalne, więc jego brak nie ma wpływu na indeksacje.

"Plik robots.txt jest potrzebny tylko w przypadku, gdy witryna zawiera treść, której wyszukiwarki nie mają indeksować. Jeśli wyszukiwarki mają indeksować całą witrynę, plik robots.txt jest całkowicie zbędny (nawet pusty)."

https://support.google.com/webmasters/bin/a...p;answer=156449

https://blog.seo-profi.pl/czy-google-indeks...wraca-blad-500/

Warto zapamiętać, że Google nie indeksuje żadnych stron z domen, na których robots.txt ma kod 5xx

Nie powinno występować, bo skoro plik z powodu błędu nie może zostać odczytany "nie wiadomo" jakie reguły w tym pliku się znajdują, więc nie powinny być brane pod uwagę. Możliwe jednak że tak się dzieje i jest to bug google.

[Karlosky]

https://blog.seo-profi.pl/czy-google-indeks...wraca-blad-500/

[seo-ninja]

To ja się podepnę, kiedyś na glucie, ktoś napisał jak znajdę tą wypowiedź to przekleje, że zamiast robots.txt lepiej jest stosować

przykładowo: <meta name="robots" content="index,follow">

@Mion? prawda to, czy fałsz?

[Mion]

Kody odpowiedzi HTTP zwracają serwery, więc jest to związane z błędem na serwerze, a nie google. Przy prawidłowych ustawieniach i żądaniu pliku którego nie ma serwer powinien zwrócić kod HTTP 404, a nie 500 który jest zwracany przy wystąpieniu wewnętrznego błędu serwa.

---

przykładowo: <meta name="robots" content="index,follow">@Mion? prawda to, czy fałsz?

Jest to alternatywna obsługa określenia "dostępu" do indeksacji - https://support.google.com/webmasters/bin/a...mp;answer=93710 oraz na przytoczonym wyżej blogu: https://blog.seo-profi.pl/czy-zawsze-nalezy...s-txt-czy-tagu/

[seo-ninja]

Mion ja wiem do czego to służy pytam się co lepsze? robots.txt czy meta tag ?

[Mion]

Więc Ci odpowiem pytaniem - jakie przekierowanie 301 jest lepsze:

- ustawione w .htaccess

- ustawione w PHP

?

----------------

Wracając do określenia indeksachi: Tag name="robots" to detektywa która tyczy konkretnej strony natomiast wpisami w robots.txt można blokować dostęp na poziomie całej domeny, katalogu i oczywiście też pojedynczych stron.

[seo-ninja]

W teorii to jest to samo a w praktyce nie testowałem tego w php więc się nie wypowiem.