Sitemapa - URL zablokowany przez plik robots.txt.

[ojciec17]

Witam,

 

tak jak w temacie mam problem z blokadą url w mapie witryny przez co Google nie może zaindeksować strony. Problem polega na tym, że żadnych adresów nie blokuje z poziomu pliku robtos.txt. Strona postawiona na wordpressie.

 

Mój plik wygląda tak:

User-agent: *Disallow: /wp-admin/Allow: /wp-content/uploads/ 

Na początku przy instalacji wordpressa oczywiście miałem opcję blokowania wyszukiwarek, ale to usunąłem.

 

Może ktoś poradzić w czym jest problem?

[ar4]

Może masz domenę z banem?

[Kuba Suchocki]

masz dostęp do search console? Kiedy strona postawiona i czy była już zaindeksowana ale ją wywaliło?

[stasiek111]

Skoro była wcześniej blokada, to najprawdopodobniej został robots.txt w cache googla. Doradzam wejść w Google Search Console -> Indeksowanie -> Pobierz jako Google. Następnie prześlij do indeksu tą stronę i odczekaj, powinno być OK.

[ar4]

Skoro była wcześniej blokada, to najprawdopodobniej został robots.txt w cache googla. Doradzam wejść w Google Search Console -> Indeksowanie -> Pobierz jako Google. Następnie prześlij do indeksu tą stronę i odczekaj, powinno być OK.

 

Możesz mi trochę powiedzieć o robots.txt w cache google?

[ojciec17]

Skoro była wcześniej blokada, to najprawdopodobniej został robots.txt w cache googla. Doradzam wejść w Google Search Console -> Indeksowanie -> Pobierz jako Google. Następnie prześlij do indeksu tą stronę i odczekaj, powinno być OK.

 

Ok ale zależy mi, aby każda podstrona była zaindeksowana i wolałbym to zrobić w tradycyjny sposób. Jak można odświeżyć cashe google, czy coś w tym stylu. To czy strona ma bana okaże się jak mapę witryny nic nie będzie blokowało.

Mam dostęp do Search Console i tam jest napisane, że mapę blokuje robots.txt ale to nie prawda bo już pokazałem jak wygląda ten plik

[stasiek111]

Chodzi o to, że google jeśli napotka blokadę w robots.txt to pamięta to jakiś czas i nie odczytuje tego pliku za każdym razem (takie mam doświadczenie i tak sobie to tłumaczę) dlatego musisz wymusić jego pobranie w sposób który wskazałem, albo po prostu odczekać, aż nastąpi jego ponowne pobranie.

 

Edycja:

Ewentualnie możesz również: Indeksowanie -> Tester pliku robots.txt - > Prześlij

 

Działa to tak samo jak wymuszenie indeksowania.

[ojciec17]

Chodzi o to, że google jeśli napotka blokadę w robots.txt to pamięta to jakiś czas i nie odczytuje tego pliku za każdym razem (takie mam doświadczenie i tak sobie to tłumaczę) dlatego musisz wymusić jego pobranie w sposób który wskazałem, albo po prostu odczekać, aż nastąpi jego ponowne pobranie.

 

Edycja:

Ewentualnie możesz również: Indeksowanie -> Tester pliku robots.txt - > Prześlij

 

Działa to tak samo jak wymuszenie indeksowania.

 

Dzięki stasiek111, co do drugiej opcji to właśnie tak zrobiłem jak mówisz i ponownie zgłosiłem mapy google. Niestety nadam mam info o blokadzie adresów url z poziomu robots.txt.

Jeśli zajdzie taka potrzeba, to wymuszę indeksowanie strony według Twojej pierwszej porady.

[stasiek111]

Rozwiązał się problem czy jeszcze istnieje?

[ojciec17]

stasiek111 dodałem dzisiaj do indeksu witrynę poprzez "Pobierz jako Google" i czekam na indeksację... Kto wie może domena miała bana... niestety przejąłem domenę, gdy ta już od kilku lat nie istniała więc nie miałem jak zweryfikować tego. Na pewno wiem, że domena ma karę ręczną, ale sprawa jest w toku żeby tę karę zdjąć.

[ojciec17]

Inna sprawa że może mi nie indeksować strony jeśli w cashe Google jest jeszcze stara wersja robots.txt, która blokowało wszystko przed indeksacją... To też muszę zweryfikować.

W każdym razie dalej będę raportował na tym forum co się dzieję i jakby co poinformuje o wszystkim.

[ojciec17]

Ok. Domena mi się zaindeksowała, choć mam inny problem... Po pierwsze zaindeksowało mi tylko 7 z 33 linków. Druga dziwna sprawa jest taka, że Search Console pokazuje mi stan indeksowania - 0, a w mapie witryny informacja że zgłoszono 33 adresy, a zaindeksowane 0. Jest to niezgodne z prawdą, bo Google póki co zaindeksował 7 adresów. Nie wiem...poczekam jeszcze trochę aż się te dane zaktualizują.

   

[stasiek111]

(...) Po pierwsze zaindeksowało mi tylko 7 z 33 linków.

 

Czyli zaczął się już proces  indeksacji, by go przyspieszyć: Google Search Console -> Indeksowanie -> Pobierz jako Google i przesyłaj je po kolei. Wtedy powinieneś mieć wszystkie linki dodane w ciągu powiedzmy godz.

 

 

(...) Druga dziwna sprawa jest taka, że Search Console pokazuje mi stan indeksowania - 0, a w mapie witryny informacja że zgłoszono 33 adresy, a zaindeksowane 0. (...)

Tutaj (rozumiem, że jest to sekcja sitemap) możesz mieć przez bardzo długi czas informacje, że masz 0 zaindeksowanych (z mapy). Najłatwiej wpisać w wyszukiwarce site:domena.pl i wtedy będziesz wiedzieć ile stron już zostało zaindeksowanych.

 

Edycja: literówki

[ojciec17]

stasiek111, dzięki za wszystko. Moja strona została zaindeksowana, 28 z 33 linków. Czekam cierpliwie na kolejne zasoby dodane do indeksu Google. Jeden adres dodałem z  Google Search Console -> Indeksowanie -> Pobierz jako Google, bo mi nie zaindeksował, a jest dla mnie bardzo ważny. Filtr zdjęty. Jedyne co mnie martwi to że przesłałem mapę witryny i tam wciąż jest napisane, że z przesłanych adresów nic mi nie zaindeksowało...ale jak wpiszę komendę site, to jest 28 wyników, czyli prawie wszystko

 

Druga sprawa jest taka, że do mojej nowej strony prowadziły linki z 20 innych domen (bardzo dobre naturalne linki). Zastanawiam się, czy Google je już bierze pod uwagę. Z dnia na dzień pozycje mi się poprawiają, ale wątpię żeby to był efekt starych linków.

[ojciec17]

Search Console pokazuje mi w mapie witryn zaindeksowane url. Wszystko wygląda w porządku. Wciąż poprawiają mi się pozycje