Błędy indeksowania Google Webmaster Tools

[Rogal]

Zrobiłem sobie bloga o tematyce jedzenia. Podczas tworzenia go wyłączyłem z poziomu panelu administracyjnego Wordpressa indeksowanie przez Google - chciałem uniknąć pojawiania się śmieci itp. Dopiero gdy dokończyłem tworzenie go, tj. spolszczyłem darmową templatę, dopicowałem kategorie, dodałem kilka wpisów. Zainstalowałem parę wtyczek, a dokładnie:

1. Akismet (chociaż tu nie ma co instalować, po prostu API key wpisać i chodzi);

2. All in One SEO Pack (wyłączyłem indeksowanie tagów, póki co).

3. Google XML Sitemaps;

4. Similar Posts (były błędy ale chodzi, na pewno ją zmienię na coś innego);

5. WP Super Cache

6. WP Widget Cache.

Wielkich zmian nie było, standardowo dopracowany title, description i tyle.

Dodałem stronę do monitoringu w Google Webmaster Tools. Na dzień dobry przywitał mnie wielki czerwony boks informacyjny, że "jeden ważny adres jest blokowany przez robots.txt". Ciekawostką jest to, że robots.txt nie był nigdy wygenerowany... Wiem, że jest coś w postaci Virtual robots.txt, jednak żadna z powyższych wtyczek go raczej nie generuje.

Sprawdziłem więc jakiego robots.txt zaciągnął sobie GWT i widzę, że jest taki o zawartości disallow dla każdego bota. No cóż - wrzuciłem plik robots.txt ręcznie z odpowiednimi regułami (allow) i pomyślałem, że poczekam.

Po około 24 godzinach doszło do pobrania nowego robots.txt, ale komunikat o jednym ważnym adresie który się nie indeksuje (adres strony głównej bloga) wciąż się pojawiał.

Faktycznie, były problemy z indeksacją bloga. Równolegle z nimi nie została pobrana mapa strony.

Usunąłem robots.txt skoro nie zależy mi na blokowaniu czegokolwiek i co?

Wielki, czerwony komunikat zniknął. Pojawiło się za to kilka innych ciekawostek, które się nawarstwiają.

Zaczęły się pojawiać linki do podstron z wpisami, które jakoby były blokowane przez robots.txt. Po kilku dniach doszły adresy z błędem 404 (problem załatwiłem ustawieniem, żeby wszelkie 404 poszły na główną stronę).

Stan na dzisiaj 19 linków blokowanych przez robots.txt.

Olać temat czy zacząć się martwić?

Póki co wywalam kilka pierdół z mapy strony.

Zastanawiam się co z tym robić. W wielu miejscach spotykam się z opiniami, że to kupa, że to niewypał i w ogóle. Z drugiej jednak...no cóż. Niepokoją te błędy indeksowania, zwłaszcza że nie mam ustawionego blokowania. Z czego błędy mogą wynikać?

[malec]

Ja miałem podobny problem ale wynikał on z tego, że nie odznaczyłem odpowiedniej opcji w wordpresie przed zgłoszeniem strony do GWT.

Dokonałem poprawki i na następny dzień, albo za dwa dni już poprawnie zgłosiło strony do indeksu.

Możesz sprawdzić jak wygląda twój plik robots.txt (nawet jak go fizycznie nie ma na twoim koncie hostingowym) poprzez wejście: https://domena.pl/robots.txt i zobaczyć co tam masz napisane.

Ja byłem dosyć zaniepokojony ale zacząłem linkowanie i po paru dniach wszystko 'zatrybiło'

Pozdrawiam.

[Rogal]

Wiesz, coś się tam indeksuje. Na cuda nie liczę bo jeszcze nie ruszyłem z kopyta (ale ruszę).

Myślę, że popełniłem podobny błąd. Tzn. nie odznaczyłem, a dodałem. Z tym, że ja po odblokowaniu miałem nadal virtual robots.txt z blokadą.

A obecnie mój robots.txt istnieje na serwerze (wrzuciłem). Jest natomiast pusty - skoro nic nie reguluję nim to pomyślałem, że tak będzie okej.

Zrobiłem też przekierowanie z 404 na główną (bo o dziwo coś znalazło).