Wordpress, kierowanie ruchem botów na stronie - ustawienia

[rokko]

Witam wszystkich,

Postawiłem blog komputerowy na skrypcie Wordpress. Zmodyfikowałem wedle wytycznych SEO wszelkie rzeczy tak aby boty nie miały problemów z poruszaniem się na stronie + optymalizacja samej skórki, od kilku dni obserwuje problemy w indeksacji nowych tematów.

Użyłem dodatek All in One SEO pack, modyfikując a raczej blokując indeksację kategorii i tagów, jednakże wyczytałem, że nie powinno się blokować dostępu do tagów. W ramach eksperymentu 2 dni temu zdjąłem ograniczenia na kategorie i tagi, zacząłem pingować wpisy oraz sitemap. Niestety do dzisiaj żadnych efektów nie widać. Przed zmianą ustawień po wysłaniu pingu bot indeksował stronę/podstronę w kilka godzin. Kolejna rzecz, zmodyfikowałem plik robots.txt wedle wytycznych jednego gościa na blogu, w założeniu takie zapisy miały zapobiec duplicate content, jak możecie rzućcie okiem czy są prawidłowe. Wiadomo bloger też człowiek i błędy popełnia ;/

Sitemap: tutaj mam link do mapy strony

User-agent: Googlebot
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /tag/
Disallow: /cgi-bin/

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /tag/
Disallow: /cgi-bin/

User-Agent: MediaPartners-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

Dzięki za wszelkie sugestie

Pozdrawiam serdecznie

rokko

[Mion]

Przecież dyrektywa Disallow: blokuje dostęp czyli:

User-agent: Googlebot

Disallow: /feed/$

blokuje dostęp do /feed/ czyli tam gdzie masz kanał RSS

https://techformator.pl/feed/rss/

Ta druga blokuje wszystkie:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Wywal to dziadostwo, a jak już chcesz robić plik robors.txt to rób go z głową:

https://www.spiders.pl/robots_txt-syntax.php

[rokko]

@Mion, taki plik robots to nie jest mój pomysł,

Tutaj link do źródła, gdzie gościu zachwala takie rozwiązanie => KLIK

Dlatego pytałem co z tym fantem zrobić bo miałem wątpliwości co do niego, a teraz widać że "gotowe" to jest dobre drugie danie a nie kopiowane od innych robots.txt. Znaczenie poszczególnych opcji robots.txt znam, ale w przypadku WP nie wiem czy to jest konieczne blokowanie poszczególnych katalogów i czy są efekty uboczne takiego blokowania. Chyba większość wyrzucę jak sugerujesz, tylko najważniejsze rzeczy zostawię.

W dodatku all in one seo wywaliłem dodatkowo canonical po przeczytaniu tego opisu => Niebezpieczne rel=canonical Też niby tag ma pomagać a szkodzi, wolę nie ryzykować na obecnym etapie.

Może coś się poprawi, jak do końca tygodnia nie będzie treści w indeksie to chyba będę musiał się zastanowić nad jeszcze innym rozwiązaniem :/

Dzięki za sugestie.