Problem z plikiem robots.txt i zduplikacją stron

[antaba]

Chodzi mi o plik robots.txt, czy w skrypcie, np jakimś CMS-ie, jak tworzy się plik sitemap.xml tworzony jest także plik robots.txt? Problem polega na tym, że chciałbym zabronić robotowi wchodzenia i indeksowania plików i katalogów administracyjnych. A może jest jakiś generator po wskazaniu mu danych katalogówPoza tym, jest problem z duplikacją stron, dokładniej chodzi o strony pochodzące z wyszukiwarki wewnętrznej, jak to mam zrobić, przecież nie mogę tego zablokować w GSC. Proszę o podpowiedź.

[Paq]

Cytuj

przecież nie mogę tego zablokować w GSC

 

Jak to nie możesz? Wchodzisz do SC, wbijasz w indeksowanie, potem parametry w URL-ach i wycinasz co chcesz.

 

Cytuj

Chodzi mi o plik robots.txt, czy w skrypcie, np jakimś CMS-ie, jak tworzy się plik sitemap.xml tworzony jest także plik robots.txt?

 

A skąd mamy wiedzieć o jaki CMS chodzi? Wszystkie Open Source'owe CMS'y pewnie go tworzą.

 

A co do robots.txt, to foldery blokujesz np. w taki sposób:

Disallow: /wp-includes/

 

[antaba]

Dziękuję Ci za pomoc, czyli co, mając dostęp do GSC mogę to zrobić? Jesteś pewny? Tych stron w sklepie są tysiące, żeby nie narobić "gemeli" z produktami, które ma indeksować. A co z zabronieniem wchodzenia do katalogów administracyjnych?

[Paq]

Nie. Odpisałem na Twój post tylko po to, żeby nabić post do licznika.

 

Mówię - wejdź do SC, tam masz parametry URL i kilkoma kliknięciami wytniesz z wyników np. wszystkie adresy URL zawierające parametr "search" i podobne.

 

Cytuj

A co z zabronieniem wchodzenia do katalogów administracyjnych?

 

Przecież wyżej Ci napisałem, co powinieneś zrobić. A jeśli nie chcesz z jakichś powodów robić tego przez robots.txt, to dostęp do folderu możesz ograniczyć sobie przez .htaccess do swojego IP.

[antaba]

Paq, jeszcze raz Ci dziękuję i nie denerwuj się to na żołądek szkodzi,jak mawia klasyk, faktycznie pisałeś o robots.txt, szef mnie goni z tą  duplikacją i nie zwróciłem uwagi, w G, wpisuje site:domena.pl inurl:domena.pl i jest tego full, sądziłem, że to trzeba osobno każdy katalog wklepać. Przepraszam za infantylne pytania,  książka została w domu.