Robot.txt parametry

[genju2]

Witam.

 

Proszę o sprawdzenie czy dobrze wpisałem regułę w pliku robots.txt aby zablokować wszelkie indexowanie sortowania w sklepie internetowym

Przykłądowy kod z sortowania to:

/q/?keywords=nasiona&keywords_desc=&prices[0]=100&prices[1]=200&categories[]=1524&categories[]=1525&categories[]=1527&categories[]=1530

 

User-agent: *
Crawl-delay: 1
Disallow: /*?keywords=
Disallow: /*keywords_desc
Disallow: /*prices%5B1%5D
Disallow: /*prices%5B0%5D
Disallow: /*producers%5B145%5D
Disallow: /*producers%5B111%5D
Disallow: /*producers[145]
Disallow: /*fb_comment_id

czy wystarczy to co poniżej?

 

User-agent: *
Crawl-delay: 1 Disallow: /*?keywords=

 

 

Pytanie czy dobrze to napisałem w robot.txt ?:)

 

 

 

 

 

 

 

 

 

 

 

 

[Tobi]

Czemu nie po prostu:

Disallow: /q/*

 

 

Jak się domyślam /q/ odpowiada za 'query'. 

[genju2]

Tak.

 

OK zablokowanie tego spowoduje zablokowanie wszystkich sortowań

Mogę zapytać co oznacza " * " . ?

[Paq]

To co robi robots.txt, to tylko i wyłącznie UKRYWA takie URL'e z wyników organicznych, ale robot nadal PRZETWARZA je w budowie klasyfikatora domeny, wobec czego - to żadne rozwiązanie. Blokować te zasoby powinieneś, stosując albo meta tag noindex albo pozostaje Ci zapoznać się z "parametry URL" w Search Console (pomijam już w tym miejscu, że patologiczną praktyką jest pisanie silnika w taki sposób, aby sortując produkty po jakimkolwiek klasyfikatorze generował adresy dynamiczne, ale w zasadzie każdy silnik Open Source'owy ma z tym problem w mniejszej albo większej skali). I czy zastosujesz meta tag noindex, czy wytniesz te podstrony w Search Console, to już bez znaczenia - obie mechaniki są dla siebie równoważne (wykluczają z indeksu i wykluczają z przetwarzania).

 

Więcej pisałem o tym na blogu: https://paq-studio.com/blog/czy-robots-txt-rozwiazuje-problem-duplikacji-wewnetrznej/

[Tobi]

Gwiazdka zastępuje ciąg znaków.

Robots nie ukrywa wyników z wyników organicznych lecz daje wskazówki botowi gdzie ma nie zaglądać. Jeśli coś zostało już zaindeksowane, to robots.txt nie rozwiąże problemu - trzeba te wyniki usunąć ręcznie w konsoli. 

Z 'noindex' racja - powinno to być ustawione na stronie tak, aby w przyszłości nie indeksować wyników sortowania czy wyszukiwania. 

[Paq]

https://www.youtube.com/watch?v=AG6Jx_KJiXo

 

[genju2]

Dziękuję za opodwiedz.

Słuchając i czytając co doradza mi Paq zrobiłem tak:

Skanowanie ustawiłem : Żadne adresy URL. ( patrz zdjęcie).

 

Pytanie czy w ten sposób rozwiązałem już całkowicie problem tak jak na załączonym zdjęciu z Consoli.

Rozumiem , że zablokowanie podstron w robot.txt mija się z celem bo będzie to ukryte. A robot odwiedzający stronę i tak będzie przetwarzał bezsensowne podstrony z sortowania.

 

/q/?keywords=nasiona&keywords_desc=&prices[0]=100&prices[1]=200&categories[]=1524&categories[]=1525&categories[]=1527&categories[]=1530

No index - na redcard z adresu z sortowania  To nawet nie wiem jak dodać. Nie ma możliwości wejścia w cms w podstronę z takim url.

Zgadzam się Patologia totalna jeśli chodzi o tego typu silniki sklepów. Dziwie się , że ludzie budują swoje sklepy na tego typu platformach. Ale to się bierze z niskiej świadomości Klientów.

 

[Paq]

Obciąłeś screena, więc wszystkiego nie widać, ale jeśli zrobiłeś tak, jak jak napisałeś w poście, czyli "- Żadne adresy URL", to tak, jest to teraz poprawnie wycięte.

 

A patologie biorą się nawet nie z niskiej świadomości Klientów, ale deweloperów, którzy klepią silniki tak, jak im się wydaje za słuszne. Klient (szczególnie SaaS'a) ma prawo się przecież na tym nie znać.