robots.txt a program partnerski bankiera

[chcewypoczac]

Nie wiem czy ktoś już zauważył, ale bankier dla domen w swoim programie partnerskim zablokował dostęp robocików do stron...

Wystarczy sprawdzić obojętnie jaką stronę partnerską link

https://www.produkty.ocenbank.pl/robots.txt

https://www.finago.pl/robots.txt

https://www.kredyty.natopie.pl/robots.txt

[-=SnU=-]

użycie jak powyżej samego Disallow: bez ukośnika / czy innej ścieżki nie blokuje dostępu

[βασιλιάς]

Pusty Disallow oznacza że nic nie jest blokowane.

A robots.txt utworzyli pewnie po to, żeby nie wysyłać botom za każdym razem dużej strony błędu 404.

[Tzarin]

powiało ignorancją...

[tix]

utworzyli po to, bo im to zasugerowalem, gdyz wczesniej strony partnerskie nie byly wogole indeksowane, wkurzylem sie i dodali odpowiednie meta i robots (robots.txt wygladal wczesniej inaczej)