Jak skutecznie zablokowac bota yahoo

[Dr Spin]

Hej.

Jak w temacie. Niestety komenda w robots.txt nie działa, bot yahoo od 2 miesiecy i tak indeksuje wszystko

User-agent: Slurp

Disallow: /

Myslalem o blokadzie w htaccess ale niestety nie jestem w tym orłem

Ktos z Was ma sprawdzony sposob?

[Rams]

Tutaj https://www.cenobitz.com/portal/pl/system-p...yandex-htaccess masz napisane jak zablokować robota przez .htaccess

[pawloski]

User-agent: bingbot

Disallow: /

bo teraz wyszukiwarka yahoo (ale nie yahoo site explorer) używa tego samego indeksu co bing

[tomierc]

ale po co go blokować. To nie za dobre działanie

[ErnestM]

User-agent: bingbot

Disallow: /

bo teraz wyszukiwarka yahoo (ale nie yahoo site explorer) używa tego samego indeksu co bing

mozesz podac jakies zrodlo tych informacji ?

ale po co go blokować. To nie za dobre działanie

niektorzy blokuja bota aby konkurencja nie sledzila ich linkow.

[tomierc]

Pytanie tylko po co blokować tego bota

[Rademenes]

Coś te blokowanie nie działa, bo zablokowałem tak jak było wałkowane i nadal widać w exlorer.

User-agent: Slurp

Disallow: /

User-agent: yahoo

Disallow: / 

User-agent: bingbot

Disallow: /

[ErnestM]

U mnie jedna strona ktora ma ponad rok i uzywa tego blkowania w robots.txt nie jest pokazywana w zapytaniu link w yahoo, jednak druga ktora ma pare miesiecy i od paru miesiecy uzywa tego robots.txt, nadal pokazuje.

[Gentero]

Ja używam takiego pliku robots.txt

User-agent: Googlebot

Allow: /

User-agent: *

Disallow: /

Stronki są indeksowane tylko w Google

[zecke]

Pytanie teraz ile po założeniu takiego pliki robots.txt strony będą wyindeksowane z yahoo ?

[ErnestM]

U mnie trwa to pare miesiecy (z nowa strona) i jeszcze nie wyindeksowalo, strona o ktorej wspomnialem wyzej uzywa tego od paru miesiecy po jej zalozeniu i nigdy nie pokazywalo wiecej niz 10 linkow.

[zecke]

Parę miesięcy ? To trochę chore, że trzeba czekać aż tyle żeby usunąć stronę z ich wyszukiwarki. Założyłem nawet konto na yahoo i próbowałem usunąć swoją stronę (przechodząć proces weryfikacji) i lipa, bo na samym końcu okazuje się, że jedynym sposobem na usunięcie jest plik robots.txt, który jak tu czytam nie działa

[buhabuha]

... Założyłem nawet konto na yahoo i próbowałem usunąć swoją stronę (przechodząć proces weryfikacji) i lipa, bo na samym końcu okazuje się, że jedynym sposobem na usunięcie jest plik robots.txt, który jak tu czytam nie działa

a ta procedura nie działa? --->>> https://help.yahoo.com/l/us/yahoo/search/si...xplorer-46.html

pisza, że 48 h...

[zecke]

Działa, ale do usuwania innych podstron. Domeny głównej nie usuniesz, gdyż dostajesz info, żeby zaktualizować plik: robots.txt... I koło się zamyka, bo boty yahoo czy tam binga mają głęboko gdzieś twój robots.txt

[dargre`]

Ciekawostką jest że onegdaj (jakiś rok temu) dostałem maila od Bing, z prośbą o odblokowanie ichnego bota... , że niby userzy się skarżą, że nie ma mojej strony w ich indeksie.

Pokazali mi, że blokuję ich w robots.txt, tyle że nie wiedzieli, że jeszcze dokładniej blokuję ich w .htaccess, a ściślej mówiąc w httpd.conf, bo .htaccess nie używam z uwagi na optymalizację serwera pod szybkość ładowania strony...

Ktoś miał też takie doświadczenie? A może to tylko dotyczy stron z angielskim językiem...

Póki co odblokowałem i na szczęście Bing nie mieli mi strony aż tak bardzo jak to za czasów MSN bywało.