Crawlery AI - czy szkodzą, czy i jak blokować?

[Tomasz11]

Cześć dostałem taką informację w newsletterze jednego z "seo narzędzi":

 

"nie wykluczasz ani nie spowalniasz niektórych robotów agregujących dane ze swojej witryny. W szczególności sprawdziliśmy w Twoim pliku robots.txt reguły dotyczące wspólnego indeksowania – jednego z największych na świecie publicznych zbiorów danych dotyczących sztucznej inteligencji – i nie znaleźliśmy żadnych. Niechciane roboty indeksujące mogą zająć cenną przepustowość, która w najlepszym przypadku może być potrzebna innym odwiedzającym, aw najgorszym przypadku może kosztować Cię pieniądze. Niechciane roboty indeksujące mogą również wpływać na raporty Google Analytics, powodując nieprawidłowe przypisywanie ruchu i niedokładne statystyki."

 

Czy blokujecie jakoś crawlery AI, chatgpt itp? Jeśli tak to dlaczego i jak to można zrobić? Rzeczywiście nie chciałbym żeby moje treści służyły jako "pożywka" dla chatGPT itp. ale czy jest sens i sposób żeby to blokować?

 

[okazwłoka]

Można blokować po user agent, po IP. Można też blokować delikwenta na jakiś czas jeśli zauważysz, że zbyt szybko biega po stronie.

[Mion]

Godzinę temu, Tomasz11 napisał:

Rzeczywiście nie chciałbym żeby moje treści służyły jako "pożywka" dla ChatGPT

Przede wszystkim spóźniłeś się dwa lata, bo rzeczony ChatGPT NIE ma dostępu do internetu

AI Binga oparte też na tej technologi owszem ma dostęp, ale bing podaje źródła, wiec nie widzę sensu blokowania binga.