Skocz do zawartości

Crawlery AI - czy szkodzą, czy i jak blokować?


Tomasz11

Rekomendowane odpowiedzi

Cześć dostałem taką informację w newsletterze jednego z "seo narzędzi":

 

"nie wykluczasz ani nie spowalniasz niektórych robotów agregujących dane ze swojej witryny. W szczególności sprawdziliśmy w Twoim pliku robots.txt reguły dotyczące wspólnego indeksowania – jednego z największych na świecie publicznych zbiorów danych dotyczących sztucznej inteligencji – i nie znaleźliśmy żadnych. Niechciane roboty indeksujące mogą zająć cenną przepustowość, która w najlepszym przypadku może być potrzebna innym odwiedzającym, aw najgorszym przypadku może kosztować Cię pieniądze. Niechciane roboty indeksujące mogą również wpływać na raporty Google Analytics, powodując nieprawidłowe przypisywanie ruchu i niedokładne statystyki."

 

Czy blokujecie jakoś crawlery AI, chatgpt itp? Jeśli tak to dlaczego i jak to można zrobić? Rzeczywiście nie chciałbym żeby moje treści służyły jako "pożywka" dla chatGPT itp. ale czy jest sens i sposób żeby to blokować?

 

Odnośnik do komentarza
Udostępnij na innych stronach

Można blokować po user agent, po IP. Można też blokować delikwenta na jakiś czas jeśli zauważysz, że zbyt szybko biega po stronie.

  • Like 1
Odnośnik do komentarza
Udostępnij na innych stronach

Godzinę temu, Tomasz11 napisał:

Rzeczywiście nie chciałbym żeby moje treści służyły jako "pożywka" dla ChatGPT

Przede wszystkim spóźniłeś się dwa lata, bo rzeczony ChatGPT NIE ma dostępu do internetu ?

AI Binga oparte też na tej technologi owszem ma dostęp, ale bing podaje źródła, wiec nie widzę sensu blokowania binga.

  • Like 1

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności