Rozpoznanie robotów sieciowych

[M@k]

Witam

 

Wiele stron widzę wyświetla co innego dla użytkowników, a co innego dla robotów sieciowych. Np. klienci kupili to i to,

podobne przedmioty, rożne informacje itd.

 

I tak się zastanawiam jak to można zrobić bo tak, z tego co testowałem to robot google czyta chyba już prawie wszystko.

Cookie, javascript itd

 

I nie wiem jak oni serfują dodatkowe informacje których roboty nie widzą. Raczej bał bym się wyświetlać dla konkretnego user agenta, bo to lekko pod cloaking podpada.

 

Macie jakieś pomysły jak to może być rozwiązane.

 

Dzięki.

 

[Mion]

Macie jakieś pomysły jak to może być rozwiązane.

TAK:

- IP

- UserAgent

- Cookies dl kolejnych żądań HTTP

 

...

 

[M@k]

Dzięki za odpowiedz.

 

Tylko tak:

 

IP - co to znaczy musiałbym mieć wszystkie IP np Google, czy binga?

UserAgent - czy Google tego nie zabrania ukrywania przed nim specjalnie

​Cookies - ale jak zrobić przy pierwszym wejściu

 

 

 

[Mion]

UserAgent - czy [...]

Poczytaj o mechanizmach żądania HTTP, które stanową podstawę działania "robota sieciowego". Bo jak widać z w/w, nie masz o tym zielonego pojąca.

[M@k]

Bardzo będę wdzięczny chociaż za jakiegoś linka Bo temat jest dość obszerny. Lub jakąś wskazówkę  

[Mion]

IP - co to znaczy musiałbym mieć wszystkie IP np Google, czy binga?

Jeśli chcesz rozpoznać klienta wykonujacego żadanie HTTP po IP musisz mieć listę jego IP;

 

 

UserAgent - czy Google tego nie zabrania ukrywania przed nim specjalnie

To klient powinien się przedstawiać konkretnym UserAgentem, wiec nie masz na to wpływu / nie dotyczy.

 

Cookies - ale jak zrobić przy pierwszym wejściu

Też nie masz na to wpływu gdyż w uproszczeniu cookie zapisywane jest po stronie klienta, a nie serwera / nie dotyczy.

 

Jak widzisz wiesz, że nic na ten temat nie wiesz

 

===

Klient w tym wypadku = Robot sieciowy np GoogleBot

Serwer = Twoja stron www jakiej, to ma tyczyć;

[M@k]

Raczej to co napisałeś to każdy wie, nowości to tu nie ma..

 

A to kompletnie nie jest odpowiedz na moje pytanie.

 

Moje pytanie brzmiało, jak w bezpieczny sposób wyświetlić  dodatkowe np. boksy tylko dla normalnych użytkowników, a nie dla robotów sieciowych.

 

 

IP i UserAgent  Google może zmienić w każdej chwili i Google może stwierdzić ze tu coś nie halo.

Coookie nadaje się tylko dla użytkownika który jest np. zalogowany lub wejdzie na kolejna podstronę.

Przy pierwszym wejściu odpada. 

[Mion]

Raczej to co napisałeś to każdy wie, nowości to tu nie ma..

No popatrz.. jednak po tym co napisałeś Ty się do niech nie zaliczasz.

 

A to kompletnie nie jest odpowiedz na moje pytanie. Moje pytanie brzmiało, jak w bezpieczny sposób wyświetlić dodatkowe np. boksy tylko dla normalnych użytkowników, a nie dla robotów sieciowych.

Też udzieliłem Ci na to pełnej odpowiedzi.

[M@k]

Też udzieliłem Ci na to pełnej odpowiedzi.

 

W którym miejscu?

 

IP i UserAgent  Google może zmienić w każdej chwili i Google może stwierdzić ze tu coś nie halo.

Coookie nadaje się tylko dla użytkownika który jest np. zalogowany lub wejdzie na kolejna podstronę.

Przy pierwszym wejściu odpada. 

[kayman]

Moje pytanie brzmiało, jak w bezpieczny sposób wyświetlić  dodatkowe np. boksy tylko dla normalnych użytkowników, a nie dla robotów sieciowych.

 

ajax po załadowaniu strony wystarczy

 

z tego co testowałem to robot google czyta chyba już prawie wszystko.

 

ale nie musisz go wpuści do zasobów pobieranych ajaxem, blokujesz np przez referrer,sesję,token etc.

[M@k]

Dzięki Myślę że najlepsza będzie sesja.

 

Bo z tego co testowałem cześć ludzi ma zablokowany referer.

A cookie Google czyta.

 

Pozdrawiam