Jak zbanować system wyszukiwarki?

[Eman]

Jak zbanować system wyszukiwarki?

Pytanie jest paranoiczne, ale oczekuję ekstremalnych sugestii i projektów realizacji.

Przez zbanowanie systemu wyszukiwarki rozumiem ochronę witryny internetowej lub jej fragmentu (często są to konkretne stronice) przeciwdziałającą penetracji i szpiegostwu systemu wyszukiwarki. Intruzem są wszystkie rodzaje robotów systemu wyszukiwarki oraz czynnik ludzki działający w jej strukturach przykładowo team quality.

Do potrzeb banowania systemu wyszukiwarki wyróżniam cztery rodzaje projektów witryn internetowych:

1. Witryny ultra sekret które nie będą podawane do indeksowania i pozycjonowane w systemach wyszukiwawczych. Do witryn tych nie będą kierowały żadne łącza adresowe umieszczane w innych witrynach internetowych. Najlepiej byłoby gdyby nikt poza wtajemniczonymi uczestnikami projektu nie wiedział o istnieniu tej witryny. Nie można jednak zagwarantować nie zamierzonego ujawnienia adresu (inwigilacja elektroniczna działa).
   
2. Witryny internetowy w których jest wydzielony fragment który będzie indeksowany i pozycjonowany i fragment ultra sekret zabezpieczony przeciw penetracji systemów wyszukiwarek. Do zabezpieczonego fragmentu witryny nie będą kierowały żadne łącza adresowe umieszczane w innych witrynach internetowych. Najlepiej byłoby gdyby nikt poza wtajemniczonymi uczestnikami projektu nie wiedział o istnieniu tego fragmentu witryny. Nie można jednak zagwarantować nie zamierzonego ujawnienia adresu (inwigilacja elektroniczna działa).
   
3. Witryny sekret które nie będą podawane do indeksowania i pozycjonowane w systemach wyszukiwawczych. Do witryn tych będą kierowały łącza adresowe umieszczane w innych witrynach internetowych. Łącza te mogą być osadzeniem linkowanego pliku obrazu, ekspozycją obiektu w ramce, odsyłaczem tekstowym lub odsyłaczem graficznym
   
4. Witryny internetowy w których jest wydzielony fragment który będzie indeksowany i pozycjonowany i fragment sekret zabezpieczony przeciw penetracji systemów wyszukiwarek. Do zabezpieczonego fragmentu witryny będą kierowały łącza adresowe umieszczane w innych witrynach internetowych. Łącza te mogą być osadzeniem linkowanego pliku obrazu, ekspozycją obiektu w ramce, odsyłaczem tekstowym lub odsyłaczem graficznym.
   

W przypadku projektów witryn internetowych 1 i 2 wykorzystuję cloaking sterowany kodem autoryzacji. Jeżeli w adresie jest jako parametr podany kod autoryzacji to eksponowana jest treść jaką potrzebują uczestnicy projektu. Adres bez kodu autoryzacji zwraca treść przeznaczoną nie autoryzowanym wizytom. Prosty kod PHP rejestrujący dane nie autoryzowanych wizyt zarejestrował wielokrotne wizyty robotów co skutkuje wywnioskowaniem, iż roboty wyszukiwarek penetrują różnymi metodami witryny nie tylko podążając za łączami adresów.

Z przyczyny inwigilacji elektronicznej nie można też zagwarantować przejęcia adresu z kodem autoryzacji który końcowym rezultatem trafi do systemu wyszukiwarki.

Przeglądarki internetowe też szpiegują wysyłając informacje swoim wydawcom.

Wtajemniczeni uczestnicy projektu nie korzystają ze stałych adresów IP więc nie mogę zrealizować dyskryminacji wykorzystującej adres IP. Autoryzacja poprzez formularz login i hasło nie jest do zrealizowania, autoryzacja musi być parametrem adresu.

W przypadku projektów witryn internetowych 3 i 4 doświadczalnie sprawdzono iż robot systemów wyszukiwarek adres każdego rodzaju łącza kierującego do zabezpieczonego fragmentu witryny odczyta i będzie penetrował odczytany adres. Ponadto roboty analizując treść tekstowa rozpoznają w tekście adresy egzample.pl które nie są obudowane kodem czyniącym je łączami i też penetrują odczytany adres.

W projektach 3 i 4 interesuje mnie aby wybrane fragmenty sekretne witryny wizytował tylko human trafik korzystając z odsyłaczy w innych witrynach internetowych ale nie penetrował ich system wyszukiwarki w tym jej czynnik ludzki.

Logiczne iż muszę ograniczyć autoryzację ruchu umożliwiając ruch wizyty statystycznemu internaucie korzystającemu z odsyłaczy i potrzebuję skutecznej zapory filtrującej ruch przeciwdziałającej penetracjom systemu wyszukiwarki.

W projektach 3 i 4 poza penetracjami systemu wyszukiwarek których doświadczyłem w projektach 1 i 2 jest problem podążania systemu wyszukiwarki do zabezpieczonego fragmentu tą sama drogą która będą podążali oczekiwani internauci.

W projektach 3 i 4 umieszczenie w adresie odsyłacza w innych witrynach internetowych kodu autoryzacji lub kontrolowanie referencji odesłania jest mało sensowne bo roboty wyszukiwarki też z tego skorzystają

W przypadku projektu 2 i 4 ważnym jest aby banowanie systemu wyszukiwarki w sekretnym fragmencie witryny nie depozycjonowało pozycjonowanego fragmentu witryny.

Osobiście uznaję że tworzenie witryny fortecy która będzie banowała ruch z systemu wyszukiwarek może być przyczyna penetracji siłowej. Lepszą techniką będzie cloaking kierujący ruch systemów wyszukiwawczych do jawnej treści.

W przypadku robotów wyszukiwarek cloaking mógłby wykorzystywać pule adresów IP robotów ale z komentarzy w Internecie wynika że roboty wcale się nie identyfikują UA robota i nie działają z adresów IP przypisanych właścicielowi systemu wyszukiwarki.

Przykładowo roboty Google nie zawsze się identyfikowały jako roboty Google i łączyły z puli adresów IP przydzielonej Google. To jest tak jakby główny operator systemu wyszukiwarki korzystał ze współpracy podwykonawców. W przypadku czynnika ludzkiego działającego w systemie wyszukiwarki jeszcze trudniej jest skonstruować skuteczna zaporę.

Wszelkie sugestie i propozycje są oczekiwane zauważę tylko iż wpisy w pliku .htaccess są interesujące, ale możliwości wykorzystania są ograniczone.

Najbardziej interesują mnie implementacje PHP które można wpisać do kodu konkretnego jednego dokumentu.

[Mion]

ale oczekuję ekstremalnych sugestii i projektów realizacji.

DO oczekiwań jest dział ZLECENIA ...

[WebReklama]

Zrób stronę, autoryzacje po HTTP i spokój. Jak ktoś nie zna loginu i hasła to strony nie zobaczy. Ot po problemie.

Ewentualnie postaw ją w sieci lokalnej bez dostępu do internetu Albo nawet na domenie .onion - choć będzie dostępna tylko z sieci TOR i pewnie będzie chodzić mega-wolno to żaden normalny użytkownik internetu się do niej nie dostanie.