Pobieranie strony wget, HTTrack

[pawelut]

Mam problem z pobraniem strony https://www. rankinglekarzy .pl - chodzi mi o baze mailowa

Probowalem wgetem i HTTrack oba sposoby "wykrzaczaja" sie na zbieraniu linkow do podstron z lekarzami.

W kodzie strony nie widze nic szczegolnego. Zastanawiamsie jak to zostalo zabiezpieczone.

[Maximus Marius]

Nie jestem pewien czy wyżej wymienione programy używają sesji i referer. A wlasnie w ten sposób czasami niektórzy zabezpieczają swoje strony , oczywiście kawałek kodu PHP i można poprać wszystko co się zamarzy (75minut)

[Syhro]

Odpal http headers i jazda Na NK na przykład zwracało mi 403 o ile pamiętam, póki User Agenta nie wstawiłem

[radek]

np. Mod security i mod limit na apache. Wtedy takie trackery będą siadać. I dobrze.

[Maximus Marius]

oj trochę powątpiewam czy można w jakiś sensowny zabezpieczyć stronę, jak ktoś chce to znajdzie metode.

bo jak strona jest zabezpieczona to może cache jest w google,

limity można przeczekać , zmieniać IP , w sumie ciężko też sprawdzić czy to człowiek czy robot

[radek]

oj trochę powątpiewam czy można w jakiś sensowny zabezpieczyć stronę, jak ktoś chce to znajdzie metode.

Zgadzam się, ale takie mody są pisane jako odpowiedź na trackery, to trochę jak z programami antywirusowymi. Jeżeli nie masz własnych rozwiązań to będziesz miał pod górkę. Ja testowałem te mody pod Apache i działają bardzo dobrze. A takie trackery to potrafią przybić procek, pamięć i zjeść transfer. Jak puścisz na raz kilka takich trackerów to prawie jak DOS atak.

EDITED:

A jak tracker "oszukuje" i udaje człowieka - to niech ciągnie - bo nie zabije maszyny, tak, jak zwykły user. Więc wszystko jest ok.

[Maximus Marius]

Trzeba przyznać że ktoś troszkę sie przyłożył , każdy program pobierał by tą stronę w nieskończoność I nie pobrał by nic