Program/narzędzie pająk szukający linków

[Mion]

Od strony technicznej nie jest to skomplikowane, ale niestety gorzej od strony etycznej.... Dlaczego - dla tego, że program dla wydajnego działaniu musiał by być wielowątkowy wiec wykonywał by setki żądań HTTP na minutę dla jednego skanowanego adresu zasysając dane jak odkurzacz. Do tego gdyby był publiczny ilość userów skanująca serwisy w poszukiwaniu zaakceptowanych wpisów linków mogła by sięgać setek, a nawet tysięcy co w konsekwencji najprawdopodobniej spowodowało by:

- znaczne zużycie transferu przekraczające przydziały na kontach hostingowych właścicielom katalogów, precli itd;

- zużycie przydzielonych zasobów serwera przypominające ataki DoS;

IMHO to niestety wygląda

[zoreander]

Warto wspomnieć że w praktyce jak kilku , kilkudziesięciu ludzi będzie przeczesywać listę katalogów w poszukiwaniu jakiegoś tam swojego linka to będzie się to kończyło błędami 500, 503 i tyle będzie z tego przeczesywania. I teraz powinno się zapalić światełko w główce. Tak, jak strona nie będzie działać to nie znajdziesz też linka który tam powinien być. Więc bez urazy ale sam pomysł jest do D.

[Mion]

Innymi słowy udostępniając Wam taki program ktoś by Wam wyświadczył niedźwiedzią przysługę

[zakręcony]

To nie pomysł jest do D, chyba, że się nie wie co z taką listą z programu mozna zrobić. Do D jak juz, to są ewentualne skutki działania takiego programu jeżeli nie zrobi się go z głową, ale to juz temat dla programisty.

[Mion]

To nie głowa programisty stanowi problem, ale zasada działania której nie da się obejść

Nałożone znacznego ograniczenia w ilości żądań na minutę też nie rozwiązaniem, bo czyni taki skaner mało wydajnym narzędziem.

----

Blisko powiązanym przykładem są narzekania userów - Wasze narzekania w dziale roboty w stylu "ostatnio wlazł mi jakiś bot na serwis i ciągnie transfer i zużywa zasoby - jak się go pozbyć","Nie potrafię pozbyć się robota" ,"GoogleBot zeżarł 5GB transferu w jedną noc!". To Wam powinno nieco przybliżyć istotę zagadnienia.

[zakręcony]

Czy to mało wydajne narzedzie przy nałożonych ograniczeniach będzie wydajniejszym narzędziem niż człowiek? Nie pytam o sprawdzenie na jednej czy 10 stronach linków do 2 czy 5 innych stron, a o sprawdzeniu na 2k stron pojawienia się linków z 100 stron

[Mion]

@a o sprawdzeniu na 2k stron pojawienia się linków z 100 stron

No właśnie o tym mowa "na 2k" ...

[zakręcony]

Wiem że problem jest z tymi 2k, a nie 100 Pytałem, czy przy nałożonych ograniczeniach (to, o co na PW pytałem) to będzie to mało wydajne narzędzie w porównaniu z człowiekiem?

[Mion]

Jak chodzi o zużyty transfer to nie ma różnicy dla właściciela serwisu zwanego dalej pokrzywdzonym czy zostanie pobrane te 2K stron w ciągu 1 minuty czy 1 godziny, bo będzie taki sam.

Kończąc dodam, że przedmiotowy program ma rację bytu dla nielicznego grona userów jego masowe używanie spowodowało by naprawę dużoooooo flustracji

[zakręcony]

Zostawmy na chwilę pokrzywdzonego, będzie to wydajne rozwiązanie z tymi ograniczeniami czy nie?

[Maximus Marius]

Ci co maja troche w glowie i byli by w stanie napisac nie robią tego

I raczej chwala im za to

[Mion]

Wydajniejszy - TAK, ale nadal nie czyni to taki program przyjaznym dla wydawców serwisów www.

Zupełnie inaczej sprawa wyglądała by gdyby wydawcy serwisów czyli my, wy, oni zastosowali specjalnie przygotowane API innymi słowy zainstalowali skrypt który na żądanie HTTP w którym jako parametr był by przesyłany adres serwisu jakiego linkowaliśmy i skrypt zwracał by stosowną strukturę XML z adresem gdzie jest link, lub informacja o jego braku. Takie rozwiązanie idzie napisać i zastosować praktycznie dla wszystkich katalogów, precli opartych na bazie danych które emitują link na jednej podstronie. Dzięki temu wszyscy zyskują, a nikt nie traci jak w wypadku stosowania skanerów linków.

W wypadku akceptacji mojej koncepcji i jestem otwarty na współpracę i napisanie programu o funkcji skanera

Pozdrawiam ...