Lista serwerów Proxy format - ip:port

[Hirek]

noo, trochę Ci zajełło

Biorąc pod uwagę, że sprawdziłem 29 tyś adresów IP + te które mam w bazie z innych źródeł i że sprawdzenia dokonałem 3000 razy to nie wydaje mi się, żeby to było długo. Sprawdzenie całej (pełnej) listy jeden raz zajmuje 30 min.

Zrobiłem w bazie tabelkę bad_query i tam liczę ile razy dany adres nie odpowiedział na żądanie z rzędu. Tak więc jeśli jakiś adres IP nie odpowiadał 3000 razy z rzędu to zostaje na mojej liście dożywotnio zbanowany.

Oczywiście będzie dalej w bazie ale nie będzie już odpytywany.

I program do ich obróbki

Program do obróbki mi jest raczej nie potrzebny. Napisałem własne rozwiązanie z którego jestem naprawdę zadowolony. Pingi nie odzwierciedlają tego czy dany serwer jest aktywny czy też nie. Co z tego proxy, że jest włączony jak ma wyłączony apache? Wiele serwerów ma też wyłączoną lub przyciętą komunikację ICMP i na pingi nie odpowiada, a mimo tego na portach 80 i innych, które mam w bazie da się wycztać przez takie proxy stronę.

Dlatego testestowo wczytuję specjalną stronę testową przez dany serwer proxy przy pomocy curl i jeśli strona się wczyta uznaję serwer za aktywny.

W ten sposób wiem mniej więcej z 90% prawdopodobieństem , że przy wywołaniu danego proxy strona mi się wczyta w przyszłości w innym skrypcie. Pingowanie wogóle nie ma sensu. Jak pingowałem to co 300 - setny adres działał, a reszta zapytań marnowała czas serwera .Teraz mam mniejszą listę ale dziajającą.

Po tym jak wykluczyłem sobie serwery, które i tak od 2 miesięcy nie podniosły się z OF to sprawdzam całą listę w 15 sek.

Dopisałem też w bazie tabelkę active_time . W tabeli tej trzymam dane ile dany adres jest w sieci na tle całego czasu sprawdzeń. Dzieki temu wiem, że dany serwer 95% czasu jest zawsze online.

Sam skrypt testujący , który napisałem bierze pod uwagę wiele anomali, które w praktyce się zdarzają. Są serwery, które zmieniają kontekst, są też serwery przez które strony wczytują się do połowy.

Nie muszę chyba tłumaczyć , że przy monitoringu pozcyji wczytanie do połowy strony i obliczenie pozcyji będzie dawać błędne wyniki.

2 miesiące pisałem algorytmy, ktore wychywcą te różne anomalia.

Dajcie więcej adresów . bo serwer się nudzi.

[Mion]

. Co z tego proxy, że jest włączony jak ma wyłączony apache? Wiele serwerów ma też wyłączoną lub przyciętą komunikację ICMP i na pingi nie odpowiada

Moj program działa na całkiem innej zasadzie i do tego sprawdza czy dane proxy nie ma bana w google "czyli to co tygrysy lubią najbardziej"

[Hirek]

Nie ważne jak działa. Liczy się efekt . A wiadomo, że potrzeba jest każdemu z nas lista proxy, która zawsze działa.

Potrzeba mi dobrej listy proxy z polską geolokalizacją Ip .

Ah zrobiłem kolejne zmiany w algorytmie. Rozprawiam się z adresami , które są w bazie sklasyfikowane jako serwery proxy ale na domyślnych portach nie odpowiedziały ani razu. Odpytuje je dodatkowo na domyślnych protach proxy co jakiś czas. Jeśli dany adres odpowie zmieniam mu domyślny prot. Dzięki tej korekcie nałapałem 130 nowych aktywnych IP.

[Hirek]

Niestety ale żeby znaleźć chociaż 100 aktywnych serwerów proxy z geolokalizacją Pl trzeba cudu. Egipt wypada lepiej niż my na tym tle .