APi_proxy setki proxy dziennie prawie za darmo :)

[Darek1970]

Garść uwag po tygodniowym testowaniu softu (dzięki dla autora za udostępnienie do testowania "po terminie").

Soft był testowany na VPS z bizneshostu (ten za 79 PLN z DA) i miał całego VPSa tylko dla siebie.

Na pierwszy rzut dostał sharwestowanych ok. 1,5 tys źródeł. Harwest był bez żadnego cudowania, podstawowy footprint, w źródłach znalazło się również mnóstwo śmieci, bez związku z źródłami proxy.

Proxy było sprawdzane tylko dla google i HTTP200, ustawione po 3 tys. sprawdzeń na minutę.

Testowe podniesienie tych wartości na kilka godzin do 20 tys./minutę spowolniło skrypt, ale nie zarżneło VPSa

Przeciętnie otrzymywałem ok. 100-250 działających dla google, z czego po 5-ciokrotnym sprawdzeniu przy pomocy PSM od Miona zostawała 1/3.

Po 3 dniach postanowiłem sprawdzić jak skrypt poradzi sobie z większą ilością prosiaków do sprawdzenia, więc dostał kilka list z proxy po 200 tys w każdej liście - w sumie około 2,5 mln proxy + kilka niezłych źródeł.

Skrypt nie dostał czkawki (pomimo obaw autora ), zwolnił trochę i wziął sie wreszcie porządnie do roboty. Oto efekty:

Okno główne:

Proxy oznaczone jako dobre dla google, po 5-ciokrotnym sprawdzeniu przy pomocy PSM od Miona.

Przy dobrych źródłach nie stanowi problemu uzyskanie kilkuset proxy pod google.

Nawet przy znacznym obciążeniu skrypt chodzi płynnie i sprawnie oddziela ziarno od plew

W testach doprowadziłem bazę do wielkości około 180MB, nie spowodowało to czkawki VPSa, choć warto byłoby sprawdzić, co dzieje się przy wielkości rzędu ok. 700-900 MB

Sugestie odnośnie rozwoju:

1. bardzo brakowało mi okna do wprowadzenia gotowych list proxy, na zasadzie kopiuj-wklej;

2. należałoby zoptymalizować algorytm pobierania źródeł - z tych półtora tysiąca źródeł, o których pisałem, kilkaset było nietkniętych po 6 dniach; również przydałoby się ustawianie priorytetów dla źródeł;

3. może warto byłoby rozważyć również możliwość testowania proxy pod innymi kątami, np. anonimowość, lista stopspamforum itd.

4. może warto byłoby wprowadzić możliwość harvestowania proxy przy pomocy zadania footprintów i parametrów czasowych oraz wyszukiwarki.

Soft spełnia, moim zdaniem, swoje zadanie bardzo dobrze. Podczas tygodniowego użytkowania nie sprawiał problemów oraz nie powodował problemów na VPSie.

[blake]

Panowie jest jakiś problem, prawdopodobnie i ze sprawdzaczem tych proxy pod google w tym sofcie jak i w sofcie Miona. Sprawa wygląda tak:

API wyrzuca mi ponad 700 prosiaków działających, sprawdzanych co 15 min, soft Miona sprawdza i oznacza jako działające prawie wszystkie (kilka sztuk tylko odrzuca), ale później przy próbie harvestu na tych prosiakach USM wymienia je cały czas jako nie działające.

Wrzuciłem je do gGscrapera żeby sprawdził - zostawił tylko 2 działające...

G znowu coś namieszało z prosiakami?

[Darek1970]

Mion już wprowadził poprawkę i z dobrych 1000 proxy wg API_proxy zrobiło się 30 naprawdę działających proxy

Trzeba poprawki i temu softowi

[blake]

No, ale problem w tym, że pobrałem najnowszą wersję USM i dalej sprawdza wszystko na OK

[Mion]

No, ale problem w tym, że pobrałem najnowszą wersję USM i dalej sprawdza wszystko na OK

Tego ProxyMaster 1.8.8 nie ma jeszcze w paczce ZIP USM, ale jest osobno do ściągnięcia

[mlody0072]

Garść uwag po tygodniowym testowaniu softu (dzięki dla autora za udostępnienie do testowania "po terminie").

Dzięki za testy i opinię

Sugestie odnośnie rozwoju:

1. bardzo brakowało mi okna do wprowadzenia gotowych list proxy, na zasadzie kopiuj-wklej;

2. należałoby zoptymalizować algorytm pobierania źródeł - z tych półtora tysiąca źródeł, o których pisałem, kilkaset było nietkniętych po 6 dniach; również przydałoby się ustawianie priorytetów dla źródeł;

3. może warto byłoby rozważyć również możliwość testowania proxy pod innymi kątami, np. anonimowość, lista stopspamforum itd.

4. może warto byłoby wprowadzić możliwość harvestowania proxy przy pomocy zadania footprintów i parametrów czasowych oraz wyszukiwarki.

Prace trwają i możecie się spodziewać i niebawem nowej wersji

Dodam także możliwość dodawania USERAGENT i losowania fraz z bazy danych.

Zejdzie mi się pewnie trochę dłużej bo ostatnio miałem sporo roboty z obsługą klientów i się nie wyrobiłem ze wszystkim. Jeśli ktoś chce już poprawione pliki do sprawdzania proxy to można je pobrać ze adresu wm.piersa.pl/download/api_proxy_cron_google_ssl.zip

[blake]

Jeśli ktoś chce już poprawione pliki

Ja chciałem, pobrałem i skrypt stanął w miejscu, sprawdza z prędkością 0 na godzinę

[mlody0072]

Proszę pobrać jeszcze było zapytanie do bazy której nie macie nowe pliki są pod tą samą lokalizacją

Poprawione pliki cron do pobrania z lokalizacji mam nadzieje że teraz będzie już latać jak trzeba u siebie mam ponad 1K proxy dobrych na tych plikach

https://wm.piersa.pl/download/api_proxy_crony_google.zip

[blake]

Niestety lipa jest straszna, znowu się wysypał i nic nie sprawdza, jedyne co to przyrasta mu źródeł do pobrania.

[mlody0072]

Odezwij sie na maila i podaj wiecej danych co nie dziala bo jest wiele przyczyn bo u mnie lata dobrze i nie ma lipy

[blake]

Poszedł mail

[mlody0072]

Poprawiłem sprawdzanie Google i Majesticseo już działa jak powinno (http200) nie naprawiam bo będzie zastąpione czymś innym

Link do pobrania nowych cronów https://wm.piersa.pl/...rony_google.zip

W sobotę mocnym wieczorem możecie się spodziewać aktualizacji lub niedziela południe. (zostane rozesłane mailiowo)

Także proszę o jeszcze o chwile cierpliwości

[mlody0072]

Trochę się nie odzywałem ale jako że ze mnie porządny człowiek to wiadomo

Działałem z programem jest poprawiony już harvester proxy ze stron, około 70 wątków (czyli pobiera z 70 stron proxy jednocześnie) (ilość wątków można ustawić indywidualnie) (serwera jak na razie nie zarzyna). Dodałem także wyświetlanie czasu ostatniego wywołania harvestera aby było wiadomo jak długo się skrypt kręci.

W bazie mam obecnie 2mln proxy zajmują jakieś 140MB + ponad 100K źródeł wrzucone na tak zwanego "jana" aby było coś pobiera w szczytowych momentach mam ponad 1K proxy działajacych. Statystyku przy takiej ilośći wczytują się już około 6 sekund (i tak nieźle) obecnie nie są kasowane proxy z bazy ale będą. Jeszcze jest troche rzeczy do dorobienia ale najważniejsze jest zrobione.

Po niedzieli dostaniecie maila z aplikacją do pobrania. Także pamiętam o Was

[mlody0072]

Dokończyłem aktualizację to znaczy wersję v2 programu

Zostało dodane:

1. Pakiety API możemy ustawić rotację proxy w pakiecie,
   
2. Czas rotacji oraz ilość proxy w pakiecie,
   
3. Test HTTP poprawiony
   
4. Test anonimowości proxy,
   
5. Statystyki proxy (taki wykres na stronie startowej),
   
6. Możliwość dodawania proxy przez kopiuj - > wklej do systemu,
   
7. Pobieranie źródeł z dokładnościa co do minuty,
   
8. Priorytet proxy im więcej proxy działających na danym źródle ma pierwszeństwo,
   
9. Obniżenie obciążenia przy sprawdzaniu proxy,
   
10. Pobieranie danych ze źródeł możliwość ustawienia timeout oraz ilość jednoczesnych wątków,
    
11. I trochę innych ustawień
    

Instrukcję obsługi postaram się dodać w najbliższym czasie.

[mlody0072]

Promocja Świąteczna na wszystkie moje programy.

30% taniej każda aplikacja.

Aplikację można kupić przez sklep na stronie https://sklep.piersa.pl/ ceny promocyjne widoczne sa dopiero po dodaniu towaru do koszyka.

Dodaktowo do każdej zakupionej licencji WEBmonitor, miniSWL dodaję pakiet 10 proxy wykonujących zapytania do google z API rotacja wszystkich proxy co 6 godzin.