APi_proxy setki proxy dziennie prawie za darmo :)

[Paweł Sokołowski - Eline]

Wlasnie robie to samo co Blake:

UPDATE `src_proxy` SET `czestotliwosc`=12 WHERE `czestotliwosc`=3

Tez mam za duzo zrodel i niektore nawet nie dotkniete ...

[lament]

221 zł to w mojej opinii lekka przesada. Wg mnie szkoda $. Korzystałem z wielu płatnych checkerów proxy i na dzień dzisiejszy pozostałem przy darmowym Gather Proxy, w którym sami mamy możliwość zdefiniowania sprawdzenia poprawności działania w dowolnej wyszukiwarce. Max ciągle trąbi, że szkoda sobie xxxx zawracać harvestem w Google (w szczególności w oparciu o publiczne proxy), to i tak każdy brnie ten temat. Bany proxy w Google na tyle zostały nasilone, że tworzenie kolejnego takiego narzędzia mija się z celem. Sytuacja w tek kwestii na pewno się nie polepszy i trzeba mieć świadomość, że będzie tylko gorzej.

[Paweł Sokołowski - Eline]

@lament - ty myslisz o harvescie, my o sprawdzaniu parametrow, pozycji, pr, etc

Potrzebujemy proxy pod webmonitory, stat4seo, itd ...

[początkujący]

Miałem ustawione co 3, więc może to było tak, że nie zdążył pobrać ze wszystkich i zaczynał od nowa po 3 godzinach, zmieniłem teraz na 12, zobaczę co się będzie działo i napiszę.

Powinno Ci już poprawnie działać. Przy dużych listach optymalne jest ustawienie pobierania co 12h.

Coś jest nie tak z usuwaniem źródeł, chciałem usunąć te z których nic nie pobiera a już je sprawdzało, zaznacza i dostaję komunikat, że nic nie zaznaczyłem jak chce usuwać.

Też o tym gadałem z Adamem, zatem problem jest znany. W przyszłości system ma sam usuwać śmieci . Tymczasem szybciej i wygodniej pogrzebać bezpośrednio w bazie i usuwać bez "pośrednictwa" programu.

[blake]

Póki co pobrało poprawnie ze wszystkich źródeł, w bazie będę musiał pogrzebać żeby usunąć niepotrzebne urle, bo jednak mieli trochę serwerem.

[blake]

Kiedy można spodziewać się poprawek? Czyli conajmniej ręcznego usuwania źródeł z których nic nie pobrał a jak by się dało to automatycznego, wtedy byłoby już cacy, no i jakiegoś lepszego sprawdzania tych prosiaków, bo tak na prawdę 2/3 z tych co są w api nie działa.

[Xemix]

Mam też wrażenie, że coś nie gra z weryfikacją proxy w MajesticSEO. Jeszcze parę dni temu działających było kilkaset proxy, a od jakiegoś czasu liczba ta wynosi np. 6 (do 10 max.), a więc wydaje mi się, że nie jest to możliwe (zwłaszcza, że z API korzysta również WEBMonitor i wskazuje więcej dobrych proxy w MajesticSEO).

[mlody0072]

Kiedy można spodziewać się poprawek? Czyli conajmniej ręcznego usuwania źródeł z których nic nie pobrał a jak by się dało to automatycznego, wtedy byłoby już cacy,

Dokładnego terminu nie napiszę bo musi się to u mnie wszystko przetestować i dopiero.

no i jakiegoś lepszego sprawdzania tych prosiaków, bo tak na prawdę 2/3 z tych co są w api nie działa.

Tutaj nie jest to wina sprawdzania tylko jest spowodowane słabą jakością prosiaków co ile sprawdzasz ponownie działające proxy ?

Mam też wrażenie, że coś nie gra z weryfikacją proxy w MajesticSEO. Jeszcze parę dni temu działających było kilkaset proxy, a od jakiegoś czasu liczba ta wynosi np. 6 (do 10 max.)

Ile na minutę sprawdzasz proxy ? Miałem taki przypadek u siebie, że jakby łącza brakowało na serwerze i aplikacja definiowała proxy jako nie działające i było to spowodowane mocnym obciążeniem łącza na serwerze.

[blake]

co ile sprawdzasz ponownie działające proxy ?

30

Wrzuciłem kolejne źródła z czasem pobierania co 24h, ale od 2 dni nie pobrał mi z nich nic, te 12 pobrał wcześniej, ale może nie starcza mu już czasu na pobranie kolejnych a nie mam jak usunąć tych z których nie pobiera, przydałaby się przynajmniej szybka aktualizacja tego buga z usuwaniem zaznaczonych źródeł.

[Xemix]

Ile na minutę sprawdzasz proxy ?

2000, zmieniłem na 1000 i sprawdzę czy coś się zmieni.

#edit: to nie to, zmniejszyłem ilość i dalej nic się nie dzieje, a proxy Google i HTTP200 są poprawnie sprawdzane.

[Paweł Sokołowski - Eline]

Pokazuje wam w statystykach "Źródła do pobrania:"?

[Xemix]

Pokazuje wam w statystykach "Źródła do pobrania:"?

Nie.

Soft a konkretnie pobieranie proxy z źródeł zacina się po wklejeniu większej ilości źródeł, więc konieczna tu jest szybka poprawka.

[Paweł Sokołowski - Eline]

To to samo co u mnie Nabral 300k proxy i teraz sie kreci w kolko, sprawdzajace te ktore ma

Ale zanimi to nastapilo dzialal super

[mlody0072]

Prace nad auto usuwaniem proxy trwają, tak samo jak z usuwaniem źródeł zostanie wyświetlona lista ze źródłami które skrypt uważa za bezwartościowe lub będzie można ustawił aby sam decydował o wszystkim i automatycznie usuwał.

[blake]

Autousuwanie byloby dobre, bo raz na tydzien zescrapuje sie zrodla i wrzuci byle co, niech odsiewa sam co dobre a co nie, wtedy myślę, że spokojnie 1k działających prosiaków będzie można wyciągnąć.