[startup] ProxyMarket.pl - szybkie proxy

[x1349]

Harvestowanie na publicznych działa b. dobrze

 

Nie działa b.dobrze i to od dłuższego czasu. Popatrz ile proxy ma proxymarket czy proxylive - z 1500-2000 wszyscy spadli na xx-1xx. Bardzo dobrze działało jak na proxy z Ameryki Południowej (każda zorientowana w temacie osoba wie o co chodzi) można było wyciągnąć w SB 100k+ linków na minutę.

 

wykorzystanymi operatorami wyszukiwania.

 

Aktualnie wystarczy że zapytanie jest długie i google łatwiej pokazuje captcha. Inny lpm można dostać na zapytaniach składających się z jednego wyrazu, inny na zapytaniach składajacych się z X wyrazów. Poza tym już od dawna zapytania z operatorami nie mają sensu. Szybciej i więcej można zharvestować bez operatorów.

[Mion]

Szybciej i więcej można zharvestować bez operatorów.

Zawsze byłem zwolennikiem takiego podejścia, ale nie zawsze się sprawdza.

 

--- Na potrzeby chwili ---

 

Długość zapytania nie ma IMHO znaczenie. Znaczenie ma samo znacznie zapytanie. Np Power BY Joomla może być cięzkie

 

Edytowane 15 Marca 2016 przez Mion

[Oxan_20]

Szybciej i więcej można zharvestować bez operatorów.

 

No właśnie jak się wymiesza footprinty bez operatów oraz z operatorami i do tego rozbije harvest na kilka maszyn to można wyciągnąć całkiem zadowalającą ilość wyników, nawet na publicznych. Oczywiście, że kiedyś na publicznych dużo lepiej się harvestowało , ale w porównaniu do tego "załamu" co był niedawno, to teraz jest znacznie lepiej.

[automatyk]

Odpuszczają okresowo bo szukają najlepszej metody na ubijanie proxy. Wyłączają jedną wersję algorytmu, włączają następną po jakimś czasie i testują. Takie jest moje zdanie.

 

A sytuacja jest coraz bardziej tragiczna bo czasami po kilkunastu zapytaniach site  w przeglądarce wyskakuje captcha. I mówię tu o używaniu Google jako nie-pozycjoner. Tak więc poświęcają nawet wygodę użytkowania Google przez bardziej zaawansowanych użytkowników.

 

"W bazie serwisu Proxy Market obecnie jest 29 czynnych proxy"

Edytowane 15 Marca 2016 przez automatyk

[blake]

po kilkunastu zapytaniach site w przeglądarce wyskakuje captcha. I mówię tu o używaniu Google jako nie-pozycjoner

 

Pokaż mi jednego "nie-pozycjonera", który korzysta przy wyszukiwaniu w google z operatora site... W ogóle pokaż mi takiego, który korzysta z jakichkolwiek operatorów...

[jimmi]

@blake, jak  już to właściciel serwisu www bo usłyszał od seowaca  

[automatyk]

Operator site to jedyny przydatny dla "zwykłego" użytkownika. Zresztą wyszukiwanie zaawansowane kiedyś było bardziej wyeksponowane i dało się zauważyć, że ten operator pojawia się przy użyciu opcji szukania w obrębie danej witryny. Przy przeszukiwaniu specjalistycznych serwisów był bardzo użyteczny.

[blake]

99,9% użytkowników googla z tego nie korzysta, więc łatwiej im chyba wyciąć ten ułamek procenta, który generuje im 50% ruchu niż całą resztę.

[automatyk]

To jest jasna sprawa. Tylko to też świadczy o zmianie nastawienia Google. Kiedyś chcieli mieć najlepszą wyszukiwarkę dla każdego (w tym dla zaawansowanych) i dużo kasy, a teraz chcą tylko mieć jak najwięcej kasy za wszelką cenę (od powiedzmy około 3 lat). A to co się dzieje z proxy to kolejny z wielu etapów

[dziki_rysio_997]

Powiedzmy sobie szczerze: prawie wszystko zależy od łaski lub niełaski Google.
Możliwości "kombinowania" z zapytaniami/nagłówkami są dość ograniczone, bo i tak trzeba w końcu wysłać zapytanie z adresu o geolokalizacji gdzieś w dżungli, by sprawdzić czy fryzjer z Nowego Sącza jest widoczny w Google.

Chyba nie ma wątpliwości, że rozpoznawanie "podejrzanych" zachowań nie jest rzeczą trudną, bo jakie jest prawdopodobieństwo, że "normalny" użytkownik:
- jest zlokalizowany w Boliwii, ale tłucze request za requestem do google.pl i innych wersji (najlepiej jednocześnie)
- oczywiście przy tym stosuje operatory, nie używa suggesta, nie pobiera nic poza czystym HTMLem, często nie przesyła Cookie czy używa "dziwnych" nagłówków albo ściąga od razu 100 wyników w jednym zapytaniu dodając odpowiednie parametry
i pewnie jeszcze sporo by można było wymieniać.

Wygląda na to, że zdarza się, że:
- niektóre proxy można w krótkim czasie "wyssać" do końca robiąc dość sporo zapytań (czyli nieco inne użycie, niż monitoringi, które raczej robią zapytania "oszczędnie"), o czym już kilka osób pisało; czyli prawdopodobnie chodzi o maksymalne wykorzystanie proxy w krótkim czasie do momentu jego zbanowania lub propagacji informacji o banie (co zdaje się jako tako działa w harvesterach)
- użycie publicznych proxy o geoip USA i requesty do google.com są traktowane "łagodniej" - co chyba nikogo nie dziwi specjalnie

Google zdaje się po prostu realizować kolejne etapy strategii - przez pewien czas przyzwalając na "tanie" praktyki i budując wokół siebie rynek, zakorzeniając w mózgach przedsiębiorców potrzebę istnienia w wyszukiwarce, a teraz stopniowo podnosząc koszty pozycjonowania przeciąga ich na "swoją stronę". A przy okazji tną koszty związane z podawaniem wyników dla nietypowych zapytań. Trudno się temu dziwić.

[adrians2]

Czy ProxyMarket ma jakiś pomysł na rozwiązanie problemu padniętych prywatnych proxy ostatniej nocy? 

Edytowane 21 Kwietnia 2016 przez adrians2

[makauer]

Właśnie cały czas trwają prace, aby przydzielić i jednocześnie zminimalizować na przyszłość tego typu sytuacje.

 

Miałem nadzieję, iż uda się wszystko rozwiązać do popołudnia jednak prace uległy wydłużeniu. W przeciągu godziny zacznę wysyłać nowe proxy w szczególności do tych osób, który data ważności pakietu jeszcze nie upłynęła do końca.

Jest wiele osób, którym już się skończył okres ważności, ale z różnych przyczyn nie monitowaliśmy o płatność, gdyż chcieliśmy mieć już wszystko uporządkowane, między innymi, aby uniknąć tego rodzaju sytuacji.

 

Niestety nieco się spóźniliśmy i google znowu zaskoczyło. Poszły bany po całości na kilka zakresów używanych w konkretnych lokalizacjach. Ma to też związek z tym, iż całe przedsięwzięcie szykowane było na szybko i wiele rozwiązań jest zastosowanych, które w dużej części nie zależą wyłącznie od nas.

Nowe rozwiązania już od jakiegoś czasu są wdrażane i duża część z tych rozwiązań będzie widoczna na dniach.

 

Pierwsze proxy wypuszczone zostaną już dzisiaj w nocy, tak, aby jak najszybciej wszystkich dotkniętych banami proxy zaopatrzyć w nowe, działające proxy. Wszystko niestety wymaga czasu. Mam nadzieję całkowicie rozwiązać problem do jutrzejszego wieczora.

[marinea]

Proxymarket leży?

Podczas pobierania przez API:

 

Nie można zakończyć żądaniaPrzejdź na stronę główną lub spróbuj znowu.

 

Edytowane 23 Czerwca 2016 przez marinea

[makauer]

Wszystko raczej stoi jak powinno

 

Jak jest jakiś konkretny problem zapraszam do kontaktu na maila - nie wiem kogo problem ma dotyczyć, zatem ciężko mi pomóc.

 

Z mojej strony wszystko działa prawidłowo.

[JoomLAB]

Wszystko działa jak należy.