Curl_proxy a Google

[k0l3c]

Pobieram dane za pomocą curla przez proxy i wszystko działa ok, ip się zmienia itd.

Ale Google kieruje mnie na stronę "sorry".

Dla czego bierze mnie jako robota? przesyłam header, chodzi o ciasteczka?

$hand = curl_init();
curl_setopt($hand, CURLOPT_URL, 'https://www.google.pl/search?hl=pl&q='.urlencode($fraza) .'&start=' .$start_od = $z*$wynikow_na_stronie);
curl_setopt($hand, CURLOPT_RETURNTRANSFER, true);
curl_setopt($hand, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; pl-PL; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729)'); 
curl_setopt($hand, CURLOPT_HTTPPROXYTUNNEL, 0);
curl_setopt($hand, CURLOPT_PROXY, '60.191.220.241:3128');
curl_setopt($hand, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($hand, CURLOPT_CUSTOMREQUEST,'GET');
curl_setopt ($hand, CURLOPT_HEADER, 1);

$output = curl_exec($hand);
print_r($output);

Proxy na bank działa, bo wywoływałem strony do jego sprawdzania, ban odpada bo ani razu nie otrzymałem wyników, tylko od razu 301

[THI]

IP tego proxy jest zbanowane przez Google ?

Ja robie to tak:

mam 130 proxy świeżych z proxymarket.

mam funkcje opartą o curl ktora próbuje pobrać SERP

do while, dopóki nie znajdzie na pobranym źródle np. <cite>

czyli każde połaczenie losuje inne proxy i ponawia połączenie dopóki nie znajdzie <cite>

Proste

// Podstawowa zasada:

// Losowe UserAgent i losowe IP co każde połączenie --> unikniesz bana na proxy

// przydatne ua: https://www.useragentstring.com/pages/useragentstring.php

[Mion]

Musisz się wysilić i wysłać bardziej rozbudowany nagłówek HTTP CURLOPT_HTTPHEADER niż to co masz obecnie.

----

Możesz podejrzeć w przeglądarce jakie są składowe nagłówka i podobne zastosować w żądaniu HTTP GET

https://addons.mozilla.org/pl/firefox/addon...e-http-headers/