Proxy a google

[Vampirius]

Witam, mam skrypt, który pobiera wyniki wyszukiwania z google, kluczowa część wygląda następująco:

$curl = curl_init();
          curl_setopt( $curl, CURLOPT_HEADER, 1 );
          curl_setopt( $curl, CURLOPT_HTTPHEADER, array(
                                                    'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0',
                                                    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
                                                    'Accept-Language: en-En,en;q=0.5',
                                                    'Accept-Encoding: gzip, deflate',
                                                    'DNT: 1',
                                                    'Referer: https://www.google.com/',
                                                    'Connection: keep-alive'
                                                  ) );
          curl_setopt( $curl, CURLOPT_ENCODING, 'gzip' );
          curl_setopt( $curl, CURLOPT_RETURNTRANSFER, 1 );
          curl_setopt( $curl, CURLOPT_VERBOSE, 1 );
          curl_setopt( $curl, CURLOPT_REFERER, 'https://www.google.pl' );
          curl_setopt( $curl, CURLOPT_URL, 'https://www.google.pl' );
          curl_setopt( $curl, CURLOPT_CONNECTTIMEOUT, 10 );
          curl_setopt( $curl, CURLOPT_TIMEOUT, 10 );
          curl_setopt( $curl, CURLOPT_COOKIE, "....." ); 
          curl_setopt( $curl, CURLOPT_COOKIEFILE, $cookie_file_path ); 
          curl_setopt( $curl, CURLOPT_COOKIEJAR, $cookie_file_path );
          curl_setopt( $curl , CURLOPT_PROXY, $row2['proxy'] ); 
          $result_tmp = \System::curl_redir_exec( $curl );
          curl_close( $curl );
              
          $curl = curl_init();
          curl_setopt( $curl, CURLOPT_HEADER, 1 );
          curl_setopt( $curl, CURLOPT_HTTPHEADER, array(
                                                    'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0',
                                                    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
                                                    'Accept-Language: en-En,en;q=0.5',
                                                    'Accept-Encoding: gzip, deflate',
                                                    'DNT: 1',
                                                    'Referer: https://www.google.com/',
                                                    'Connection: keep-alive'
                                                  ) );
          curl_setopt( $curl, CURLOPT_ENCODING, 'gzip' );
          curl_setopt( $curl, CURLOPT_RETURNTRANSFER, 1 );
          curl_setopt( $curl, CURLOPT_VERBOSE, 1 );
          curl_setopt( $curl, CURLOPT_REFERER, 'https://www.google.pl' );
          curl_setopt( $curl, CURLOPT_URL, 'https://www.google.pl/search?q=' . urlencode( $this -> _phrase ) . '&num=' . 10 . '&start=' . ( 10 * $this -> _check_count ) . '&hl=pl' );
          curl_setopt( $curl, CURLOPT_CONNECTTIMEOUT, 10 );
          curl_setopt( $curl, CURLOPT_TIMEOUT, 10 );
          curl_setopt( $curl, CURLOPT_PROXY, $row2['proxy'] );
          curl_setopt( $curl, CURLOPT_COOKIE, "...." ); 
          curl_setopt( $curl, CURLOPT_COOKIEFILE, $cookie_file_path ); 
          curl_setopt( $curl, CURLOPT_COOKIEJAR, $cookie_file_path );
          $result = \System::curl_redir_exec( $curl );
          curl_close( $curl );

Czy ktoś może wie co można by do niego dodać lub usunąć aby zwiększyć żywotność proxy?

Jeżeli ktoś chce się podzielić wiedzą za wynagrodzeniem to proszę o PM.

[Mion]

Nic na to nie poradzisz..... Ewentualnie możesz User-Agent zmieniać w czasie kolejnych żądań.

[Vampirius]

Aha, tak poza tym zna ktoś jakieś hostingi gdzie będzie większa ilość portów pootwierana, np. 3128, 21320, itp.

[Mion]

Jakie to na znaczenie ? Rozumiesz w ogolę to zagadnienie, bo nie wydaje mi się by tak było

[Vampirius]

Zagadnienie rozumiem, pytam teraz o co innego mianowicie na hostingu na którym ma teraz zainstalowny skrypt większość portów jest zablokowana i z tego powodu większość proxy od razu nie działa. Dlatego pytam o inne hostingi.

[Mion]

Hmm chodzi ci o porty "wychodzące" zainteresuj się VPS'em.

[rewop]

Zakup sobie usługę rotacyjnych pakietów proxy gdzie co pobranie będziesz otrzymywał nową paczkę serwerów proxy. Odpytywanie maszynowe Google'a zawsze będzie się kończyć captchą dlatego pobieranie wiekszej ilości danych wymaga odpowiedniej ilości serwerów pośredniczących - najlepiej prywatnych High Anonymous Proxy.

Pamiętaj, że jeśli chcesz pobierać wyniki do legalnych celów możesz skorzystać z Google Custom Search czyli zdalnego interfejsu wymiany danych.