Odpytanie Google

[Vek-tor]

Czy ktoś ma pomysł jak by AUTOMATYCZNIE odpytać googla na przykład na wszystkie hasła na literkę "s" zapisując przy tym adresy z pierwszej piątki wyników :?:

[lutek]

Czy ktoś ma pomysł jak by AUTOMATYCZNIE odpytać googla na przykład na wszystkie hasła na literkę "s" zapisując przy tym adresy z pierwszej piątki wyników  :?:

Słownik, php, baza danych i do dzieła. Ale po co? Chcesz zalać google?

[Vek-tor]

tyle to ja wiem bez zadawania pytań, ale jak zadać w php zapytanie do serwera googla- wie ktoś?

[nrm]

API

[mrtn]

Trzeba napisać program ....

Ale tego trzeba się uczyć - co z tego że ci napiszę jak otrzymać stronę z wynikami, jak sobie nie poradzisz z ich przefiltrowaniem.

Po za tym takie multiodpytywanie gooogle to spory transfer dla 100 000 slów to 2 GB - a dane trzeba by aktualizować - jak nie codziennie to powiedzmy co tydzień ?

Ja zmierzyłem się z podobnym tematem w praktyce i skończyło się na systemie buforowania i ograniczenia odpytań :-).

zobacz www.seo.elate.pl

[koniofix]

mrtn - a nie spotkales sie z tym ze jesli za czesto pytasz googla (przez zwykle zgrabowanie strony - nie API) to google po jakims czasie daje ci tymczasowego bana na ip?

[szy]

zobacz www.seo.elate.pl

Wygląda bardzo sympatycznie. Tobie zawdzięczamy te strony?

Szy.

[Janek]

zobacz www.seo.elate.pl

Trzeba Ci przyznać, że sprytnie to zrobiłeś.

Pozdrawiam

J.

[szy]

Trzeba Ci przyznać, że sprytnie to zrobiłeś.

... zaiste, choć przydałby się szerszy opis jak to działa. Skąd biorą się

poszczególne wskaźniki?

Szy.

[zebol]

Ciekawe narzedzie....

Napewno mi się przyda....

[michal]

tyle to ja wiem bez zadawania pytań, ale jak zadać w php zapytanie do serwera googla- wie ktoś?

fopen()

mrtn

Fajne narzedzie

[mrtn]

Narzędzie to narazie powstało bardzo prymitywnie .. poskładałem do kupy kilka skrytptów których uzywałem i przykryłem kawałkiem grafy, żeby nie było widać, że to prowizora .. ale wy możecie znać prawdę :-).

Co do bana google .. nie przewiduję .. gdyż szacuję nie więcej niż 1000 odpytań w ciągu dnia (tyle to sam z ręki mogę wstukać). Na wszelki wypadek przedtsaiwam się jako ... I Expolorer

Po za tym pytam nie tylko Google ... wieć API było by oki ... ale co z resztą ? (MSN i inne).

P.S. Muszę się przyznać, że nie korzystałem z API i.. chyba najwyższy czas zapoznać się bliżej :-)

[mrtn]

a to efekt kilku dni dziłania skryptów - niewidoczny na stronie ale ciekawy (jeczscze ma sporo dziur, ale zawsze to coś !)

popularne polskie frazy (Mix google & MSN)

polska 100,00%

fotografie 95,79%

informacje 69,81%

gg 57,55%

gry 57,15%

warszawa 48,97%

Wiadomości 46,44%

allegro 44,91%

programy 44,38%

linki 43,67%

seks 43,04%

prawo 40,45%

Ogłoszenia 39,55%

psy 37,96%

tapety 34,12%

sklep 31,14%

Książki 30,67%

muzyka 27,81%

praca 27,00%

kraków 25,79%

polskie 23,58%

biznes 23,46%

komputery 23,41%

na telefon 22,49%

projekty 20,59%

nauka 19,16%

oko 18,89%

monitory 18,45%

oferty pracy 18,20%

dzwonki 17,25%

katalog stron 16,97%

rozrywka 16,71%

Poznań 16,24%

angielski 16,12%

Nieruchomości 15,97%

pliki 15,57%

hotele 15,54%

promocja 15,48%

oprogramowanie 15,43%

samochody 15,42%

sklep internetowy 15,27%

teksty 14,81%

obudowy 14,52%

Ksiązka 14,42%

aparaty 14,36%

[koniofix]

Ja mam zapuszczony "odpytywacz" Googli, yahho i msn praktycznie przez cala dobe ale musialem powstawiac przerwy miedzy pytaniami bo dostawalem bany (od googla i yahoo - msn zdaje sie nie daje banow)

ps. jak w phpie podszyc sie pod IE?

[breja]

function curl_string ($url,$user_agent,$proxy){

$ch = curl_init();

curl_setopt ($ch, CURLOPT_PROXY, $proxy);

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_USERAGENT, $user_agent);

curl_setopt ($ch, CURLOPT_COOKIEJAR, "c:cookie.txt");

curl_setopt ($ch, CURLOPT_HEADER, 1);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt ($ch, CURLOPT_TIMEOUT, 120);

$result = curl_exec ($ch);

curl_close($ch);

return $result;

}

$url_page = "https://www.google.com/";

$user_agent = "Mozilla/4.0";

$proxy = "https://208.25.243.167:8080";

$string = curl_string($url_page,$user_agent,$proxy);

echo $string;

// znalezione na https://pl.php.net/manual/pl/ref.curl.php