[Jak zrobić?] Narzędzie sprawdzające ogromne liczby site:

[Kyo]

Dzięki za opowiedzi.

Niestety kupno serwerów odpada - zbyt kłopotliwe synchronizowanie bazy lub pisanie automatu do tego. Jeden nie zdziała i same problemy.

Pomysł z użyciem userów - super, ale jak technicznie ściągnąć ten wynik do mojej bazy? nie umiem sobie tego wyobrazić.

Odpytywałem jeszcze onet - nie miałem banów po duuużej liczbie zapytań ale onet pokazuje brak site dla wielu stron, któe mają site w Google i nie pokazuje liczby site: ale tylko ilość stron i nie da się zbadać dokładnej liczby.

Pomęcze chyba FireFoxa z SeoQuake i poszukam wtyczek do proxy...

[Maximus Marius]

Nie chciałbym żeby wszyscy mogli zobaczyć jakim stronom sprawdzam site lub cokolwiek innego.

Nie wszyscy Po pierwsze to stron sa milady , jeżeli powiem Ci że istnieje taka strona która tak robi to jak ją znajdziesz ? Upchniesz kod w forum dla ciężarnych kto to znajdzie ?

Dodatkowo żeby nie było tak łatwo to z jednego IP można pobrać dane tylko raz na miesiac. Co by zabezpieczyć się przed ewentualnym wyciekiem.

[Hubert]

nie szalej ;-) cURL + proxy, dodatkowo automatyczne aktualizowanie listy proxy - 2h roboty na szybkiego

[sirkus]

ja na jednym hoście odpytuje co minute od 3 miesięcy i blokady nie było czyli około 1440 odpytań na dobę

jak potrzeba więcej do zaprzęgam do tego kolejne kilka serwerów i tak jak pisali poprzednicy skrypt zwracający wartości site + curl

[Maximus Marius]

Też jestem miłośnikiem tzw. "Brzytwy Ockhama"

[Mion]

Dzięki za opowiedzi.Niestety kupno serwerów odpada - zbyt kłopotliwe synchronizowanie bazy lub pisanie automatu do tego.

Jeśli to jest dla Ciebie kłopotliwe to IMHO rzucasz się z motyką na słońce.

ALe oczywiście Życzę powodzenia...

[Sabistik]

~Maximus Marius

Powiedz mi jak chcesz wykonać punkt:

2) Pobierz stronę z SITE (czyli wykonujemy GET w kierunku google)

Rozumiem że ma to się obywać przez JavaScript? Jak to zrobisz stawiam piwo.

[shpyo]

- jedna wspólna baza

- kilka serwerów lub proxy

i jedziesz

[Mion]

Rozumiem że ma to się obywać przez JavaScript? Jak to zrobisz stawiam piwo.

Tylko, że żądanie Ajax Requests może być do tego serwera z którego pochodzi strona wiec nie mam możliwości żądania Ajaxem z IP usera żądającego (klient przeglądarka) strony google POST/GET

[Sabistik]

No brawo (:

[Hubert]

panowie js != ajax. W gruncie rzeczy do samego pobrania strony niepotrzebny jest ajax, wystarczy wsadzic iframe z src do googla i później JSem wyciągnąc dane

[Mion]

Jak Hubert zamierzasz zrealizować to pobranie danych z ramki za pomocą javascripts ?

[Hubert]

nie bardzo rozumiem o co pytasz...

ale w kodzie dajesz <iframe src="https://google.pl?odpowiednie_parametry"/> i jak ramka się załaduje to to wyciągasz z contentu ramki odpowiednie liczby za pomocą JS

a tu masz art jak doleźc do contentu ramki w jquery

https://simple.procoding.net/2008/03/21/how...rame-in-jquery/

[Pavel]

Kiedyś próbowałem wyciągać JS'em dane z IFrame, ale działało tylko jeśli iframe był z tej samej domeny, jeśli z innej to jakiś błąd bezpieczeństwa wywalało.

Ale może coś źle robiłem.

[Maximus Marius]