Ile proxy potrzebuję?

[kapanihan]

Witam!
Chciałbym harvestować wyszukania google. Powiedzmy, że 10-20 razy tygodniowo, 1000 stron. Harvestować  będe w 1 sposób:

site:strona xxx

site strona: yyy

site:strona zzz

 

Czyli z 1 strony chcę pozyskać linki pod różne słowa kluczowe. Ile proxy powinienem kupic? Jak pisalem, bede harvestowac 10-20 razy tygodniowo.

[smx]

Ja ściągam wyniki z Google przez proxy z częstotliwością ok jeden IP na minutę (pewnie można częściej, ale to jest bezpieczne). Czyli wszystko zależy jak szybko chcesz mieć te dane, moją metodą przy 100 proxy będziesz miał sciagniete dane w ok. 10 min, przy 50 proxy w 20 min itp.

Ale może lepiej niech wypowie się ktoś kto ściąga duże ilości danych z Google, ja to robie sporadycznie i maksymalnie kilkaset wyników na raz.

[Mion]

bede harvestowac 10-20 razy tygodniowo.

To nie ma znaczenia.

 

Ile proxy powinienem kupic?

Poczytaj trochę o proxy i operatorach zapytań i banach ... to jest złożony temat. Też zależy od tego czy są, to publiczne proxy, czy prywatne.

[kapanihan]

Jednak zmiana. Potrzebuję wyciągać około 100 wyników a nie 1000. A co do proxy, 

[okazwłoka]

Kup sobie najpierw stały dostęp 50 proxy publicznych, jak Ci nie starczy dokup. Dokupuj aż będziesz zadowolony. Nie ma uniwersalnej odpowiedzi na Twoje pytanie, bo proxy może wytrzymać jedno, dziesięć, sto zapytań, a możesz nie zdążyć nawet raz go użyć.

[kapanihan]

A teraz sobie napisałem skrypt w imacrosie, który pobiera mi adresy url wyszukań w googlu. Ustawiłem sobie, żeby na stronie pokazywało 100 a nie 10 wyuszukań i ogarnięcie 100 wyszukań i zapisanie mi do pliku zajmuje jakieś 2 sekundy.

 

Jaka będzie zaleta kupna proxy w takim razie zamiast scrapowania w taki sposob?

[smx]

kapanihan, w takim razie nie jest potrzebne Ci proxy, jeśli nie będziesz wykonywać zapytań zbyt często. 

[Maciejus]

@okazwłoka witam, czy moglbys napisac gdzie mozna kupic ,,dobre,, publiczne proxy? Jakis link? Proxy pod twoj donlink czy inny soft do pozycjonowania i harwestu.

[Maksiulek]

https://buyproxies.org/

[MaxPan]

Maksulek od kiedy buyproxies handluje publicznymi proxy,  bo o takie on pyta?

[Maksiulek]

@MaxPan Mea Culpa 

[okazwłoka]

Np. proxylive.pl