Scrapebox v 1.0 - 2.0

[Mion]

Zrozumiałeś co pisałem ?  Możesz mieć 1 thread i dostać BANA na IP jak chodzi o G.

@A czy mogę użyć 10 api > API czego ?

[fast1]

PA - API MOZ.

[Konik^Morski]

Okey, tyle to wiem, tylko czy te 4 thread będzie ok żeby zapytać o alivechecker(200,301) ?

 

Z tym 4 to był żart, myślałem że oczywisty To teraz serio ...

W jakim celu chcesz sprawdzać alivecheckerem poprzez proxy ? Jeśli to tylko strony główne, na różnych IP to działaj zdecydownie bez proxy.

A jeśli również podstrony to mieszaj listy, zwolnij albo użyj prywatnych proxy - tu rzeczywiście większość poprawnie skonfigurowanych serwerów pokaże Ci - błąd 5xx

[fast1]

Chce sprawdzać blogi web 2.0 jak na razie tylko na jednej platformie i stronę główną. Na razie około 10 milionów głównych domen i jest ok.

[wojtekk]

miliony milionami ale Ty nie bardzo wiesz o co pytasz, co ma alivechecker scrapeboxa do blokowania Twoich proxy przez google???

[fast1]

Przecież pisałem ile mogę dać wątku na proxy ? 

[Mion]

Wątku na proxy oblicza się według wzoru:

 

 

e - stała zużycia publicznych proxy przyjmowana na 0,75 ;un .0, 34 jeśli są z kiepskiego źródła bardziej publiczne

P- oczekiwanych wątków

uu i uv = szybkość procesora / pamięć ram serwera

q = ilość linków do sprawdzenia

 

[fast1]

Ok, nawet śmieszne, kiedyś się też się będę z tego śmiał, ale póki co to nauka, nauka i jeszcze raz nauka !

 

Mam jeszcze jedno pytanie, jak obciąże processor na 100 % to się wyłączy ?

 

https://prntscr.com/9flunv

[Aleksiejs]

Jak obciążysz procesor na 100% to będzie pracował na 100%

[sqor]

Ok, nawet śmieszne, kiedyś się też się będę z tego śmiał, ale póki co to nauka, nauka i jeszcze raz nauka !

 

Mam jeszcze jedno pytanie, jak obciąże processor na 100 % to się wyłączy ?

 

https://prntscr.com/9flunv

 

Jeśli obciążenie będzie nie chwilowe tylko długotrwałe to dużo zależy od tego jak dobre chłodzenie ma maszyna. Jak się zagrzeje to może się wyłączyć, jak temperatury będą ok to nie powinna.

[fast1]

Dzięki, było tylko chwilowe 

 

I jeszcze jedno, używam server proxy. Czy nie jest lepiej zrobić scrape publicznych proxy i harvestować na publicznych ? 

[mindryl]

Harvest jak najbardziej na publicznych.

[fast1]

Płatne L2, L1 proxy czy  szukać publicznych ?

Czy płatne szybko trzeba wymieniać i czy można to zautomatyzować ?  Dzięki.

[adrians2]

Publiczne proxy padają jak muchy. Chcę wykorzystać więc prywatne do harvestu. Tu pytanie z ilu trzeba korzystać by Scrapebox działał prawidłowo i nie spalić ich.

[ar4]

Nawet prywatne zajedziesz musisz mieć zapas, aby po 1 odpytaniu ten sam IP odpoczywał przez np. 2 minuty