GScraper - najszybszy harvester i dodawarka.

[jezyk403]

Jak to sie ma do AA. Czy faktycznie dobrze wyszukuje ?

[Paweł Sokołowski - Eline]

Zmiany w ostatniej wersji 1167:

- dodano/usprawniono kilka funkcji fiitrujacych

- zoptymalizowano zuzycie procesora/pamieci przy postowaniu

- dodano harvester wychodzacych linkow przy sprawdzaniu OBL

- dodano usuwanie duplikatow dla domen "top-level" przy harvescie oraz zoptymalizowano uzycie zasobow dla tej funkcji

- wprowadzono pokazywanie szybkosci przy sprawdzaniu OBL, PR, etc

- rozbudowano funkcje "keyword scraper" o dodatkowe filtry

Wersja free GScrapera do harvestu dziala podobnie jak wersja PRO, mozecie ja pobrac i przetestowac. Ograiczenie 100k harvestowanych URLi mozna dosc skutecznie obejsc zaznaczajac opcje usuwania duplikatow. Wtedy lista bedzie miala 100k unikalnych domen, co dla czesci z was moze byc wystarczajace

Pobieranie obu wersji: https://gscraper.pl/dl/

[san]

Zmiany w ostatniej wersji ...

free też jest zaktualizowany?

[Paweł Sokołowski - Eline]

No skąd, free nie jest aktualizowany w nowe funkcje

Ostatni aktualizacja free to byla tylko zmiana komponentu zeby na win8 dzialal i nie spodziewajcie sie zadnych innych aktualizacji.

Free jako harvester przy wlaczonej opcji usuwania zduplikowanych domen sciaga wyniki z Googla zupelnie przyzwoicie i te 100k nie jest jakim strasznym ograniczeniem dla kogosc kto chce czasami sobie "zrobic liste". Takze jak na soft za darmo to i tak super

[Osiek]

A jakie ilości wątków osiągacie, bo mam GScrapera na dedyku, procek 8 x 3.6GHz i 8GB RAMu i mam ustawione np. teraz 715 wątków, a wyciąga maksymalnie 500 - procek obciążony tylko na 20%, RAM też wolny i mam wrażenie, że to coś od nich, bo wczoraj pod wieczór przyspieszył chyba do 700 wątków, ba mam wrażenie, że on lepiej chodził w tej wersji noworocznej na jakimś VPSiku.

[san]

Nie korzystam z free, ciekawy tylko byłem czy tą wersje zaktualizowali.

Też mam max 400 wątków, więcej nie wycisne

[Mariusz]

A jakie ilości wątków osiągacie,

Do 1500.

Options - Other options - Process... - ustaw Above

i sprawdź.

M

[Osiek]

Mam ustawione "Above Normal" od początku, ale dla pewności zmieniłem na chwilę "Normal"(zmniejszył mi ustawienia do 500 wątków), a następnie dałem znowu "Above Normal", ustawilem 700 wątków i teraz się buja na ~600, czasami 450.

[x1349]

Mi na 4 rdzeniowym Xenonie E3 jechało między 800 a 1500 watków pare tyg temu. Podejrzewam że więcej użytkowników i sie ciasno zrobiło z prosiakami Ale to tylko przypuszczenia. Obecnie nie korzystam.

[Paweł Sokołowski - Eline]

Watki nie maja nic wspolnego z iloscia proxy pobierana z Chin. To optymalizacja zwiazana z CPU i pamiecia, ktora ma zapobiegac restartowi VPSow. Jesli puscicie przy tych samych ustawienia na prywatnych proxy bedzie to samo, czyli falujaca ilosc watkow. W tej chwili na testach publicznych proxy po 20 minutach mam 750 watkow przy ustawieniu max 1500 na VPSie 3.4, 1GB co wczesniej wieszalo VPSa w pare minut. Jesli ktos chce wersje ze stabilna iloscia watkow (1166), prosze pisac na PM - podesle.

[djurek]

dziś kupiłem wersje pro i muszę przyznać ze scraper zapierd... jak zły :-)

Co do postaowania to ma większa skuteczność niż SB? nawet na większych wątkach?

Można scrapować i postawowc rownocześnie?

[entropia]

czy jest opcja interwału czasowego do importu proxy ? czasami harvest trwa długo i można by w międzyczasie podmienić/dodać paczkę nowych.

[Paweł Sokołowski - Eline]

@djurek

skutecznosc zalezy od listy

teoretycznie mowiac skutecznosc powinien miec wieksza nz SB na standardowych ustawianieniach (bez learning mode), ale ja tego nie testowalem

Gscraper dziala tak jak SB czyli mozesz go kopiowac i odpalic wiele instancji, a co za tym idzie harvest i postowanie sa mozliwe w tym samym czasie. Proxy sa przypisane do instancji.

@entropia - raczej polityka wobec proxy uzytkownika sie nie zmieni ;( Ten program ma sprzedawac proxy i pare dyskusji sie juz w tym temacie odbylo z Chinczykami. Dodane zostaly PRV proxy oraz usuwanie zuzytych prosiakow. Nie widze opcji w tej chwili zeby byla wprowadzona automatyzacja pobierania proxy z zewnetrznych URL.

BTW Proxy w dowolnym momencie mozna uzupelnic o nowa paczke, wklejajac ja w dzialajacym GScraperze w okienko z proxy Jak zredukujesz ilosc watkow przy tej operacji to w sumie mozna taka paczke bardzo skutecznie podmienic.

[entropia]

@entropia - raczej polityka wobec proxy uzytkownika sie nie zmieni ;( Ten program ma sprzedawac proxy i pare dyskusji sie juz w tym temacie odbylo z Chinczykami. Dodane zostaly PRV proxy oraz usuwanie zuzytych prosiakow. Nie widze opcji w tej chwili zeby byla wprowadzona automatyzacja pobierania proxy z zewnetrznych URL.

BTW Proxy w dowolnym momencie mozna uzupelnic o nowa paczke, wklejajac ja w dzialajacym GScraperze w okienko z proxy Jak zredukujesz ilosc watkow przy tej operacji to w sumie mozna taka paczke bardzo skutecznie podmienic.

dzięki za odpowiedź. trzeba sobie poradzić

[djurek]

Dodał bym:

-link czeker ( co z tego ze skutecznośc ma 50 %, jak tak naprawde znalezionych linków mam 1 %-ręcznie sprawdzałem )

-pobieranie proxie z linka zew ( proxie market )

Co do harvestu to na publicznych bazach proxie dziala to mega wolno, na priv 80 moich z Az dostały bana po 20 minutach.