GScraper - najszybszy harvester i dodawarka.

[Paweł Sokołowski - Eline]

To raz jeszcze, bo sie zaczynamy gubic. Ja pisze caly czas o AA, wiec male podsumowanie:

Pliki:

BacklinksAA-dofollow-GScraper -> AA dofolow

BacklinksAA-nofollow-GScraper -> AA nofollow

Captcha-GScraper ->nie dodano, blokada captcha

Failed-GScrape -> proba dodania zakonczona niepowodzeniem

Skip-GScraper -> pominieto, 404, blad, brak poprawnie rozpoznanego formularza, etc

Success-GScraper -> wszystkie dodania zaklasyfikowane jako udane, łącznie z tymi oczekującymi na moderacje, itd

[slaymer]

2 pytania -

1.czy istnieje możliwość jednoczesnego wyboru włąsnego miejsca zapisu harvestu i jednoczesnego dzielenia go na paczki?

2. zrobiłem malutki test - dałem dwa niedziałające proxy, GS wyszukiwał, nic nie znalazł, a czy nie powinien zatrzymać harvestu i zgłosić, że ma wyłącznie nie działająće proxy w zasobach? (tak chyba robi xseon). Bo tak to nie wiem, czy walnięte proxy, czy po prostu 0 wyników.

[Paweł Sokołowski - Eline]

1. sadze ze wlasnie tak to dziala, ale ze nigdy tego ie uzywalem razem bo to nowa opcja,to jak tylko skoncze harvest to sprawdze.

2. W obecnej wersji GS bedzie rotowal proxy w nieskonczonosc. W wersji ktora wyjdzie w okolicach 2 lutego bedzie opcja, ktora jest wdrazana, czyli tester proxy i proxy niedzialajace beda usuwane.

[slaymer]

Paweł - odnośnie pkt 2 -bardziej chodzi mi o to, że gdy nie znajdzie działających proxy to niech przestanie szukać - bo w tym momencie wynik 0 może mieć dwie różne przyczyny

- brak wyników szukania

- brak działającego proxy (tak wiem, że przy Waszych mała na to szansa, ale nie wszyscy będą je kupować)

odnośnie pkt 1 - no własnie wydaje mi sie ze nie mozna tego użyć razem , - poczkam na sprawdzenie

[Paweł Sokołowski - Eline]

Film jest dostepny na forum GScrapera. Utworzylem nowy dzial w strefie VIP i tam bede zmieszczal tez inne materialy. Sadze ze tak latwiej bedzie tym zarzadzac, niz wymieniajac z kazdym PM.

@slymer - w tej chwili program nie wie czy proxy dziala czy nie Ten program z zalozenia byl budowany pod nieustajacy strumien dzialajacych proxy, wiec tego typu dywagacje sie rodza teraz. Dziala nadal tak samo z proxy GScrapera i tymi prywatnymi, ciagnac nastepne proxy z listy i ponawiajac probe jesli poprzednie zapytanie nie zwrocilo wyniku. To ze wrzucisz mu 10 proxy na harvest trylionow wynikow dla programu niewiele znaczy, on poprostu pobiera rotacyjnie nastepne i dalej probuje. Ten stan rzeczy bedzie zmieniony w wydaniu z poczatku lutego, tam dojdzie opcja wyrzucania bezuzytecznych proxy.

[zakopiec]

Pytanie rozpoznawanie przez GScrapera poprawny linków. Wiadomo, że po zastosowaniu footprintów czasami rożne śmieci wlezą. Czy jest jakaś możliwość w programie odsiania, aby nie korzystać z zewnętrznych softów?

[Paweł Sokołowski - Eline]

Temat "smieci" wyjasniony na PW Podsumowując, im dokładniejszy footprint tym GScraper ma mniej roboty i wyniki są bardziej zblizone do tego co chcemy osiągnąć. Dlatego dobrze jest uzywać np. operatorów "inurl" do doprecyzowania zapytan takich jak "powered by wordpress" W tej chwili to foum zostanie rozpoznane przez każdy harvester szukający tylko footprint: "Powered by Wordpress" jako potencjalna strona oparta na WP

[Paweł Sokołowski - Eline]

Wyszedł update do wersji 1.1.5.5.

Główne zmiany to:

- nowe skrypty gdzie mozna dodać linki (oprócz szerszego rozpoznawania pol tektowych doszła tez opcja podglądu prze wysłaniem czego wymagają niektóre silniki)

- prywatne proxy (mozna dodac prywatne proxy w formacie proxy:user:pass)

- optymalizacja kilku funkcji

- oraz nowa zakładka "Related" w której znajduje się keyword scraper, czyli narzędzie podpowiedzi słów kluczowych

Omówienia wymaga chyba tylko Keyword Scraper. Narzedzie w sumie w nieskonczonosc moze pobierac "propozycje" podobnych slow z Google. W dwóch wariantach mamy bądz pobieranie z dołu strony wyników (related), badz z podpowiedzi w polu wyszukiwania (dropdown). Przy zaznaczeniu opcji "Continue" GScraper wpada w petle i wykonuje zapytania az do zatrzymania wyszukujac "propozycje" do "poprzednich propozycji", etc.

[Joland]

a jakie skrypty aktualnie obsługuje, bo na stronie nie znalazłem (choć nie szukałem długo )

- nowe skrypty gdzie mozna dodać linki

[Paweł Sokołowski - Eline]

Nie ma okreslonego pakietu skryptow. Program dziala na zasadzie przypisania pola input do zmiennych i w zaleznosci od nazwy pola skorelowanej ze zmienna tak podawna jest wartosc pola. Obslugiwana jest wiekszosc formularzy nie wymagajacych logowania.

[Paweł Sokołowski - Eline]

Nowa wersja - dodane min. harvestowanie adresow email.

[san]

@Paweł - wystawiacie FV?

[Paweł Sokołowski - Eline]

To chinczycy sprzedaja, wiec jak nawet wystawia Ci FV to koszt jej tlumaczenia przekroczy wartosc softu

[eria86]

a z Toba rozmawiaja po chinsku?

[Paweł Sokołowski - Eline]

Jest forum, mozna zapytac po chinsku