[program] GHarvester - program do linków z SERP

[Mion]

GHarvester - program do pobierania linków z SERP.

Przedmiotowy program umożliwia pobieranie danych z SERP wyszukiwarki za pośrednictwem proxy lub bez. Zastosowany algorytm pobierania danych ma na celu pobieranie jak największej ilości danych z footprint przy relatywnie małym zasobie proxy.

Program umożliwia wyszukiwanie w języku polski, angielskim, niemieckim i takie tez strony G obsługuje.

Dodatkowe funkcje to:

- Menażer proxy umożliwiający ich cykliczne wgrywanie do procesu harvestera z źródeł API lub dysku;

- Filtrowanie duplikatów z pliku tekstowego lub filtrowanie z przycinaniem do domeny:

- Filtrowanie linków w procesie pobierania lub z pliku jak chodzi o występowanie/niewystępowanie ciągów znaków;

Informacje dodatkowe o programie:

Nie jest to demon prędkości, bo nie to było celem programu, ale pobranie jak największej liczby wyników w relatywnie krótkim czasie przy małych padach proxy. Program podczas pracy przy 20 watkach zużywa dosyć dużo zasobów ~ 40% nie udało się tego jeszcze zmniejszyć, ale jeśli pracuje na zdalnym pulpicie VPS to nie jest to w zasadzie problem.

TODO:

W zależności od zainteresowania produktem mogą dojść kolejne wyszukiwarki oraz moduł rozpoznawania skryptów klasy High-Tech.

Program testowałem na maszynach z Windows 2008 Standard R2 - 64 bit na hostingu VPS Windows którego mogę polecić jakim jest V-NET.pro oraz hostingu "na godziny" e24cloud.com. Proksy pośredniczące pochodziło z serwisu ProxyMarket.pl pakiet z API. Program wymaga darmowego środowiska uruchomieniowego NET 4.0 .

Zakup programu:

Cena programu 150 zł netto licencja przypisana do jednego komputera < konta użytkownika>.

Przeniesienie licencji na inny program do 7 dni od zakupu bezpłatne.

/* Dodane*/ Oczywiście bezpłatnie licencję też można przenosić na inny komputer jednak nie częściej niż raz na 14 dni. Przeniesienie w czasie krótszym wymaga opłaty manipulacyjnej w wysokości 45 zł netto.

Wydawcą programu jest firma:

HTTP 200 usługi IT - Dariusz Janicki
Święty Marcin 29/8, 61-806 Poznań

NIP: 7831514314
REGON: 301740913
Kontakt:
Email: biuro@http200.pl
Email: systemy.internetowe@gmail.com
Telefon: 723 227 124

Dane konta do zakupu programów:
ING Bank Sląski: 05105015201000009079642766

Osoby zainteresowane zakupem będące użytkownikami forum PiO > 1 miesiąca mogą niezobowiązująco program przetestować. W tym celu proszę się skontaktować na PM.

[MKucinski]

Ciśnie się pytanie na usta: jakie różnice pomiędzy tym programem, a high-techem z USM? Widzę kilka gołym okiem w interface (m.in. dzielenie plików przy harveście)?

Co do tego dzielenia plików na linie - 100k to zdecydowanie zbyt mały limit. Na podrzędnych komputerach taki gscraper bez problemu wczyta 2mln linii, na moim zaczyna się zawieszać przy 5mln i używam darmowego programu dzielenie i łączenie plików, aby podzielić harvest np. z 30mln na 7-8 paczek. Ten limit jest ruchomy czy stały?

Moduł rozpoznawania skryptów myślę jest must-have

[Mion]

Ciśnie się pytanie na usta: jakie różnice pomiędzy tym programem, a high-techem z USM?

Tym, że tym program może być rozwijany o kolejne wyszukiwarki i funkcje, a USM już nie jest i nie będzie.

Co do tego dzielenia plików na linie - 100k to zdecydowanie zbyt mały limit.

Taki ustawiłem do testowania było wygodniej, ale może być większy to nie jest isttotne, bo to nie jest ważny parametr.

Moduł rozpoznawania skryptów myślę jest must-have

Jak pisałem jest taka możliwość o ile z tym, że w wypadku wystarczającego zainteresowania produktem.

Przy okazji - robiłem kolejne testy na statycznych proxy raz wgranych i doszedłem do wniosku, że jest pewna graniczna ilość którą przynajmniej przedmiotowy program potrzebuje dla określonej liczby footprint. Przy tej 1700 footpriny 30 proxy wgranych statycznie okazało się za mało. Dopiero przy 50 proxy <bez podmian, czyli API> program "dał radę" co widać na tym nagraniu. Ale wcale mnie to nie dziwi...

[mindryl]

W takim razie ciśnie się inne pytanie - nie lepiej wydawac płatne dodatki do usm?

[Mion]

Fakty są takie, że ten program miał być modułem funkcyjnym do innego programu, ale doszedłem do wniosku, że może być też osobno. Oczywiście zdaję sobie sprawę, że "szału" nie robi, bo ogranicza się do jednej funkcji, ale to, co ma robić robi dobrze i to jest jego zaletą hehe.

USM ma swój harvester który jest nadal dosyć dobry, ale jako pakiet USM już nie będzie rozwijany, wiec odpowiedz brzmi nie.

[automatyk]

Jaki jest sens instnienia tego programu? W czym on jest lepszy np. od scrapeboxa, który kosztuje tylko nieco więcej, może dużo więcej i można co miesiąc przenieść licencję za darmo?

PS. Ciekawe dlaczego został usunięty post użytkownika, który pisał mniej więcej o tym samym.

[Mion]

Jaki jest sens instnienia tego programu?

Taki sens, że to do czego został stworzony robi dobrze np harvester dla "ciężkich" footprint z operatorami intitle:, inurl:, site:, Power By. Program z takimi operatorami też daje sobie dobrze radę co przedstawiłem na kolejnym nagraniu.

Tak na marginesie, to nie rozumiem sensu twojej wypowiedzi. Mamy wolny rynek, więc jeśli nie odpowiada ci przedmiotowy program to .... Ja Ciebie ani nikogo innego nie zmuszam do jego zakupu.

PS Nie wiem jak teraz, ale kiedyś harvester z USM był znacznie skuteczniejszy od tego z SB - niezależne nagranie.

[mindryl]

No własnie był, tak samo jak do dzis sądziłem, że na harvest mają wpływ głównie proxy a nie soft do harvestu. Jako użytkownicy Twojego softu mamy chyba prawo do wypowiedzi.

Gdy wyszedł USM to sądziłem, ze będzie on nawet lepszy niż sb, ale czas mijał i sb który wyszedł duzo wczesniej na dniach dostanie update do wersji 2.0 za darmo a w USM nawet moduły dodatkowe już nie mają zastosowania w większości. I takie sa niestety fakty - nie jest to moja złośliwośc, bo chciałbym aby było inaczej. Tym bardziej szkoda, ze nie bierzesz pod uwagę naszych propozycji, ale do tego już się chyba wszyscy przyzwyczaili, natomiast mamy wolny rynek i tutaj pełna zgoda.

[Mion]

do dzis sądziłem, że na harvest mają wpływ głównie proxy a nie soft do harvestu.

Jak oprogramowanie pobiera dane ma duże znaczenie, więc nie jest to tylko kwestia proxy.

Jako użytkownicy Twojego softu mamy chyba prawo do wypowiedzi.

Oczywiście .... Tylko, że to nie jest temat o USM.

a w USM nawet moduły dodatkowe już nie mają zastosowania w większości.

Moduły dodatkowe działają tak sama jak działały. Nie moja wina, że znaczenie pewnych katalogów w pozycjonowaniu jest obecnie "takie jakie jest"... , ale sama dodawarka jako podprogram z pakietu USM nadal może do nich dodawać wpisy. Nie wnikam w politykę wydawcy SB i jego update. Dla niektórych przygoda z programami do "SEO" zaczyna się od SB i na tym programie się kończy, ale to jest inna historia.

I takie sa niestety fakty - nie jest to moja złośliwośc, bo chciałbym aby było inaczej.

Fakty są takie, że każdy by chciał za darmo i dożywotnio ... zresztą ja też

Tym bardziej szkoda, ze nie bierzesz pod uwagę naszych propozycji, ale do tego już się chyba wszyscy przyzwyczaili,

Szkoda tylko, że nie Byłeś tak chętny do proponowania funkcjonalności w niedawno zamkniętym projekcie SERPmaster .... o co nawet się dopraszałem. Właśnie ten projekt był na to jak najbardziej nastawiony. ....

Za przeproszeniem nie wypowiadaj się w imieniu "wszystkich", bo nie masz do tego żadnych podstaw.

natomiast mamy wolny rynek i tutaj pełna zgoda.

Wiec tym bardziej nie rozumiem Twojego podejściu i pisania w moim odczuciu nie na temat zwłaszcza, że watek o USM jest nadal otwarty. Do tego przedmiotowy program GHarvester jest jasno opisany, co do ceny, zasady licencjonowania, funkcji i liście TODO. Jego działanie poparte jest nagraniami i każdy <prawie> może go niezobowiązująco przetestować.

Wiec kończąc -> Uważam, że jak komuś, to nie odpowiada, to nie będzie nim zainteresowany i co za tym idzie nie będzie kupował/używał. Jak sam pisałeś "natomiast mamy wolny rynek i tutaj pełna zgoda"

[piotr.k]

Ciśnie się pytanie na usta: jakie różnice pomiędzy tym programem, a high-techem z USM

Taka, że usm skończył żywot (w sensie nie będzie rozwijany, bo się nie kalkuluje) i trzeba zrobić coś pod nową nazwą, żeby się znowu sprzedawało (były już na tym forum softy z dożywotnimi licencjami i aktualizacjami "zmieniane" w taki sposó.

[Mion]

i trzeba zrobić coś pod nową nazwą, żeby się znowu sprzedawało

Widać, że nawet nie wiesz o czym piszesz i tak jak większość maruderów piszą, by coś pisać ... jednak przy tym grubo mijają się z rzeczywistością. USM zakończył żywot, bo nie było co rozwijać, co jak widać bardzo ciężko zrozumieć .

z dożywotnimi licencjami

proponuje też zastanowić się i zrozumieć pojęcie "dożywotnia licencja".

i aktualizacjami "zmieniane" w taki sposó

Jeśli masz coś do moich produktów wydawanych w ten sposób to pisz śmiało, może jakiś czas miałem rozdwojenie jażni, więc nie wiem co robiłem

[sqor]

Mnie się nasuwa pytanie jaka jest różnica między GHarvester, a Gscraper'em do tego ich proxy za 68$ i jazda? W czym GHarvester jest lepszy, korzystniejszy niż Gscraper + ich proxy?

[piotr.k]

Widać, że nawet nie wiesz o czym piszesz i tak jak większość maruderów

Na początek proponuję, żebyś zmienił podejście do swoich klientów, bo teksty że nie wiedzą co piszą i są maruderami raczej nie przysporzą Ci kolejnych.

USM zakończył żywot, bo nie było co rozwijać

Jak widać było co rozwijać, bo GHarvester to rozwinięcie Google Harvester/Google Harvester Hi-Tech z usm...

Zresztą czym innym jest dodawanie nowych funkcji czy funkcjonalności a czym innym poprawa czy utrzymanie działania istniejących.

Dla mnie wniosek z tego podejścia jest jeden - poprzedni program się sprzedał ile mógł (20 mies. od pojawienia się 1. bety usm do ogłoszenia końca wsparcia i rozwoju programu) to trzeba zrobić nowy podobny i zarabiać kasę od nowa.

[Mion]

Róznica jest taka, że : Gscraper'em ma więcej funkcji, jest szybszy tylko nie wiem jak wygląda sprawa ilości pobranych danach dla footprint. Ale to możesz sprawdzić empirycznie gdyż GHarvester można niezobowiązująco przetestować.

[Mion]

Na początek proponuję, żebyś zmienił podejście do swoich klientów, bo teksty że nie wiedzą co piszą i są maruderami raczej nie przysporzą Ci kolejnych.

Kolego nie odpowiadają ci moje produkty, to po co zaglądasz do topicków o nich? Jak dotąd nie napisałeś nic istotnego co ma związek z przedmiotowym. Jeszcze raz powtórzę temat o USM jest osoby.

a czym innym poprawa czy utrzymanie działania istniejących.

Coś na ten temat już nie raz pisałem, wiec nie będę się powtarzał.

20 mies. od pojawienia się 1. bety usm do ogłoszenia końca wsparcia

Nie wiem, czy zauważyłeś, ale w pozycjonowaniu w ciągu tych ostatnich 20 miesięcy zaszły pewne zmiany, co za tym idzie w metodach i narzędziach...

zarabiać kasę od nowa.