[Pytanie] Google Harvester online

[okazwłoka]

Byłby ktoś zainteresowany usługą scrapera online?

Działałoby mniej w taki sposób:

- podajesz listę fraz + ewentualnie keywordy. Mogą to być hardcorowe frazy zawierające komendy typu site, inurl,intitle.

- na wyjściu otrzymujesz zebraną listę z Google

 

Harvester działałby bardzo szybko.

Cena jaka by wchodziła w grę: w zakresie 10-20 zł za 1000 odpytań Googla (czyli 1-2 grosze za odpytanie) . Czyli jeśli fraza ma 500 wyników, wtedy liczone jest to jako 5 odpytań (po 100 wyników).

 

Dodatkowo gdyby byli zainteresowani można by wprowadzić możliwość cyklicznego odpytywania dla wyników z ostatniej godziny, ostatnich 24 godzin czy tygodnia.

 

Co o tym myślicie? Jacyś chętni by się znaleźli w takiej cenie?

[DanielBurchardt]

Cenowo dramat. Chętnie zrobię 1000 odpytań za 5zł i tak będzie się bardzo opłacać

[ShRon]

Ja bym się skusił

[MKucinski]

20zł za 1000 odpytań jak zazwyczaj harvestuje się z kilkudziesięciu tysięcy footów jak się robi harvest "na szybko"? Każdy foot to kilka odpytań i wychodzi ładne kilka stówek za harvest.

[okazwłoka]

Mowa tu o sprecyzowanych footprintach. Takie zapytania z inurl intitle czy site obecnie bardzo szybko blokują proxy.

 

@MKucinski - jeśli byłbyś zainteresowany to w jakiej cenie? PS podałem zakres 10-20, a nie sztywno 20

 

PS Dodałem ankietę

[MaxPan]

Wszystkie znane mi tego typu serwisy działali na zasadzie nielimitowanego dostępu w określonym przedziale czasowym + ilość jednoczesnej działających projektów.

Te ceny Oka co pokazałeś w mojej ocenie nie mają racji bytu. Te osoby z PIO co harvestują hurtowo już mają swoje harvestery lunuxowe które razem z dołączonymi do nich proxy nie kosztują aż tak dużo. A dla osób z mniejszymi zapotrzebowaniami taki budżet odstraszy. W mojej ocenie musisz wymyślić inny model biznesowy do tego harwestera.

 

 

 

[MKucinski]

Ano blokują, ale dalej można je harvestować, szczególnie że wykorzystywane są do bardzo precyzyjnych harvestów, do softów w zasadzie wystarczy zrobić dobre footy i potem przez jakiś detektor przelecieć. Dla forów internetowych da się bez inurl robić bardzo precyzyjne footprinty bez najmniejszego problemu. Jaka cena, w sumie nie wiem, nie harvestuję ostatnio tak dużo jak kiedyś, gdzie całą dobę chodziła jakaś maszynka i maltretowała google. Ale przykładowo sobie sprawdziłem i mam foot do jakiegoś forum z keywordami, gotowy do wrzucenia i ma niemalże 90k pozycji, foot precyzyjny, więc rzadko kiedy więcej jak 100 wyników, bo zawiera sporo zmiennych (jak dokładna ilość zarejestrowanych użytkowników, ilość postów czy tematów). Nawet złotówka za 1 odpytanie daje 90zł - dużo, a mój amatorski sprzęcik i prosiaki spokojnie w 1 noc to obrobią.

 

W takim rozwiązaniu skłaniałbym się do wersji Maxa - abonament miesięczny i tutaj może on wynieść nawet i 200zł-250zł o ile będzie naprawdę dobrze chodziło. Ale trzeba być przygotowanym, że spora część użytkowników będzie jechała tę maszynę równo i non stop wrzucała całą masę footów, a pliki do pobrania będą miały po kilka GB.

 

Głos w ankiecie na "nie jestem zainteresowany", proponowany model rozliczeniowy niestety jest nieopłacalny.

[Finan]

Gdzieś już był podobny projekt i padł dość szybko, nie pamiętam teraz kto to oferował. Raczej jak ktoś hurtowo robi harvesty ma do tego narzędzia i wie jak to zrobić. Więc nie będzie mu się opłacać Tobie płacić.

[okazwłoka]

Dzięki chłopaki za opinie. Dostęp bez ograniczeń ilościowych faktycznie wygląda racjonalnie. Można by zrobić zróżnicowane pakiety które byłyby odpowiednie na mniejsze i większe zapotrzebowania.

 

Edit. Edytowałem ankietę (dodałem kolejne pytanie).

[Mariusz]

Nie chciałbym Cię martwić, ale chyba grupa docelowa dla usługi to z tej niższej półki cenowej będzie.

Nikt rozgarnięty nie odda dobrych fotosów w obce ręce.  Niby to nie jest wiedza tajemna, a jednak

 

Edycja po Twojej edycji (dodaniu pytania do ankiety):

Harvester na moim serwerze w rozsądnym abonamencie, który zawiera w sobie pakiet proxy zdolny obsłużyć trudne zapytania (czyli odświeżany przykładowo co minutę).

Cena abonamentu zależna od np. od ilości proxy i ilości wątków.

 

M

[okazwłoka]

Właśnie czekałem aż ktoś tę kwestię poruszy.

[MKucinski]

Nikt nie odda footsów tak jak nikt nie oddał list... Takie rozwiązanie online nie będzie dla wyg, bo pewnie sporo ludzi ma swoje dedykowane rozwiązania lub sprawdzone swoje sposoby, ale dalej jest spore zapotrzebowanie na dobrej jakości proxy, które umożliwiałoby harvest z dobrymi prędkościami z wykorzystaniem algorytmów logicznych, to już nie jest takie hopsiup i dowolny program z prosiakami z proxymarketu, nawet wysokim pakietem daje przeciętne wyniki. Jakaś nisza na rynku jest. Pytanie tylko jakby to wyglądało w praktyce

[Mariusz]

Właśnie czekałem aż ktoś tę kwestię poruszy.

To jest dosyć istotne.

Nawet na najbardziej zaspamowanych skryptach można wyciągnąć miejscówki z id jedno czy dwucyfrowym (i to nie są świeżynki nowo zainstalowane na domenach, to fajne miejscówki przez nikogo nie znalezione).

Kwestia pomysłowości przy szukaniu i poświęconego czasu. Tego się nie oddaje

[Mariusz]

Harvester na moim serwerze

Nie ma to jak samego siebie cytować

Oczywista oczywistość, że oprócz google musi być możliwość odpytywania innych wyszukiwarek bing, yandex, yahoo, baidu ...

 

Edycja

Seznam też ma perełki.

[okazwłoka]

Możliwość odpytania innych wyszukiwarek to w sumie żaden problem.

 

Rozwiązania na własny serwer odpadają.

 

Zdaję sobie sprawę z tego, że tajemnych footprintów nikt nie będzie wklepywał. Większość footprintów to byłyby standardy typu inurl:wp-admin etc.

 

Wiadomo, żeby taki system miał rację bytu musi się po prostu klientowi kalkulować w porównaniu do własnego harvestu:

- koszt wdrożenia systemu (np. zakup softu)

- miesięczny koszt proxy

- miesięczny koszt serwera/serwerów

- czas poświęcony na pilnowanie poprawności działania

- czasem poprawki kodu lub abonament na soft

 

Według mnie jest to miesięczny koszt minimum 150 zł przy codziennym harvestowaniu.