[Program] Serpmaster Nowy Program - Zapytanie O Funkcje.

[Mion]

Ile mniej więcej trwa sprawdzenie np 20 tys proxy ?

Czas sprawdzania proxy zależy od czynników takich jak:
- Ilości wątków roboczych i ilości połączeń jakie dana maszyna może jednocześnie nawiązać ;
- Szybkości łącza;
- Ustawionego TimeOut;
- Oraz stosunku proxy które odpowiedzą w czasie krótszym od ustawionego TimeOut do tych które ten czas osiągną.
Właśnie piszę nie moduł, ale plugin do sprawdzania proxy, więc jak to w praktyce będzie wyglądać okaże się niebawem.

mnie również interesuje wydajność i stabilność,

Mnie też to interesuje

[it_management]

Mion twoja odpowiedz jest bardzo wymijająca sprawdzanie proxy praktycznie nie zajmuje łącza. Praktyka pokazuje ze odpowiednio napisana aplikacja nie obciąża też prawie procesora (zakładamy, że mówimy o jakims i7 ).

Generalnie idea softu fajna aczkolwiek jest dość duże prawdopodobieństwo, że z wydajnością/stabilnością będą problemy. Dlaczego - rozmiar aplikacji .

[Mion]

proxy praktycznie nie zajmuje łącza.

Zależy o jakim sprawdzaniu proxy mowa.

ze odpowiednio napisana aplikacja nie obciąża też prawie procesora

Nie zgodzę się z tym absolutnie. Zwłaszcza aplikacje oparte na połączeniach HTTP.

że z wydajnością/stabilnością będą problemy.

Rozmiar aplikacji nie ma nic wspólnego z jej wydajnością. Co do wydajności to stawiam na wielofunkcyjność, a nie wyśrubowana na maxa wydajność.

Poza tym wydajność jest pojęciem bardzo względnym, więc dla jednego użytkownika 10 dowolnych operacji na minutę zakończonym sukcesem będzie wydajnością duża, a inny 1000 uzna za małą.

[INOMan]

Mnie interesuje wydajność :

Czyli porównanie z już dostępnym i sprawdzonym softem takim jak : sick marketing , zennoposter

Dwa stabilność :

Czy np Twój soft stabilnie działa z dużymi listami np. pliki po 1 Gb.

IT potrzebujesz dedykowanego softu który można rozproszyć na kilka maszyn na raz, tak, żeby można to było uruchomić na klastrze

[Mion]

sprawdzanie proxy praktycznie nie zajmuje łącza.

Teraz mogę podać wyniki ilościowe dla pluginu:

Proxy były pobrane z list "na żywca z netu" TimeOut był ustawiony na 10 sekund.

Sprawdzano unikalnych: 16.564 proxy w czasie 21 minut 40 sekund.

Co mnie zaskoczyło to faktycznie < byłem sceptykiem> bardzo niskie obciążenie procesora ok 2 - 5% na najtańszym VPS v-win 1

Nie wiem, czy to jest dużo, czy nie, bo nie mam skali odniesienia. W każdym bądź razie jak na tą aplikację, która nie jest dedykowana do sprawdzania proxy wynik uważam za dobry.

[it_management]

Gscraper - sprawdzenie 4 tys proxy zajelo ok 1.5 minuty .

[Mion]

Zwiększyłem liczbę wątków i wydajność zrosła:

Projekt SERPMaster nie ma być absolutnie konkurentem dla Gscrapera pod względem wydajności harvestowania, czy też sprawdzania proxy. Skupiam się na zupełnie innych funkcjach, a sprawdzanie proxy jest dodatkowo. Ale dzięki IT za porównanie, bo przy okazji, wiem, że wydajne sprawdzanie proxy wcale nie wymaga dużych zasobów.

OK, to by było na tyle na temat proxy. Zabieram się za główne funkcje programu

----

Przy okazji tego sprawdzania proxy przyszła mi teraz pewna myśl jak dodatkowo ten plugin wykorzystać jako wewnętrzne źródło proxy API do serpmaster'a.

---

Ogłoszenie kupna /barteru: https://www.forum.optymalizacja.com/topic/192605-barterkupno-roznego-rodzaju-list-do-seo/#entry1337708

[Mion]

Informacja dla zainteresowanych.

Oficjalne wydanie programu SerpMaster się trochę przedłuży, gdyż dodatkowo pracuje nad wbudowanym w programie, a nie jak planowałem modułach funkcyjnych bardziej rozbudowanym testerem dla proxy.

Wychodzę z założenia, że lepiej zrobić coś dobrze od samego początku niż wydać "na szybko" półprodukt i później poprawiać ...

Pozdrawiam

[neon103]

Hm, jak idzie praca nad narzędziem SerpMaster?

[Mion]

Hmmm, tak idzie, że doprowadza moją firmę do bankructwa

Idea programu jest dobra, ale w praktyce/ z tego co widzę spóźniona o dobre dwa lata. Na moduły które mi przychodzą do głowy nie ma zapotrzebowania, bo już są w innych programach w tym i moich lub obsługiwane platformy jak SEOkatalogi tracą IMHO wykładniczo na znaczeniu. Dodam, że napisanie modułu do dodawania do seokatalogow, czy też blogów na wp to pikuś.

"Paliwem" programu od samego początku były moduły i platforma uruchomieniowa <program SerpMaster.exe> jest w zasadzie gotowa. Moduły funkcyjne można napisać w: C#, Pythonie, PHP, więc może potencjalni użytkownicy programu będą mieli koncepcje na własne moduły. Moduł funkcyjny użytkownik może napisać samemu, co jest dedykowanym sposobem lub zlecić mi odpłatnie jak i bezpłatnie. W tym wypadku program na abonament by się całkowicie nie sprawdził, więc taka forma została odrzucona.

Reasumując - na dniach przygotuje moduły demo i opisy obrazujące potencjalne możliwości programu i zobaczymy co dalej z tym fantem zrobić

[Qbexus]

Ja bym dopracował program główny i rzucił ludziom żeby sami pisali dodatki tak jak w zeno jest. Potem z czasem możesz pisać zarówno na zlecenie jak i z pomysłów zaczerpniętych z forów itp. Tak naprawde można skopiować ideę zeno i poprawić jedynie wydajność bo to jest jego pięta achillesowa. Jak już ludzie popisza dodatki to całość zacznie się kręcić sama musi być jednak dostęp do jakiejś taniej wersji podstawowej bez abonamentu. To tak jak w zeno można okroić wielowątkowość.

[Mion]

Nie da się poprawić wydajności aplikacji typu zennoposter która oparta jest o silnik przeglądarki. Zresztą jak by taka możliwość była zrobili by to wydawcy zennoposter'a - to takie moje IMHO.

[seolution]

Do zenno większość osób nie pisze dodatków, tylko je sobie układa. Tutaj, niestety, ludzie musieliby mieć znajomość programowania.

[neon103]

Reasumując - na dniach przygotuje moduły demo i opisy obrazujące potencjalne możliwości programu i zobaczymy co dalej z tym fantem zrobić

Czekam i czekam... już tydzień czasu. Coraz częściej myślę, że nic z tego nie będzie i pieniądze poszły w błoto...

Dnia 27 marca informował Pan, że prace trwają intensywnie wiec 7- 14 dni to już raczej max. Ile czasu minęło...

Jedno narzędzie nie dokończone, a 5 maja na forum reklamowane nowe. Gotowe...

[zoozool]

Też jestem jedną z tych osób co zaufało marce i softach(i słowach bez screenów) Miona, mam nadzieje, ze warto było.