[program] Wyszukujący w katalogach, preclach, google, sie, PR Ultra SEO Master UCM

[greeck]

Wiem że juz pisałeś że program nie jest de facto tworzony pod wyciaganie maili ale ośmielę sie zaproponować funkcję która umożliwiłaby tworzenie bazy danych firm poprzez pobieranie danych (takich jak: branża, e-mail, adres, nazwa firmy, czy posiada strone www) z takich serwisów jak pkt.pl, zumi.pl, pf.pl, firmy.net Tak wygenerowane bazy świetnie by się nadawały do e-mail marketingu.

Propozycja może trochę zbaczajaca z głownego kierunku jaki obrała ta aplikacja ale pomyslaem sobie że jak tworzysz kombajn to w przyszłości może znajdziesz czas na takie funkcje.

[Mion]

Dziękuję za propozycję nazw, ale prosił bym o nie pisanie kolejnych propozycji gdyż zrobi się bałagan w zasadniczej cześć topicku.

Z góry dziękuje ...

@Propozycja może trochę zbaczająca z głownego kierunku jaki obrała ta aplikacja [...] to w przyszłości może znajdziesz czas na takie funkcje.

Jak mawiają czas pokaże na razie dokończę planowane funkcje i funkcje dodające do katalogów

@Może jakaś www by się przydała z ofertą ?

Oczywiście, że będzie strona programu z filmikami itd, ale do tego czasu pozostaje ten wątek lub kontakt z autorem programu

[arve_lek]

Google Harvester

- możliwość zaznaczania footprintów do skasowania więcej jak jednego
- możliwość zatrzymania harvestowania + wznowienie
- czas między zapytaniami do Google (z możliwością ustawienia random między np. 2-10 sekund)
- możliwość wyłączenia proxy w Google Harvester
- ustawienie filtrowania przy harvestowaniu według słów kluczowych, która muszą wystąpić w adresie url, w innym wypadku nie zostają uwzględniane
- brak możliwość eksportu wyników wyszukiwania, czy mi się wydaje ?
- możliwość ustawienia w locie filowania zduplikowanych adresów url
- po kliknięciu w przycisk unikalne, program powinien filtrować takie adresy:
 

https://seo-z.pl/
https://seo-z.pl/index.php
https://www.seo-z.pl
https://www.seo-z.pl/
https://www.seo-z.pl/index.php

i zostawić jeden.Chyba, że to będzie w obróbce linków

Obróbka linków

Moduł jeszcze nie gotowy, ale jeżeli ma to być taki sam jak w PingSEOMaster, to mam pomysł, który nigdy nie został zaimplementowany w żadnym programie do obróbki linków. Chodzi mi tutaj o filtrowanie adresów za pomocą wyrażeń regularnych. Czyli wczytuje listę wyrażeń regularnych i klikam w przycisk start. np.

Pierwsze wczytane wyrażenie regularne będzie miało najwyższy priorytet. Po lewej stronie znajduje się wyrażenie regularne, po prawej ciąg na który ma zostać zamieniony wyszukany adres

/forum(.*)#/forum/
/showthread.php(.*)#/

itp.

Jakbyś jeszcze stworzył narzędzie do definiowania wyrażeń regularnych to już w ogóle byłoby niesamowicie.

Inne funkcje - jako, że to ma być kombajn SEO

- mieszacz linków w treści. Wczytuje artykuł z synonimami i wybieram plik tekstowy z linkami i program mi ładnie automatycznie wstawia linki na początku, środku i końcu.

[Mion]

@czas między zapytaniami do Google (z możliwością ustawienia random między np. 2-10 sekund)

W pewnym sensie tak działa, bo program łączy się za pomocą proxy których czasy żądań są bardzo rozbieżne jednak dodatkowo wprowadzę random o n - n sekund.

@możliwość zatrzymania harvestowania + wznowienie

wystarczy suwak wątków przesunąć w lewo i program już się sam "zatrzymuje" za jakiś czas wznowić.

@możliwość ustawienia w locie filowania zduplikowanych adresów url

Program działa wielowątkowo, więc filtrowanie w locie kilkunastu tysięcy adresów jest dosyć kosztowe poza tym bezsensowne.

@po kliknięciu w przycisk unikalne, program powinien filtrować takie adresy:

Tu Masz jak najbardziej rację będzie to wdrożone z wykorzystaniem modułu do obróbki adresów.

------------

Zapomniałem napisać - wszystkie propozycje jakie Paweł podałeś zostaną rozpatrzone i zapewne ... wdrożone Tylko najpierw muszę dokończyć i wdrożyć moduł dodawania do seokaatlogów, bo sam go potrzebuje i jest to w tej chwili sprawa priorytetowa nad którą pracuję

OK, działam dalej

[arve_lek]

Wystarczy złączyć plik i złączony wczytać.

Szukam cały czas w mojej pracy, którą wykonuję dodatkowych sekund Stworzenie osobnego pliku raz, że zajmuje dodatkowe miejsce na dysku, dwa robi się bałagan, trzy zajmuje około 2-3 minut na odpalenie dodatku w Scrapeboxie i scalenie wszystkich adresów do jednego worka

Zostało dobrze zaprojektowane, bo jest dokładnie tak jak piszesz czyli

NP SEOKatalog#/admin/

Więc nie potrzeba nic więcej dodawać przy wczytaniu.

No tak, ale nie można wczytać listy for i podzielić je pod względem rodzaju skryptu. Np. w OmniSpeed czy damrowych programach wrzucam listę adresów i mi ładnie dzieli adresy na katalogi, fora itp. Wszystko do osobnego worka, a tu muszę wiedzieć jaki skrypt chcę weryfikować. Chyba, że czegoś nie widzę ?

Zapomniałem napisać - wszystkie propozycje jakie Paweł podałeś zostaną rozpatrzone i pewnie wdrożone Tylko najpierw musz dokończyć i wdrozyć moduł dodawania do seokaatlogów, bo sam go potrzebuje i jest to w tej chwili sprawa priorytetowa nad którą pracuję

Mam nadzieję, że poradzisz sobie z weryfikowaniem kategorii, bo z tego co wiem np. seoqucikadder nie radził sobie zbytnio z tym. Miało to być poprawione i pewnie jeszcze zostanie.

[Mion]

@e nie można wczytać listy for i podzielić je pod względem rodzaju skryptu.

Można - program zapisując wyszukane sam przypisze do typu skryptu nie wszystkie do jednego pliku wyszukane. Standardowo Prześlij mi na email lub PM listę nie dużą - testową pomieszanych do rozpoznania i zobaczę czy mówimy o tym samym.

@Mam nadzieję, że poradzisz sobie z weryfikowaniem kategorii

Ja też ... Choć z tego co widzę w testach to już sobie poradziłem w dodatku z priorytetami przy wybieraniu dla kategorii głównych i subkategorii. Ale najlepiej tą kwestię zweryfikują użytkownicy modułu.

[golum]

Może to banalne pytanie, czy jest eksport znalezionych serwisów do np. txt lub csv.

Bo nie mogę się doszukać

[Mion]

"znalezione" zapisywane są automatycznie w plikach TXT oraz te z wcześniejszych wyszukań archiwizowane.

Natomiast wyniki wyciągania anchor / link zapisywane są w CSV - wyciąganie linków zawierających zdefiniowany anchor;

[golum]

Ok. Dzięki

Max 20 wątków to po to by nie zajeździć maszyny?

Bo przydałoby się więcej

Ale program na prawdę warty polecenia. Szybki i wyciąga dość dobrze linki.

Pozostałe zabawki dopiero testuję.

[Mion]

@Max 20 wątków to po to by nie zajeździć maszyny?

Sprawa wygląda następująco - Nie zawsze większa liczba wątków oznacza szybsze działanie programu:

- gdyż każdy wątek czeka na przydział czas procesora zanim się uruchomi;

- im więcej wątków tym więcej zasobów komputera jest wykorzystywanych;

- im więcej wątków tym spada szybkość jednostkowego transferu danych w żądaniach HTTP i żądanie może się zakończyć timet out, bo serwer nie odpowie ;

- może się zdarzyć, że aktualnie sprawdzana grupa katalogów/precli itd jest na jednej fizycznej maszynie i zbyt duża liczba żądań w tej samej jednostce czasu powoduje błędy HTTP 500.

Uważam empirycznie, że 20 wątków wystarczy.

[Merf]

Mion > pytanie odnośnie wyciągania linków z phpLD bo wiem że padła taka propozycja. Przewidujesz to w najbliższym czasie ?

[Mion]

Problem polega na tym, że w znanych mi phpLD nie integralnej strony wpisu, więc program nie miał by czego zwracać.

Sam się dziwię, że w phpLD tak to jest zrobione.

[zoreander]

W opartych na wersji 2 nie ma, w nowszych są strony wpisów np https://www.demo.phplinkdirectory.com/phpld/detail/live-directory-8151.htm . Wersje stosunkowo łatwo wykyć bo w większości jest:

<meta name="generator" content="PHP Link Directory 4.2.0" />

[Mion]

Ooo to dobrze, ale znowu jest problem, bo:

dla wpisu:

https://www.demo.phplinkdirectory.com/phpld/detail/os-designer-phpld-templates-455.htm

Szukana domena: osdesigner.net znajduje: https://www.demo.phplinkdirectory.com/phpld/index.php?search=osdesigner.net

Jednak dla tej strony co Podałeś już nie

chris-pearce.net Sorry, no records found that match your keyword(s): "chris-pearce.net"

[zoreander]

A POST'em do https://www.demo.phplinkdirectory.com/phpld/search.php?type=advanced ?