Skocz do zawartości

[program] Wyszukujący w katalogach, preclach, google, sie, PR Ultra SEO Master UCM


Mion

Rekomendowane odpowiedzi

Zmiany w programie pakietu USM

UltraSEOMaster - obecna wersja 2.3.5

Do moduły Google Harvester dodałem automatyczną podmianę proxy z zewnętrznego źródła np ProxyMarket.pl pakiety API . Co więcej źródeł może być wiele i są one losowo wybierane. Nowe pobranie proxy następuje przy uruchomieniu harvestowania oraz co 50 zakończonych pobrań dla footprint. Lista proxy z źródła nie może być mniejsza niż 10 proxy. Jak chodzi o proxymarket wklejamy do tego pliku link nie tylko sam kod API.

Ważne by plik z linkami do źródeł proxy który jest w katalogu Config/proxyapi.txt nie miał pustych linii pod ostatnim adresem. Jesli planujemy grubszą robotę proponuje przed harvestowaniem przygotować dodatkowo listę w klasyczny sposób proxy/ListaProxy.txt z której to będą brane proxy na wypadek gdyby nie udało się pobrać porxy z zewnętrznego źródła.

proxyzzewnatrz.jpg

wyborproxyapi.jpg

Poprawiłem też rozpoznawalność linków w module do wyciągania linków.

Program UltraSEOMaster 2.3.5 do podmiany z ZIP'a ze stałej lokalizacji :)

------

Zapowiadany program do sprawdzania pozycji w google przechodzi ostatnie testy, więc na dniach będzie wdrożony

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

  • Odpowiedzi 1,4 tys.
  • Dodano
  • Ostatniej odpowiedzi

@do tego typu katalogów miało zostać zrobione.

No właśnie do tego się dziś od rana przymierzam :pisze: Niestety dużo z puli auto_aprowe zostało wyłączonych z możliwości publikacji, a szkoda, bo nie ma różnicy czy zostanie dodany z automatu czy ten sam z synonimami z "ręcznika".

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Ok to jeszcze mam takie pytanie - puszczam harvestowanie tym softem i mam zebrane przykładowo 3 mln wyników, czy tak jak w scrapeboxie jest możliwość odfiltrowania całej takiej listy co do unikatowej domeny (nie tylko unikatowego url)? W scrapeboxie musze to robić po 1mln na 2 instancjach, a tak to by mi ułatwiło życie.

Odnośnik do komentarza
Udostępnij na innych stronach

@odfiltrowania całej takiej listy co do unikatowej domeny

Do tego służy moduł do obróbki linków :)

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

@odfiltrowania całej takiej listy co do unikatowej domeny

Do tego służy moduł do obróbki linków :)

ok ale chcę wiedzieć czy to zrealizuję - harvest np. 3-4 mln rezultatów , odsianie ich w tym module co do unikatowej domeny i wyeksportowanie do pliku. Bo scrapebox ma ograniczenie do takich zabaw na 1mln wyników, co mnie ogranicza i trace czas na odsiewanie.

Odnośnik do komentarza
Udostępnij na innych stronach

Screencast z usuwania duplikatów domen.

Jak wiać udało się dla listy ponad 2,2 miliony adresów. Pik listy testowej miał ponad 150 MB.

Dał by radę więcej, ale tryb wizualny czyli wczytania załadowanej wstępnie listy adresów do pola tekstowego nakłada organicznie, więc dla plików > 3 miliony linii musiała by obsługa tylko w pamięci bez niepotrzebnego ładowania do pola na linki.

Do tego jednoczesne nagrywanie screencasta znacznie spowalniało sortowanie

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Musiałem poprawić obsługę podmiany poroxy dla zewnętrznego źródła API w google Harvester gdyż pojawiły się pewne problemy <bug> który nie wystąpiły podczas testowania na localhoście, ale dopiero dziś na VPS.

Proszę podmienić na na obecną z ZIP'A UltraSEOMaster 2.3.6 ze stałej lokalizacji. Proxy z API podmienia się co 50 wywołanych wątków lub innymi słowy footprint z listy.

--

W razie pytań o tą nowa funkcjonalność jestem do dyspozycji najlepiej telefonicznie: 723 227 124 po godzinie 10 :)

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Witam,

mam kilka pytań - być może odowiedzi sa tu gdzieś na forum - ale 24 strony to dużo...:

1. kiedy będzie jakiś help z prawdziwego zdarzenia - szukanie funkcjonalności po forum jest troche uciążliwe (jesli moge zaproponować utworzę sieć socialbookmarkowo-web 2.0'ych kont - autor wybierze konto/konta które go interesuja :P - i nawet dodam treść )

2. czemu do dodawania wczytuje sie tylko 100 katalogów

a. czy jak się wczyta te 100 katalogów to jest usuwane z głównego pliku z katalogami

b. gdzie znajduja sie informacje dodane/nie dodane

c. oprócz kapcz sa jeszcze inne zabezpieczenia w katalogach np. podaj liczbe znaków - czy autor widzi możliwości sprawdzania liczby znaków i przekazywania do specyficznego pola input

d. czy jak dodam to od razu sa wyniki czy trzeba ich szukać "poszukiwaczem"

3. czy jak naciskam button sprawdzaj/dodawaj to sprawdzam czy dodaję? bo pojawiaja się informacje w takim stylu jak na screenkaście na zielono - ale nie mam info o dodaniu...

4. pytań pewnie pojawi się więcej - jednak dobry help w jednym miejscu - aktualizowany na bieżąco byłby prawdziwą pomocą

mam nadzieję, że nie sprawiam zbytniego kłopotu

pozdrawiam

Odnośnik do komentarza
Udostępnij na innych stronach

mam nadzieję, że nie sprawiam zbytniego kłopotu

Nie- nie jest to kłopot. Wszystkie odpowiedzi znajdziesz na screencast lub w tym topicku . Na instrukcję obsługi będzie trzeba jeszcze poczekać .

Ustosunkuje się tylko do jednego pytania:

"2. czemu do dodawania wczytuje sie tylko 100 katalogów"

100oddo.jpg

... nie można tego LEPIEJ wyeksponować :)

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Jak tylko się uporam < w końcu> z modułem do sprawdzania pozycji keywords w google to się zajmę serwisem www dla programu :)

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.


×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności