[program] Wyszukujący w katalogach, preclach, google, sie, PR Ultra SEO Master UCM

[arve_lek]

Czy mi się wydaje czy nie można korzystać z prywatnych proxy w Google harvester high-tech ?

[Mion]

Z tego co widzę we własnym kodzie to też można korzystać z "prywatnych proxy" o ile źródło proxy API zwraca w takim formacie jak dla pozostałych: IP:PORT#login:hasło.

Jako źródło proxy można zastosować plik wysłany na serwer z kolejnymi proxy od nowej linii z tym, że musi być ich minimum 10 i mogą to być proxy "prywatne" czyli z hasłami IP:PORT#login:hasło lub bez IP:PORT Z tym , że idea high-tech polega na źródle proxy API które wysyła inne proxy do podmiany :]

[arve_lek]

ok, to pytanie czy wbudowany Google Harvester radzi sobie tak dobrze jak harvester high-tech ? Prócz podmianą w locie zbanowanych proxy czymś się różni ?

[Mion]

@Prócz podmianą w locie zbanowanych proxy czymś się różni ?

- Możliwością wczytania dużych list np 1.000.0000 footprint i więcej < czyli tym co między innym i Ty postulowałeś;

- Zapisywaniem wyników tylko w pliku;

- Innym obsługą proxy;

- Innym silnikiem pobierania;

- I chyba osiągami Np pobrał 18.445.993 ~ 18 milionów adresów z googe .

[arve_lek]

Rzeczywiście proponowałem to

Dałoby radę dorobić high-tech obsługę prywatnych proxy z pliku tekstowego? Mając 100 prywatnych proxy i ustawiając odpowiednio odstępy między pobieraniem danych nie trzeba podmieniać proxy w locie. 100 proxy w zupełności wystarcza. Chciałem przetestować ten moduł i porównać z harvesterem w Scrapeboxie

  W dniu 14.11.2012 o 17:30, Mion napisał(a):

@Prócz podmianą w locie zbanowanych proxy czymś się różni ?

- Możliwością wczytania dużych list np 1.000.0000 footprint i więcej < czyli tym co między innym i Ty postulowałeś;

- Zapisywaniem wyników tylko w pliku;

- Innym obsługą proxy;

- Innym silnikiem pobierania;

- I chyba osiągami Np pobrał 18.445.993 ~ 18 milionów adresów z googe .

[Mion]

@Dałoby radę dorobić high-tech obsługę prywatnych proxy z pliku tekstowego?

Paweł - w moim przekonaniu jest to sprzeczne z ideą modułu "high-tech" która polega między innymi na tym, że proxy są pobierane z zewnętrznego źródła które z założenia powinno wysyłać inne proxy przy kolejnej podmianie. Możesz to emulować tak jak opisałem wyżej. Obsług proxy z pliku w tym serwyjnym module wprowadzać nie planuje. Zobacz też tu

---

@Chciałem przetestować ten moduł i porównać z harvesterem w Scrapeboxie

Pewne porównania są już dostępne z tym, że dla starego modułu google garvester. Jak już pisałem Google Harvester Hight Tech działa na trochę innej zasadzie.

[Mroczo]

Mion mam pytanie czy rozpoznawanie plików high-tech ma jakiś określony limit ? mam tu na myśli sytuację w której wgrywam do USM listę do rozpoznania 100k i mam ustawione wykrywanie 10 różnych rodzajów katalogów i przy każdej liście większej niż 100 k po ponad 2 h program się zawiesza i (_|_)

[Mion]

Program nie narzuca limitu co do wczytania chyba, że lista jest ogromna kilkanaście milionów wtedy adresów do rozpoznania i może nie udać się jej w wczytać z powodu braku przydzielonej pamięci do dokończenia operacji. Zawieszenie może być spowodowane, wieloma czynnikami niekoniecznie związanymi z programem, ale też systemem, łączem, sprzętem itd....

Możesz przenieść licencję na inny komputer lub dostać czasową dodatkową aktywację i sprawdzić.

Możesz też przesłać do mnie listę + footprinty i przy czasie sam przetestuję na VPSie z https://www.e24cloud.com/.

[Mroczo]

OK dzięki za info, postaram się jeszcze powalczyć, ale jak mi się nie uda to nie omieszkam się do Ciebie odezwać

[Rzezniczek]

Nie mogłem tego znaleźć. Podpowiedzcie czy można tak samo jak w sblinkcheckerze zrobić z wyszukiwaniem występowania linków po blaście:

1 wczytuję listę linków (nie jeden link) które poszły na blast

2 wczytuję listę "udanych" dodań z dodawarki

3 wyszukuję wszystkie linki

Zatrzymałem się na pkt. 1. Wiem jak dodać jeden link do sprawdzań ale jak dodać całą listę linków do wyszukania?

[Mion]

  W dniu 14.11.2012 o 21:30, Mroczo napisał(a):

to nie omieszkam się do Ciebie odezwać

Nie omieszkaj.

@Rzezniczek: Możesz wczytać listę "wczytuję listę "udanych" dodań z dodawarki" i na tą listę przeszukać dla konkretnych ciągów znaków np domeny wyciągnąć liki dla danej domeny. https://www.forum.opt...30#entry1084764

[Mion]

Małe zmiany w programie UltraSEOMaster

1) Poprawiłem bug z wyciąganiem emaili ze stron zawierających emaile w dubdomenie.

2) Dodałem przycisk szybkiego usuwania duplikatów z listy wyszukanych emaili / linków / innych ciągów znaków

Pakiet programów USM:

- UltraSEOMaster 2.5.4 Beta

- KatalogiSubmitter 1.6.5 Beta

- PozycjeKeywords 1.0.1 Beta

- SiteIndeksator 1.2.1 Beta

Z tego linka proszę pobrać obecną wersję: https://www.http200.pl/wyszukiwacz/SEOwyszukiwaczBeta.zip

[Cordor]

Dzięki za szybką reakcję, jak zwykle zresztą

[Mion]

Prezentuję kolejnego wydawcę SeoKatalogów na multikody grupa WFU.pl - https://katalogi.wfu.pl/ w ramach listy: Oferta wydawców katalogów na multikody. Do których można dodawać wpisy za pomocą programu KatalogiSubmitter z pakietu programów USM.

Standardowo zamieściłem: screencasts z dodawania wpisów do seokatalogów w dwóch miejscach jest time out, ale to nie problem, bo dodawanie można powtórzyć np ręcznie kliknąć na adres. Dwa razy ta sama domena nie wejdzie

[Rzezniczek]

No chyba coś nie tak robię. Blast szedł np. na 200 domen. I teraz tak robię:

- Zakładka "wyszukiwanie ciągu znaków"

- "Footprint wczytaj" wczytuję plik txt 200 linkowanych domen

- "Wczytaj adresy do przeszukania" wczytuję listę wielu tysięcy linków z blastu

- Klikam "Wyszukaj" i wyskakuje napis "Pusta lista footprint - słów do szukania"