Program/narzędzie pająk szukający linków

[zakręcony]

Czy może ktos spotkal się z narzdziem, do ktorego z jednej stronu wrzucamy listę stron A (plik txt czy ssv) gdzie powinny się znaleźć nasze linki, a z drugiej strony wrzucamy wszystkie nasze strony w podobniej liście B do których te linki powinny sie pojawiać? Pająk powinien przeszukać listę A i wyrzucić wszystkie lokalizacje występowania linków z List B (okreslając czy link jest dofollow, czy nie). Nie chodzi o zarzadznia linkami, a o przeszukiwanie prawdopodobnych pojawień się na stronach z listy B. Nie chodzi o posrednie rozwiązania typu wrzucam sobie jeden adres i sprawdzamy czy jest link do jednej wskazanej strony.

Jeżeli takiego nie ma, to może ktoś (odpłatnie - FV) by takie narzedzie mógł stworzyć? - tu poprosze o info na PW

edit:

dodam, że chodzi np o 2k stron na liście A i powiedzmy 100 stron na liscie B, więc wynik działania powinien być w jakis sensowny sposob przedstawiany

[AbA]

Dołączam się do pytania. Chcę odnaleźć linki do moich stron, które znajdują się we wpisach na domenach, które znam i których to listę posiadam. Oczywiście odpada wyszukiwanie w wyszukiwarce, jako że szukam wpisów, które nie zostały zaindeksowane.

Potrzebuję narzędzia, które na zasadzie przeszukania zawartości stron/podstron odnajdzie dane linki.

Czy ktoś z Was zna narzędzie o takiej funkcjonalności?

[zoreander]

Scrapebox link checker ?

https://www.scrapebox.com/free-link-checker

[arve_lek]

zoreander przeczytaj jeszcze raz pierwszy post a stwierdzisz, że autorowi tematu chodzi o coś innego.

Autorowi chodzi o program, który ja również szukam

W poniższym temacie zadałem pytanie:

Nie wiem jak program działa bo mi się wyłącza ale mam pytanie. Czy program sprawdza całą domenę w poszukiwaniu określonego linku czy trzeba podać mu konkretny adres ?

https://www.forum.optymalizacja.com/index.p...39647&st=15

Scrapebox link checker sprawdza ylko konkretne linki tak samo jak program Maximusa.

Ps. Chyba o to mu chodzi

[zakręcony]

Dokładnie, ja nie chcę sprawdzac czy link jest w spodziewanej lokalizacji, a chce wiedzieć czy wogóle jest w obrebie całej domeny.

[zoreander]

Tak czy siak można to zrobić Scrapeboxem najpierw zbierając zaindeksowane podstrony serwisów a później je sprawdzając czy jest tam Twój link (aczkolwiek będą to zaindeksowane w google/bingu/yahoo strony). Natomiast nie widzę tego rozwiązania od strony wydajnościowej.

[zakręcony]

Zaindeksowane strony mnie nie interesują, bo są już zaindeksowane - wtedy Scrapeboxem moge sprawdzić czy warto je bardziej "dowartościować"

Jezeli chodzi o stronę wydajnościową to jak było by takie narzędzie, wtedy można się nad tym zastanawiać, czy ma to sens czy nie

[AbA]

Zaindeksowane strony mnie nie interesują, bo są już zaindeksowane(...)

Właśnie o to chodzi - obaj potrzebujemy skryptu/programu, który jest niezależny od wyszukiwarek typu G, Y! itd.

Nie wiem, jak kolega zakręcony, mi jednak nie zależy szczególnie na interfejsie, mógłby to być prosty skrypt przeszukujący wszystkie podstrony domen z listy A i wyszukujący adresy z listy B, wyrzucający jako wynik tabelę z adresami, na których coś znalazł.

[zakręcony]

Nie musi byc na serwer, powinien obsługiwać proxy, cos jak CacheMaster Miona

[arve_lek]

Jakby co to ja mogę złożyć się na programistę aby taki program napisał. Oczywiście jeszcze wszystko zależy od $$$.

[Maximus Marius]

Taki program podpada pod atak DoS Atak

w prosty sposób mozna to zrobić za pomoca wget lub thtrack lub curl aby zapisać strone a potem

trzeba by tylko przeczesać pliki na obecność linków , potrzeba tylko odrobina znajomosci PHP/PYTHON/PERL itp. aby to trochę sobie zautomatyzować

jak by to miała działać lepiej to trzeba by napisać aplikację w Delphi/C++/C# czy cokolwiek bac co ma watki i po prostu napisać aplikacje wielowatkowa

która korzysta z kilkuset proxy

podejrzewam ze jak by temat rzucił na zlecenia przez net to znalazł by se ktoś kto to za 150zł zrobi

[AbA]

(...) mozna to zrobić za pomoca wget lub thtrack lub curl aby zapisać strone a potem

trzeba by tylko przeczesać pliki na obecność linków (...)

Przy 10000 różnych domen jakie mam do sprawdzenia zapis każdej w celu późniejszego jej przeszukiwania pod kątem sprawdzanych linków mogłoby to być niezbyt optymalnym rozwiązaniem...

podejrzewam ze jak by temat rzucił na zlecenia przez net to znalazł by se ktoś kto to za 150zł zrobi

Czy oprócz kolegów arve_lek i zoreander jest ktoś jeszcze chętny na taki soft? Mi napisanie czegoś takiego zajęło by mi samemu zbyt dużo czasu, a w kilka osób moglibyśmy się złożyć na program napisany profesjonalnie przez kogoś, komu nie zajmie to tygodni.

[it_management]

Proponuje wam zobaczyc ile transferu zuzywa program teleport do pobrania clej witryny. Moim zdaniem zalozenia projektu sa bledne.

Sciagniecie calej witryny(bez plikow graficnych ) wymaga duzej ilosci czasu nie mowiac o transferze (zakladam ze to sa np. katalogi albo precle albo blogi ktore maja tysiace podstron ).

A co dopiero realizacja czegos dla 1000 stron. Ci co pisza,ze jest to latwe do wykonania chyba nigdy w zyciu nie pisali crawlerow stron.

[zoreander]

Dokładnie, taki "programik" będzie porażką nie tylko dla korzystających ale i dla właścicieli stron które są "przeczesywane" .

[zakręcony]

Może będzie, może nie będzie. Nie pytam o etyke w wykorzystywaniu takiego programu, nie pytam o założenia (od nich jest osoba, która się zna na pisaniu takich aplikacji), mnie interesuje, czy jest program, który przeczesuje strony z listy A w poszukiwaniu linków do stron z listy B, który w wyniku działania da listę: Na tej stronie są linki do nastepujących stron w tych miejscach.

Oczywiście im mniej będzie inwazyjnym programem tym lepiej.

Jak do tąd nie padła tu nazwa takiego programu, więc może ktoś to napisze za $, jest kilka osób chetnych. Jeżeli cena będzie przsytepna, to się dogadamy, jak nie to nie.