jak wedruja roboty?

[intruder2600]

zastanawia mnie jedna w sumie podstawowa sprawa - czy ktos wie jak robot chodzi po stronie?

- czy idzie z góry na dól od lewej do prawej?

- czy jak rozchodzi sie po linkach to sie jakby rozdwaja tzn. dzieli na nastepne roboty, które ida po linkach dalej "mnozac sie w postepie geometrycznym" czy po prostu indeksuje strone i wraca po linku z powrotem do tej z której wyszedl?

pytanie ma troszke charakter filozoficzny ale to chyba jest przydatne przy budowaniu strony, która ma byc pozycjonowana...

[zYm3N]

sprawdz stronke pod linksem/lynxem

Ewentualnie wersja tekstowa w kopii google. Myślę, że tak wygląda strona widziana oczami robota :-) (tutaj dla przykładu google.)

[michal]

Myślę, że tak wygląda strona widziana oczami robota

Nie zupelnie tak bedzie. Lynx jest przegladarka.

Przyklad

Robot pobiera strone i przekazuje ja do parsera. Parser wyciaga wszystkie linki ze strony razem z anchorem i nie sprawdza czy te linki juz ma w bazie, bo byla by to strata mocy obliczeniowej w tym punkcie.

Majac juz pule samych linkow z anchorami ze strony sprawdza czy lilnki juz ma w bazie i je uaktualnia na biezaco.

W ten sposob ostatnie linki w kodzie beda brane pod uwage.

To jest tylko przyklad, ale jak dziala parser to nie wiadomo, bo kazdy moze go sobie napisac na swoj sposob.

[intruder2600]

czyli tylko jedno pytanie mi sie nasówa - po tych linkach później wedruje dalej rozdzielajac sie ?

[rattkin]

temat rzeka, mozna by bardzo duzo pisac. przede wszystkim trzeba by sie zaznajomic najpierw z algorytmami przeszukiwan badz dokladnych badz (meta)heurystycznych. podstawowe dwa algorytmy to depth-first i breadth-first. tutaj szczatkowe informacje na ten temat, ale pozwoli to na dalsze poszukiwania.

https://www.searchtools.com/robots/robots-sims.html

co do rozdzielania sie - nie, raczej sie nie rozdziela, przynajmniej nie jak szalony, watpie. robot jako 'byt' takze potrafi obsluzyc skonczona liczbe polaczen. gdyby tak sie rozdzielal szeroko, wygenerowalby zbyt duzych ruch. zarowno zabojcze dla stron ktore odwiedza, jak i dla serwerow googla, wysylajacych roboty.

co do googla, to kiedys moze napisze wiecej jak wyglada indeksowanie stron i odpowiedz na query. ale to juz bedzie referat na godzine czytania

rada ogolna - pewnej wiedzy nie zdobedzie sie w internecie, badz pytajac na forum. dlaczego? wiekszosc bowiem ich czlonkow to ludzie, ktorzy seo zajmuja sie z 'doskoku', czyli kiedys sie z tym zetkneli i tak ich to wciagnelo, ze od tej pory caly czas robia testy i badania, by windowac wyzej swoje strony. jest to troche jak stapanie po jeziorze, nie wiedzac co na dnie, ale ostatecznie nie jest to koniecznie potrzebne (skoro sie udaje). niemniej jednak, jesli ktos jest bardziej zainteresowany teoria zbiorow, web miningu, ekstrahowaniu i interpolacji danych z dokumentow html, to trzeba niestety siegnac do ciezkich prac naukowych.

[piotrek]

co do rozdzielania sie - nie, raczej sie nie rozdziela

Jedną z prostych, testowych pułapek jaką kiedyś zastosowałem na robota google był Referrer - w testach zawsze ta wartość pozostawała pusta. Wydaje mi się że gdyby się rozdzielał bądź łaził po linkach Referrer wskazywałby po prostu poprzednią stronę.

[intruder2600]

dzieki za odpowiedzi, rattkin, mysle ze jakbys napisal taki "referat" o robotach to byloby to bardzo ciekawe... pomysl na tym

pozdrawiam!

[mihauu]

witam!

Referatu chętnie posłucham.

Jaką literature polecasz??

Jeśli chodzi o pozycjonowanie posiadam jedynie szzcątkową wiedze z tego typu forów i chętnie poszerzyłbym ją o coś konkretniejszego...

gdzie tego szukać?? bo w emkiku na pewno nie ma:(

pozdrawiam mihauu