GSite Crawler :-(

[corregidor]

Cześć wszystkim

JEżeli już ktoś taki post wprowadzał, to przepraszam, może nie zalazłem. Chciałbym Was zapytać o jedną rzecz.

Po raz pierwszy z życiu i komputerze tworzę sitemap (jestem debioutantem) przy pomocy narzędzia GSite Crawler, o którym czytałem, że jest bardzo dobre.

Jest teraz czwartek 9:15 rano.

Wpuściłem roboty GSite do mojej strony wczoraj po południu, czyli mija terazjuż kilkanaście godzin, w panelu widzę, że czeka >25000 URLi do przejścia, a moja domenka to jest niewielki sklep internetowy, z setką produktów.

Chciałbym Was zapytać, czy to jest normalne, że malutki sklepik ma tyle tysięcy URL-i, czy też możliwe jest, że coś gdzieś się zapętliło. i powieniennem przerwać działanie programu i poszukać czegoś innego.

Będę bardzo wdzięczny za pomoc, bo trochę mnie to niepokoi

Pozdrawiam

corregidor

[xradar]

Rozumiem, że w oknie Crawler coś się dzieje cały czas?

URL może wyjść sporo. Przykładowo lista produktów, potem ta sama lista produktów w innym sortowaniu itp itd...

[corregidor]

Rozumiem, że w oknie Crawler coś się dzieje cały czas?

URL może wyjść sporo. Przykładowo lista produktów, potem ta sama lista produktów w innym sortowaniu itp itd...

Tak,

Cały czas Gsite "mieli" i gdy się temu przyglądam, widzę rzeczywiście jakieś profile wyszukiwania, różne języki itp.

Czy dobrze rozumiem, że to jest coś w rodzaju macierzy, gdzie tworzą się linki każdej strony do wszystkich innych możliwych ?

Jeśli tak, to rzeczywiści e może tyle być, choć jeszcze nie spotkałem się w tak długim czasem działania programu.

Dzięki za odpowiedź :-)

[Krisss]

Bez odpowiednich filtrów GSiteCrawler bardzo łatwo się zapętli, zwłaszcza w sklepach (pewnie osC). Wystarczy dodać parę filtrów, żeby wędrował tylko po produktach, albo wyciąć niepotrzebne rzeczy.

[corregidor]

Bez odpowiednich filtrów GSiteCrawler bardzo łatwo się zapętli, zwłaszcza w sklepach (pewnie osC). Wystarczy dodać parę filtrów, żeby wędrował tylko po produktach, albo wyciąć niepotrzebne rzeczy.

Dzięki,

crawler cały czas mieli, ale ilość URLi zaczęła maleć, czyli w tym tempie za jakieś 2 doby zakończy.

Czytam po forach i blogach- zrozumiałem, że ten program dość wolno działa i trzeba to zaakceptować :-)

A mógłbyś podpowiedzieć może- gdzie o takich filtrach można poczytać, bo opis na stronie crowlera chyba nie posiada takich informacji

[Krisss]

W projekcie masz zakładkę Filter, tam dodajesz reguły w Ban URLs, np takie rzeczy jak dodanie produktu do koszyka, pytanie o produkt, itp

[corregidor]

W projekcie masz zakładkę Filter, tam dodajesz reguły w Ban URLs, np takie rzeczy jak dodanie produktu do koszyka, pytanie o produkt, itp

Witaj :-)

Odkryłem to i zacząłem ustawiać bany, w międzyczasie dostałem programik o nazwie xenu służący do diagnozowania url i zasięgnąłem wiedzy w necie.

Chyba mój sklepik generuje dynamicznie strony, zauważyłem, że są błędy w linkowaniu, które się powtarzają przy tworzeniu nowych stron i stąd te tysiące uri. Kaszanka. Jako debiutant od razu kilka ciężkich dla mnie problemów rzuciło mi wyzwanie.

Ale poradzę sobie :-)

[Krisss]

zamiast meczyc sie z GSite Crawlerem kilka dni lepiej sobie napisać prosty skrypcik, który wygeneruje mapę strony z bazy danych

[venon]

Ja generuje pare sitemap pod serwis dzieki stronie

https://www.xml-sitemaps.com/

Za darmo wygenerujesz sitemap z 500 podstronami co w moim przypadku się sprawdza tworząc pare różnych takich mapek pod 1 serwis.

Potem wszystkie pod

www.google.com/webmasters

i gotowe

Problem z dużymi sitemapami rozwiązany ( przynajmniej pod serwisy z paroma k podstron) :-)

[corregidor]

zamiast meczyc sie z GSite Crawlerem kilka dni lepiej sobie napisać prosty skrypcik, który wygeneruje mapę strony z bazy danych

Dzięki :-)

Próbuję różnych sposobó, ten o którym piszesz jest bardzo obiecujący i będę w tym kierunku szedł. Teraz mam ewność, że strony tworzą mi się dynamicznie, poza tym mają setki lików do różnych przycisków typu kup teraz itp, co gsite widzi jako link do url-a. gsite wymięka na tym moim sklepiku

Dzięki i jeszcze raz dzięki. W parę dni mój poziom widzy dzięki waszym odpwiedziom podniósł sie o paręset procent :-)

Trudności pokonam