limit 1998

[mf]

Interesowało mnie zawsze jak Google indeksuje strony, głównie jakie są to etapy.

4 nowe domeny i postawione do testów: qlweb z bazą (site ok 36000) dmoz, sztucznie generowana treść (ok. 50 000 podstron) oraz katalog cncat (26 000 site).

Przywaliłem adderem do wszystkich katalogów.

Pierwszy etap - google bot pojawił się po 2 dniach od uruchomienia addera, nie wchodził głęboko.

Drugi etap - sporadyczne wizyty bota, nigdy głębiej

Trzeci etap - strona pojawia się w indeksie.

Czwarty, dla mnie najciekawszy - bot wchodzi na podstrony głębiej. Uwaga, nie szukam sensacji ale na każdej ze stron wlazł na 1997 odnośników czyli obejrzał z każdej domeny dokładnie po 1998 ostron! Czekam na indeksację, ciekawe jaki site się pokaże.

Jak u Was przebiega indeksacja?

[drawaclub]

Ja do tej pory indeksowalem poprzez linki ale zaczalem korzystac z sitemap (dodanie strony do narzedzi googla i zgloszenie sitemapy) i jestem mocno zaskoczony efektami - indeksacja jest bardzo szybka w moim przypadku 1000 podstron zaindeksowalo sie w przeciagu 2 dni zaraz po dodaniu aktualnej sitemapy.

[mb]

a ile bylo pobran robots.txt? I czy doliczyles je do tych 1998 ?

[harbi]

@franek - z jakiego narzędzia do śledzenia aktywności botów korzystasz na swoich stronach?

[mf]

Autorski skrypt w php

[harbi]

Przed chwila znalazłem darmowy skrypt do badania aktywności botow o nazwie CrawlTrack. Demo: https://www.crawltrack.fr/crawler/

U mnie na serwerze skrypt działa i zlicza wizyty. Dużym plusem jest możliwość podpięcia wielu stron pod jedna kopię skryptu.