[Google] Indeksacja podstron

[Rafal]

Czas trwania testu: 5 luty 2006 do dziś. Strona testowa będzie dostępna cały czas pod adresem https://www.rafal.waw.pl/testy/glebokosc/ , więc można nadal ją badać.

Celem było ustalenie:

-> Głębokość indeksacji nowych podstron przez Google. Nie badałem czasu indeksacji bo to zależy od wielu różnych czynników.

-> Czy strony z mod_rewrite są indeksowane szybciej i w większej ilości niż bez.

-> Jak wyżej, tylko badanie wpływu META NAME="GOOGLEBOT" CONTENT="INDEX,FOLLOW", dalej zwane jako "meta".

Metoda badań:

Cztery różne wersje podstron:

Wersja 1a - z mod_rewrite

Wersja 2a - bez mod_rewrite

Wersja 1b - z mod_rewrite + meta

Wersja 2b - bez mod_rewrite + meta

Strona główna https://www.rafal.waw.pl/testy/glebokosc/ linkowana z kilku stron z tego samego IP, power raczej średni. Nie linkowałem do testowych podstron.

Podstrony mają strukturę (linkowanie): page1 -> page2 -> page3 -> page4 -> ... -> [nieskończoność]

Wprowadziłem różne bzdurne teksty, żeby nie było duplicate content. "Element zaśmiecający" w linkach bez mod_rewrite jest po to, aby było więcej parametrów niż jeden.

Wyniki:

Strona z wynikami

1a - mod_rewrite

2a - bez mod

1b - mod_rewrite + meta

2b - bez mod + meta

========= 28 luty 2006, 11:14

1a +1

2a +1

1b +1+2 | 27.II., 2:16 -> 27.II., 3:45

2b +1

===================

* Liczba w nawiasie to łączna ilość stron w indeksie.

1a +1 (2)

2a +0 (1)

1b +0 (2)

2b +0 (1)

===================

1a +1 (3)

2a +1 (2)

1b +1 (3)

2b +1 (2)

===================

* Tu pewnie jeden update przegapiłem.

1a +2 (5)

2a +2 (4)

1b +2 (5)

2b +2 (4)

===================

1a +1 (6)

2a +1 (5)

1b +1 (6)

2b +1 (5)

Pierwsza indeksacja nastąpiła dopiero 28 lutego (5 lutego start), ale te czasy nie były przedmiotem testów.

Wszystkie podstrony zostały zaindeksowane jeden poziom wgłąb, poza "mod_rewrite + meta", gdzie od razu pojawiły się dwa poziomy. Wizyta gbota o 2:16 i już o 3:45 kolejny poziom.

Kolejny update wyników - Doszła jedna strona: 2. poziom strony "mod_rewrite BEZ meta". Brzydkie linki na razie nie ruszone.

Podczas wszystkich następnych aktualizacji pojawiały się strony z każdej grupy taka sama ilość. Czyli cały czas strony z mod_rewrite są o jeden poziom głębiej zaindeksowane.

Wnioski:

Mod_rewrite i meta googlebot mają wpływ na szybkość i głębokość indeksacji, ale jedynie na początku. Jednak ważniejsze jest mod_rewrite niż meta googebot, bo strona "mod_rewrite BEZ meta" została szybciej zaindeksowana niż "bez mod_rewrite + meta".

Przy okazji zauważyłem:

-> Dla zapytania allinurl:glebokosc site:rafal.waw.pl widać, że najpierw są wszystkie podstrony z mod_rewrite, a następnie wszystkie bez. Właściwie nic z tego na razie nie wynika, ale można sprawdzić, czy przy normalnym wpisywaniu słów, ta kolejność jest również zachowana. Trzeba zrobić nowy test bo ten tego nie przewidział.

-> Bzdurność ostatniego update PR.

[Erbit]

Dopiszę sie z uwagami:

1. Nie wykonywałem testów ale spostrzeżenia w oparciu o zmiany (przebudowy samych URL wielu serwisów na przyjazne wg mnie wyraźnie dowodzą wyższość przyjaznych URL (tak w szyskości jak i w głębokości indeksowania)). By to potwierdzić wykonam własne testy - do tej pory tego nie robiłem gdyż moje obserwacje były zbyt oczywiste i nie wymagały testów. Tak więc test Twój powtórzę wg własnego pomysłu gdyż nie zgadzam się z wnioskami.

2. Sądzę, że zakradł się tu błąd w opisie. Nie należy mówić o wpływie mod_rewrite a o wpływie przyjaznych adresów. To tylko sprostowanie - sądzę jednak , że dla nowych userów bardzo istotne.

Sam test piękny !

[Rafal]

Ad.1 Czasem pojawiały się opinie na forum, że przyjazne linki nie mają wpływu na indeksację. Miałem zamiar obalić tę tezę, ale niebardzo wyszło.

Być może test nie jest do końca wiatygodny, bo z każdej podstrony wychodzi tylko jeden link do kolejnej. Przydałoby się zrobić strony, gdzie z każdej podstrony wychodzi kilka linków do kolejnych.

Ad.2 Oczywiście chodziło mi o przyjazne adresy. Zrobiłem taki skrót myślowy, bo używałem mod_rewrite do testu.

A stronę testową potrzymam jeszcze długi czas, żeby zobaczyć kiedy przestanie indeksować i zacznie usuwać strony.

[MMP]

Zapomniałeś o jednym szczególe im wyżej link tym wyższa jego wartość dlatego nie powinieneś linkować do mapy a do pojedynczych testów.

Tylko trudno będzie odwzorować idealne wartości dla linków

[Hellz]

im wyżej link tym wyższa jego wartość

W tym wypadku nie ma to znaczenia, robiłem kiedyś test to badający, ale były to tak stare czasy, że nie mogę niestety przytoczyć wyników w tym dziale. Ogólnie, jeżeli linki znajdują się w jednym bloku i sąsiadują ze sobą, są traktowane po równo ze względu na pozycję - przynajmniej były jakieś 9 miesięcy temu.

[papieros]

1) Cos mi sie wydaje, na podstawie obserwacji (testow nie prowadzilem), ze rzeczywiscie kolejnosc

linkow ma znaczenie na szybkosc indeksacji.

2) Przydalby sie jeszcze test ze zmiana zawartosci strony bo (znow na oko) wydaje mi sie, ze przy czestych

zmianach tekstu googel szybciej indeksuje caly serwis . Ergo: mozna by zbadac czestotlo\iwosc odwiedzin bota w zaleznosci od czestosci zmian na stronie.

[EDDY]

2) Przydalby sie jeszcze test ze zmiana zawartosci strony bo (znow na oko) wydaje mi sie, ze przy czestych

zmianach tekstu googel szybciej indeksuje caly serwis . Ergo: mozna by zbadac czestotlo\iwosc odwiedzin bota w zaleznosci od czestosci zmian na stronie.

Poniekąd. Gdy zbyt wiele treści jest zmienianych i zbyt często, strona może wypaść całkiem z wyników. Taka ochrona przed generatorami stron.

Za to ja mam inny test. Reklamy AS są lepsze i jest ich więcej, gdy treść na stronie wisi przynajmniej 5-7 dni. Częste aktualizacje zmniejszają przychód z reklam.

[zergavis]

Test mało miarodajny - za mało podstron - wyniki na poziomie błędów statystycznych.

imho dla mnie sprawa indeksacji jest raczej jasna, niemniej jeśli ktoś chce to sobie udowodnić to proponuje zrobić inny test:

1. Stawiamy dwie kopie qlweb, otwartego.mini czy innego katalogu mającego możliwość włączania/wyłączania mod_rewrite.

2. Jedna kopia ma włączony mod_rewrite, druga wyłączony.

3. Kopie mają identyczny content - korzystają z jednej bazy (jest gdzieś do pobrania).

4. Kopie stoją na różnych domenach / subdomenach.

5. Kopie są identycznie podlinkowane z takiej samej liczby katalogów.

Zostawiamy to na parę dni i mamy jak na dłoni ilości zaindeksowanych stron w każdym przypadku.

6. Dla zabawy możemy na nich zamontować skrypt do łapania robotów, coby ich trasy dokładnie prześledzić (można by w tedy wykazać, że googlebot przechodzi na raz po większej ilości przyjaznych URLi w obrębie jednej domeny, niż w przypadku nieprzyjaznych).

Miarodajny i prosty eksperyment. Do roboty - ja nie mam czasu, ale ktoś ma okazję się wykazać

Pozdrawiam,

Z

[MMP]

5. Kopie są identycznie podlinkowane z takiej samej liczby katalogów.

Tego nigdy nie osiągniesz nawet jakbyś znał wszystkie algorytmy google, każdy link jest inaczej oceniany i ma inna wartość. WIęc nigdy nie stworzysz identycznego środowiska

[zergavis]

Tego nigdy nie osiągniesz nawet jakbyś znał wszystkie algorytmy google, każdy link jest inaczej oceniany i ma inna wartość. WIęc nigdy nie stworzysz identycznego środowiska

Piszesz tak, jakby robot G przyznawał dwóm linkom umieszczonym jeden pod drugim jakieś drastycznie różne "wagi" ze względu na własne widzimisie. Co tu może mieć znaczenie? To który link jest wyżej? Żaden problem - da się wyżej raz jeden raz drugi.

Ja wiem że 100% równowagi nie da się teoretycznie osiągnąć, ale to nie znaczy że test będzie niemiarodajny.

Nie popadajmy w paranoję

[Hellz]

To jest jak z kodowaniem analogowym i cyfrowym. MMP - dla Ciebie linki są oceniane analogowo, na kontinuum. Ja uważam, że Google robi to jak kodowanie cyfrowe - grupuje w pewne przedziały. Dlatego też piszę o tym, iż taka drobnostka nie będzie miała znaczenia i oba zostaną wrzucone do jednego worka.

[qlwik]

Potwierdzam, że przyjazne linki przyspieszają indeksację. Niedawno zainstalowałem 2qlweby (jeden bez drugi z przyjaznymi l.) oraz 8WP,z czego jeden był bez przyjaznych linków. Po około tygodniu wynik jest taki, że wszystkie strony oprócz tych bez mod rewrite ładnie się za indeksowały razem z podstronami. Te na których nie mogę włączyć tej funkcji mają póki co za indeksowaną jedynie stronę główną.

[zoozool]

Odkopałes wątek, z 2006 roku, rekord chyba

Test wg mnei nie aktualny (poniewaz algo sporo się w tym czasie zmieniło, nie mówię, że link z mod_rewrite słabiej się indeksują, wiadomo lepiej)