robot, głupi robot

[Czar]

Mam problem z Yahoo.

Z góry zaznaczam,że forum przeszukałem...

Problem mój jest taki, ze mam pewną ( ) domenę, której subdomeny sa generowane dynamicznie do poziomu 2 (czyli po chłopsku: domena.pl generuje odpowiedni kontent dla sub2.sub1.domena.pl skryptami PHP).

Google sobie z tym radzi.

Yahoo natomiast indeksuje mi kolejne poziomy subdomen, które bierze z powietrza, bo ja w swoich linkach nigdzie nie mam wiecej niż 2 poziomy.

Dzis zauwazyłem, ze robot Slurp z Yahoo indeksuje strony z 5 poziomem subdomen, czyli sub5.sub4.sub3.sub.2.sub1.domena.pl.

Już wczesniej zauwazyłem, ze Slurp indeksuje również moje strony z wymaigonawymi katalogami, czyli... subX...domena.pl/dir1/dir2/..../dirX2. Katalogi bierze na początku z mojej innej strony na tym samym IP, gdzie nie mam subdomen, natomiast mam podkatalogi. Tylko że jak mam domena2.pl/dir1/ oraz domena2.pl/dir2/ to za chwilę Slurp sprawdza domena2.pl/dir1/dir2/, domena2.pl/dir1/dir1/, domena2.pl/dir2/dir1/, domena2.pl/dir2/dir2/...

Wszystko w porzadku przy stronach statycznych.

Gdy jednak są to strony dynamicznie generowane przez PHP i mod_rewrite to robi się z tego niezły kipisz.

I juz wiadomo, dalczego Yahoo ma zawsze kila razy więcej stron zaindeksowanych z danej domeny niz Google..

Czy ktoś wie, dlaczego Slurp tak sie zachowuje i potrafi jakos go usprawiedliwić???

A może ktoś ma pomysł, jak temu zapobiec??

Na razie nie pozycjonuje w Yahoo zbyt intensywnie, ale ko wie, kiedy to się przyda...

A moje dynamiczne strony w ilości milionów w indeksie chyba w tym nie pomogą...

[MMP]

Adres serwisu?

[Erbit]

Adres serwisu?

Przestań... trza powróżyć.

Na powazniej... wpisz w przeglądarce adres nieistniejącej subdomeny (np na poziomie przykladu sub5) i sprawdź co Tobie odpowie Twoj serwer... powinien zwrocic 404. Jesli jest inaczej - to przemysl sprawe. Stawiam na źle skonstruowany serwer (Wild..)

[mrtn]

to nie robot jest głupi a skrypt php źle napisany - to chyba oczywiste - skoro pozwala na definiowanie subdomen spoza określonego zakresu - jeżeli nie zrobiłeś ograniczeń i liczysz, że roboty bedą ideksować ci to bez końca to szybko wylądujesz nie tam gdzie oczekiwałeś.

[TanieOdzywki]

Ciekawe dlaczego nie podał jaki to serwis znacznie to by ułatwiło sprawe. Pozdrawiam