robot + zaciaganie w php

[stub]

mam kolejne pytanie, ale nie wiem czy dobrze je zadam. mam plik w php(mase plikow)ktory do siebie zaciaga inny txt. teraz pytanie czy jak robot bedzie "giglal" ten plik to zawartos tego pliku txt bedzie bral pod uwage czy tylko szkielet w php.

dzieki z gory za odpowiedz.

[michal]

Robot będzie widział dokładnie to co ty widzisz jak odwiedzający stronę, czyli html.

[stub]

czyli nie zablokuja mnie jak zobacza ze np 100 stron bedzie mialo ten sam szkielet ,ale kazdy zaciaga inna zawartosc ? czy wazne do tego jest meta robots follow ?

[michal]

meta robots ważna jest jedynie jak chcesz zablokować robota.

Zobacz na to forum, ten sam szkielet inna treść.

[stub]

dzieki za poprzednia odp.

mam jeszcze pytanie jaki jest sposob/program/skrypt aby wiedziec kiedy jakis robot "wszedl" na dana strone ?

korzystam z webalizera, ale tam nie za bardzo moge doszukac sie jakiejs opcji, a surowe czytanie logow mozna zafundowac sobie raz, z nadmiaru czasu

dzieki za odp.

p/s/ naprawde chyba pierwsze forum z ktorego moza sie wiele dowiedziec 8)

[rattkin]

niestety nie ma takiego uniwersalnego programu. chociazby dlatego ze googlebot losuje sobie useragenta i podaje sie za rozne wyszukiwarki i crawlery. wszystkie skrypty jakie widzialem w sieci opieraja sie na wyszukiwaniu slowa "googlebot" z useragenta, a to jest rozwiazanie "takie se". logi wciaz pozostaja najwiarygodniejszym zrodlem. z statystyk to wole awstats.

[Adore]

niestety nie ma takiego uniwersalnego programu. chociazby dlatego ze googlebot losuje sobie useragenta i podaje sie za rozne wyszukiwarki i crawlery.

A skąd takie wnioski?

I jak zamierzasz wykryć fakt, że Google podaje się za kogoś zupełnie innego?