googlebot i robots.txt

[PeterRiley]

Mam w robots.txt:

User-agent: *

Disallow: plik1.php

Disallow: plik2.php

Dzis nad ranem crawl-66-249-71-29.googlebot.com zrobil sobie wedrowke po linkach typu /plik1.php?xxxxx.

Dlaczego tak sie stalo? Cos zle wpisalem?

[Dżyszla]

plik1.php != /plik1.php (chyba)

[PeterRiley]

plik1.php != /plik1.php (chyba)

No a czemu się równa, gdzieś musi być osadzony w strukturze katalogów Ten plik jest w tym samym katalogu (glownym dla domeny) co robots.txt

[Dżyszla]

!= - czyt. różne (notacja C) jak wolisz, to napiszę tak: <> (notacja Pascala)

O ile mi wiadomo, to w robots.txt zawsze daje się pełne lokalizacje względem domeny. A ograniczenia dotyczą od lokalizacji, w głąb.

plik1.php

wskazuje na plik, do którego jednak nie istnieje ścierzka. Nie ma czegoś takiego, jak roboczy katalog. Zawsze musi być to lokalizacja zaczynająca się od katalogu głównego (/) będącego jednocześnie domeną.

A wiec: /plik1.php a nie plik1.php

Poza tym - radziłbym również zrobić zabezpieczenie na poziomie pliku uzywając meta tagów. Nie kazdy robot słucha robots.txt.

--------

PS. Z tymi lokalizacjami to tlyko moje przypuszczenie - nie jest to informacja pewna.

[PeterRiley]

!= - czyt. różne (notacja C) jak wolisz, to napiszę tak: <> (notacja Pascala)

Znam jedna i druga "A czemu rowna" nie znaczylo "A dlaczego rowna" tylko "Jesli nie temu, to czemu innymu rowna" ;-)

O ile mi wiadomo, to w robots.txt zawsze daje się pełne lokalizacje względem domeny.

Zasugerowalem sie tym co pisza na https://www.searchengineworld.com/robots/ro...ts_tutorial.htm

Przyklad: "Disallow: email.htm"

Tez zastanawialem sie nad slashem kiedy wgrywalem ten plik, ale skoro madzrejsi tak podali w tutorialu... ;-)

[EDDY]

Jeśli nie działa

Disallow: plik1.php 

Disallow: plik2.php

to zrób

Disallow: /plik1.php 

Disallow: /plik2.php

Wtedy się przekonasz, czy to wystarczy.

[PeterRiley]

to zrób

Disallow: /plik1.php 

Disallow: /plik2.php

Wlasnie tak zrobilem, coz mi pozostalo

Dzieki za sugestie.

[Dżyszla]

Znam jedna i druga Smile "A czemu rowna" nie znaczylo "A dlaczego rowna" tylko "Jesli nie temu, to czemu innymu rowna" ;-)

No to źle zrozumiałem

Ale rada ta sama j/w.