robots.txt

[marioccp]

Nie znaleziony (Błąd HTTP 404)

URL (67) Ilość błędów Referenci

/images/p7m.jpg 365 https://bialkatatrzanska.turystyka.pl/galeria.html

/robots.txt 78 -

Zastanawia mnie ten plik robots.txt Potrzebny jest na serwerze?

[Erbit]

Zastanawia mnie ten plik robots.txt Potrzebny jest na serwerze?

Pusty by nie było 404 ? Nie.

[marioccp]

hehehe ten usmieszek na zdjeciu Sz.P Erbita pasuje do kazdej wypowiedzi

Ale ja dalej nie wiem co z tym robotem :/

[Erbit]

Moze warto bys poczytał wiecej o robotach !

W pliku robots.txt zawarte są informacje dla robotów. Kazdy szanujacy sie robot najpierw sprawdza ten plik, w ktorym miedzy innymi okreslasz czy zyczysz sobie wizyt robota czy tez nie. Dopiero po takiej kontroli pliku robots.txt jesli robot nie bedzie mial zabronione - wejdzie dalej.

Brak tego pliku oznacza ze nie masz zadnych informacji dla robotow wiec kazdy robot wejdzie dalej.

Jego brak nie jest szkodliwy (w senssie samego braku) a sam błąd 404 w tym wypadku nie mowi niczego złego. 404 (nie znaleziono) oznacza tylko tyle, ze nie znaleziono i nic wiecej !

A na Twe pytanie "czy..." odpowiedzialem "nie".

[marioccp]

Ok czyli wnioskuje ze brak pliku robots.txt nie ma wplywu na indeksacje,pozycjonowanie i wyniki w wyszukiwarkach

[Erbit]

Ok czyli wnioskuje ze brak pliku robots.txt nie ma wplywu na indeksacje...

Błedne wnioski !

Ma OGROMNY wpływ na indeksacje ! ! ! Natomiast samo 404 nie ma juz wpływu

Na poważniej. Brak robots.txt oznacza dla robotów - "Nie mam dla Ciebie żadnych instrukcji, indeksuj co chcesz".

[marioccp]

Szukalem na forum i nie znalazlem jak ma wygladac plik robots.txt i co trzeba wpisac na stronie. Znajdzie sie jakis fachowiec i udzieli cennych rad?

[Erbit]

Szukalem na forum i nie znalazlem...

To bardzo stara wymówka. Już mi Ciebie żal.. wyobraź sobie.

------------------------------------------------------------------------

Jestem leniwy (tak samo jak Ty).

Informacje na temat poleceń w pliku robots.txt dla poszczegolnych robotow odnajdziesz na stonach właścicieli (firm) robotów.

A Google to przepraszam padło !?!? -> https://www.google.pl/search?hl=pl&q=robots...aj+w+Google&lr=

[edyta]

Był - poczytał... Juz wszystko wiesz ?

dziękuje marioccp za współpracę!

[marioccp]

Czyli na stronie powiniem byc wpis

<meta name="Robots" content="ALL" />

i na serwerze:

zdefiniować pusty plik robots.txt,

zdefiniować plik robots.txt następująco:

User-agent: *

Disallow:

[Erbit]

R A T U N K U.....

[rpnet]

Czyli na stronie powiniem byc wpis

<meta name="Robots" content="ALL" />

i na serwerze:

zdefiniować pusty plik robots.txt,

zdefiniować plik robots.txt następująco:

User-agent: *

Disallow:

Tak jak CI Erbit napisał kilkakrotnie - jak chcesz żeby robot wchodził na każdą podstronę Twojej strony to nie dajesz pliku robots.txt, ale wtedy będziesz miał w statach błąd 404 który oznacza że nie masz na serwie pliku robots.txt (inaczej pisząc - ten 404 tylko CIę informuje że ktoś kto szukał pliku robots.txt nie znalazł go).

Jeżeli nie chcesz, żeby w 404 pojawiał się ten wpis o braku pliku robots.txt to utwórz na serwerze plik robots.txt i wpisz do niego to co napisałeś powyżej...

Mam nadzieję, że w miarę prosty sposób Ci to wytłumaczyłem.

Aha - zapomniałem dopisać że to co piszesz w meta:

<meta name="Robots" content="ALL" />

będzie informacją dla robotów korzystających z meta wpisów żeby przeczesać całą zawartość Twojej strony.

Pozdrawiam

rpnet

[FireFox]

Erbit spokojnie, oddychaj głęboko - jest za wcześnie żeby się denerwować

marioccp, oto co się dzieje, gdy nie ma pliku robots.txt:

Brak robots.txt oznacza dla robotów - "Nie mam dla Ciebie żadnych instrukcji, indeksuj co chcesz".

To że wcześniej jakieś narzędzie wywaliło 404, to stwierdzenie faktu że tego pliku nie ma - koniec.

jak ma wygladac plik robots.txt i co trzeba wpisac na stronie.

Na stronie nic. Plik robots.txt to zwykły plik tekstowy.

Przykłady:

searchengineworld.com/robots/robots_tutorial.htm

<meta name="Robots" content="ALL" />

To nie ma związku z robots.txt - tym metatagiem możesz nakazać robotowi indeksacje strony, ale zabronić podążania na linkami na stronie.

Plik robots.txt jest aby:

W pliku robots.txt zawarte są informacje dla robotów. Kazdy szanujacy sie robot najpierw sprawdza ten plik, w ktorym miedzy innymi okreslasz czy zyczysz sobie wizyt robota czy tez nie. Dopiero po takiej kontroli pliku robots.txt jesli robot nie bedzie mial zabronione - wejdzie dalej.

Znalazłem Ci jakieś narzędzie do generowania robots.txt, może sie przyda:

webmaster.net.pl/narzedzia_online/robots_generator.php

I nie denerwuj Erbita

[arve_lek]

Przyłącze się do tematu choć już trochę czasu minęło

Dzisiaj przydarzyło mi się coś dziwnego. Stworzyłem bloga na WP, wgrałem plik robots.txt a w nim m.in Disallow: /tag/ i po 10 minutach od publikacji postu wszystkie tagi mi się zaindeksowały w Google.

Miał ktoś coś podobnego? Google zignorowało plik robots, bo innego wytłumaczenia nie widzę.

[mysero]

Może wrzuciłeś plik robots.txt w złe miejsce, albo źle go napisałeś. Innego wyjaśnienia chyba nie może być.

Podpinam się z tematem o robots.txt.

Ja mam (dla mnie) bardziej skomplikowany problem z którym sam nie mogę sobie poradzić więc piszą tu:

1) Jest sobie strona A na domenie A

2) Niedawno została zrobiona nowa strona B na domenie B (Obie strony na samym serwerze)

3) Poprzez

<?php
header("HTTP/1.1 301 Moved Permanently");
header("Location: DOMENA B ".$_SERVER['REQUEST_URI']);
header("Connection: close");
exit;
?>

przekierowałem stronę A na stronę B.

Problem w tym, że po kilku frazach obie te strony są pod sobą w SERPach, dc jak się patrzy...

Chcę całkowicie usunąć stronę A z indeksu(czasem wchodzą na nią klienci, ale od razu są przerzucami na nową stronę...natomiast zależy mi aby znikła z indeksu).

Zrobiłem robots.txt który nie wpuszcza robotów do katalogu tej strony, jak również zablokowałem dostęp do samego pliku index.php.

W meta dałem też ="NOINDEX, NOFOLLOW"

W GWT zgłosiłem prośbę o usunięcie i dalej czekam.

Proszę pomóżcie, bo zaraz na mnie sankcje nałożą za DC.

Pozdrawiam serdecznie.

[Tzarin]

W GWT zgłosiłem prośbę o usunięcie i dalej czekam.

Proszę pomóżcie, bo zaraz na mnie sankcje nałożą za DC.

Jak ktoś ma pomóc? Czekaj do skutku...