Zablokowanie strony

[machu123]

Witam

Sprawa jest prosta. Jestem administratorem strony https://historyk.eu/

Miałem konflikt z nieuczciwym pozycjonerem, i pod koniec swojej działalności postanowil on uprzykrzyć nam życie. Dodam tylko, jak on to mówił, że ma range eksperta na tym forum;) A więc od czasu owego konflktu, robot google ma zablokowany dostęp do stroy. W narzędziach webmastera wyświetla się taka informacja:

https://historyk.eu/robots.txt 4 934 6 cze 2012 200 (Operacja powiodła się) Googlebot ma zablokowany dostęp do adresu https://historyk.eu/

Plik robots.txt wygląda tak:

User-agent: *

Disallow:

Nie wiem co może byćnie tak, co on mógł zrobić. Strony praktycznie nie ma w google.

Proszę was, prawdziwych ekspertów o pomoc.

[shaun_black]

Zmień treść pliku na:

User-agent: *

Allow: /

Poza tym, że zablokował dostęp do strony (czego nie powinien był robić), mógł też usunąć wcześniej dodane przez siebie linki.

[machu123]

O linkach to to ja wiem. Ale czym różni się:

User-agent: *

Disallow:

OD

User-agent: *

Allow: /

Czy przypadkiem twój kod nie zablokuje całej strony?

Proszęo wyjśnienie który robots.txt jest dobry, i czy ten z allow podany przez kolegę ejst na 100% dobry i nic nie blokuje.

[zeki]

to wywal plik i po krzyku... Skoro nie zamierzasz blokować robotów to jest Ci niepotrzebny. Albo jak nie chcesz wywalać to zmień mu nazwę poprzez dodanie jakiejś literki do nazwy.

Allow - pozwól

Disallow - odrzuć chyba nic więcej tłumaczyć nie trzeba?

[machu123]

Disallow to znaczy kolego nie zezwalaj. Dobra zapytam tak czy taki plik:

User-agent: *

Allow: /

pozwala na dostęp do mojej strony wszystkim robotom?

[M@k]

Nie mieszajcie mu. Oby dwa kody nie zablokują Google i są równoważne.

User-agent: *

Disallow:

OD

User-agent: *

Allow: /

Dopiero ten zablokuje;

User-agent: *

Disallow: /

[shaun_black]

Tak

[machu123]

A teraz jeszcze jedno pytanie, skoro robots.txt mam dobry https://historyk.eu/robots.txt to co może jeszcze odpowiadać za brak dostępu robota google. Serwer wykluczcie bo właśnie otrzymałem odp z boku.

[mkr]

w .htaccess blokada, lub w źródłach PHP ukryty kod identyfikujący useragent / IP google

[Vexatus]

A teraz jeszcze jedno pytanie, skoro robots.txt mam dobry https://historyk.eu/robots.txt to co może jeszcze odpowiadać za brak dostępu robota google. Serwer wykluczcie bo właśnie otrzymałem odp z boku.

Podany przez Ciebie adres do pliku robots.txt zwraca 404...

[machu123]

Właśnei przed chwilą usunąłem plik robots.txt Google ma teraz pełen dostęp do strony, prawda? Posłuchałem notki zamieszczonej na strone google:

Plik robots.txt jest potrzebny tylko w przypadku, gdy witryna zawiera treść, której wyszukiwarki mają nie indeksować. Jeśli wyszukiwarki mają indeksować całą witrynę, plik robots.txt ? nawet pusty ? jest całkowicie zbędny. Jeśli nie masz pliku robots.txt, Twój serwer zwróci błąd 404, gdy Googlebot o niego poprosi, a my będziemy kontynuować indeksowanie Twojej witryny. Nie ma żadnego problemu

Chyba, ze lepiej warto mieć ten plik który i tak będzie prowadził do dotępu?

EDIT: Jednak przywrócilem plik robots.txt

[ap_seo]

jeszcze w robots sie daje link do sitemapy

[machu123]

A dlaczego pomimo takiego pliku robots.txt:

User-agent: *

Allow: /

Sitemap: https://historyk.eu/sitemap-index.xml

Zablokowane mam 3243 url-i