Skocz do zawartości

Adresy zablokowane przez PUSTY plik robots.txt


apnoe

Rekomendowane odpowiedzi

Plik robots.txt na serwerze jest pusty (teraz w razie co zmieniłem na "User-agent: * Disallow:") - roboty msn, google adsense, yahoo slurp (ten się panoszy ostatnio jak głupi - 5 w nocy - 800 połączeń) wchodzą bez problemu. Natomiast googlebot był u mnie ostatnio 5 maja a w błędach indeksowania mam kilkaset adresów nie zaindeksowanych w związku z blokadą w robots.txt z datą 9 maja. Dodam, że wczesniej googlebot był u mie codziennie. Ktos ma jakiś pomysł dlaczego tak się dzieje?

edit:

Analiza tych zablokowanych linków w narzędziach webmastera przy pustym robots.txt dała wynik "zaakceptowany", natomiast przy takim robots na jaki zmieniłem dała wynik "Dozwolony w wierszu 2: disallow:"

Kulturystyka to taki sport gdzie najważniejszy jest odpoczynek (regeneracja), następnie dieta i trening a dopiero na końcu suplementy.

Organizacje Mixed Martial Arts (mma): Pride, UFC, Cage Rage, Dream, KSW.

Odnośnik do komentarza
Udostępnij na innych stronach

Zarchiwizowany

Ten temat przebywa obecnie w archiwum. Dodawanie nowych odpowiedzi zostało zablokowane.

  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności