robots.txt - Majestic zwraca 403

[oktus]

Cześć! 

Mam problem, z którym prosiłbym Was o pomoc. Majestic zwraca błąd 403 Forbidden próbując uzyskać dostęp do robots.txt. Nawiasem, wklepując z przeglądarki, robots.txt normalnie mogę odczytać. Data ostatniego crawlowania przez MJ12BOT to 12 sierpnia. Z tym terminem kojarzę zainstalowanie w Wordpressie wtyczki iThemes Security (Dawny Better WP Security). Nie mogę natomiast absolutnie doszukać się żadnej opcji w ustawieniach, która pozwala na nadanie uprawnień dla pająków. 

Poza tym zainstalowane wtyczki typu W3 Total Cache, Autooptimize itp. W .HTACCESS nie widzę żadnej wzmianki o odmowie dostępów dla botów. 

Gdzie powinienem szukać przyczny? 

Dzięki z góry za pomoc! 

Pozdrawiam!

[ttah]

Serwer może mieć zablokowane boty. Na współdzielonych się to trafia, by oszczędzać zasoby. A MJ12bot potrafi zeżreć masę CPU i transferu. On jest dość agresywny.

Ale nie przejmuj się tym botem, nie jest on do szczęścia potrzebny. Dane dla Twojej strony będą i tak dostępne w majestic.com.

[oktus]

Dzięki za odpowiedź. Właśnie niestety od kiedy Majestic przestał crawlować moją stronę, statystyki linków nie aktualizują się, chociaż poszły od tamtej pory 2 miesiące linkbuildingu. Ręcznie dodanych zostało ok. 70 linków.

[jimmi]

Chyba blokowania botów przez hosting to stare czasy. Pewnie jednak, w robots.txt masz taki wpis

 

Wysłane z telefonu

 

 

 

 

[oktus]

Niestety nie. Wręcz robots.txt nie jest jeszcze poprawnie zoptymalizowany. Blokuje jedynie indeksację regulaminu, polityki prywatności i powiadomienie o cookies. Poza tym User Agent: * Allow: /

[jimmi]

Daj na pewno site to może coś poradzę bo tak to tylko można spekulować w nieskończoność

Wysłane z telefonu