Stary człowiek i może

[Sanchez Spinoza]

Zawsze roboty wydawały mi się może nie tyle nie bez sensu co niepotrzebne.

Ale tak było do dnia wczorajszego kiedy pierwszy raz od 3 lat przekroczyłem limit transferu na serwerze.

Tragedia. Wszystkie strony padły. Zadawałem sobie pytanie dlaczego? Przecież zawsze miałem spory zapas na koniec miesiąca. Ale serwis się rozrasta, dodaje się zaplecze i transfer wzrasta.

Co ma do tego robot.txt pomyślałem? I dowiedziałem się że właśnie roboty generują dość duży transfer na serwerze. Postanowiłem się przyjrzeć więc bliżej tej sprawie i w związku z mam kilka pytań.

1. Czy roboty szperając po moich stronach generują je w całości razem z obrazkami (czyli tak jakby człowiek przeglądał je przez przeglądarkę) ?

2. Czy nie najlepszy wyjściem jest zablokować dostęp wszystkich robotów oprócz google, onet, + inne polskie?

3. Czy mając katalog include/ (a w nim schematy generowania innych stron serwisu) i gdy go zablokuje to roboty nie będą pobierać/indexować reszty stron?

4. Czy aktualny "obraz mojej witryny" zostanie zapamiętany przez roboty gdy zablokuje do nich dostęp? czy powoli strony te będą usuwane z bazy wyszukiwarek?

[kmike]

Czytałem, że yahoo bot zżera strasznie dużo transferu, a reszta raczej jest pożyteczna.

[kucharz]

jeśli masz na myśli zablokowanie dostępu dla reszty botów przez robots.txt to zablokujesz tylko boty szukarek. Spamerskie i inne boty tylko pożerające transfer zazwyczaj nie robią sobie nic z robots.txt i musisz je banować po IP w .htaccess Radzę zacząć od analizy statystyk, zobacz co ci zżerało najwięcej transferu., a może po prostu już czas na większy serwer (większy transfer)

[Sanchez Spinoza]

A czy nie znasz może komendy jąką blokuje się w .htaccess konkretne IP?

Byłbym wdzięczny za podpowiedź (odpowiedź)

Czy jak powiedzmy zablokuje np. robota google na wszyskie strony to moje strony zaczną sukcesywnie znikać z wyszukiwarki google czy poprostu nie będą tylko aktualizowane?

[kob22]

https://www.forum.optymalizacja.com/index.php?showtopic=39854

https://www.forum.optymalizacja.com/index.php?showtopic=35561

Stary człowiek, a....

[Sanchez Spinoza]

Mam logi ostatnich odwiedzających i nie wiem czy dobrze je odczytuje. Oto przykładowy wpis:

Host: 213.158.197.100

/files/products/_civic%5B37%5D_m.jpg

Http Code: 200

Date: Apr 28 15:58:14

Http Version: HTTP/1.1

Size in Bytes: 3632

Referer: https://www.rufus.pl/?p=productsList&iC...amp;sName=SKODA

Agent: Mozilla/5.0 (Windows; U; Windows NT 5.0; pl; rv:1.8.0.12) Gecko/20070508 Firefox/1.5.0.12

I jak mniemam to nazwa HOST i podany adres IP jest potencjalnym botem który należy zablokować po przez zapis:

<Files 403.shtml>
order allow,deny
allow from all
</Files>

Deny From  213.158.197.100

Tylko skąd ja mam wiedzieć czy ten adres IP jest faktycznie botem/spamem a nie przwdziwym użytkownikiem?

[_kUtek_]

Tylko skąd ja mam wiedzieć czy ten adres IP jest faktycznie botem/spamem a nie przwdziwym użytkownikiem?

Sprawdź w google. ;-) https://www.google.com/search?client=opera&...-8&oe=utf-8