googlebot i rel="prefetch"

[zero3]

interesuje mnie zachowanie robota google, ktory napotka w head np taki tag

<link rel="prefetch" href="https://www.domena.pl" />

prefetching służy przeglądarkom, więc oczywiscie robot nic sobie w tle nie sciaga ale czy ignoruje te strone, czy idzie po linku...? moze ktos robil testy?

[jez]

Zachowuje się normalnie, jak gdyby był to zwykły link.

Pozdrawiam, J.

[zero3]

zwykły link...

mam katalog z mapą pobieraną przez google, w katalogu prefetch link do wiki

no i wiki mimo marnego linkowania indexuje sie rewelacyjnie, podejrzewam, ze zasysając mapę za każdym razem wypuszczał robota do wiki...

btw to piękny ukryty link

jeśli rzeczywiście, to żadnych tam noscript czy innych lewych sztuk nie trzeba by ukryć przed userem a robotowi dać jeść

[pneuma]

Pytania dotyczące ładowania wyników z wyprzedzeniem

1. Co to jest „ładowanie wyników z wyprzedzeniem” i jak wpływa ono na moją witrynę?

W niektórych przypadkach Google stosuje podczas wyszukiwania specjalny tag rozpoznawany przez przeglądarki Firefox i Mozilla. Tag ten stanowi dla przeglądarki polecenie ściągnięcia wyniku z najwyższej pozycji, zanim jeszcze użytkownik kliknie jego link. Po kliknięciu najlepszego wyniku wyszukiwania strona docelowa zostanie załadowana szybciej niż zwykle. Tag jest wstawiany tylko wtedy, gdy prawdopodobne jest, że użytkownik kliknie pierwszy link.

Na przykład, kiedy użytkownik przeglądarki Firefox wyszukuje hasło [jagielloński], Google wstawia w kodzie HTML strony z wynikami wyszukiwania następujący tag:

<link rel="prefetch" href="https://www.uj.edu.pl/">

Szczegółowy opis działania tego tagu zawiera dokument Mozilla Link Prefetching FAQ (aktualnie tylko w języku angielskim).

Ładowanie wyników z wyprzedzeniem może mieć wpływ na Twoją witrynę, ponieważ żądanie ładowania z wyprzedzeniem zostanie wysłane bez względu na to, czy użytkownik kliknie link danego wyniku. Może się to zatem wiązać ze zwiększeniem ruchu na serwerze. Google wstawia tag tylko w razie wysokiego prawdopodobieństwa kliknięcia wyniku z pierwszej pozycji, ale ocena prawdopodobieństwa nie jest oczywiście trafna w każdym przypadku.

2. Czy można rozróżnić żądania ładowania z wyprzedzeniem od zwykłych żądań?

Tak. Jak wynika z opisu w dokumencie Mozilla Link Prefetching FAQ (aktualnie tylko w języku angielskim), żądania ładowania z wyprzedzeniem zawierają dodatkowy nagłówek HTTP.

X-moz: prefetch

3. Chcę blokować/ignorować żądania ładowania z wyprzedzeniem. Co trzeba zrobić?

Aby blokować lub ignorować żądania ładowania z wyprzedzeniem (z Google i innych witryn internetowych), należy skonfigurować serwer internetowy tak, aby zwracał kod odpowiedzi HTTP 404 na żądania zawierające nagłówek „X-moz: prefetch”.

https://www.google.com/webmasters/faq.html

więc raczej nic z tym wspólnego nie ma

[zero3]

pneuma, aleś wkleił

1. google używa prefetchingu w popularnych serpach

2. prefetching był (jest?) wykorzystywany w acceleratorze google

tak więc nie tyczy się to tylko mozilli, google wykorzystuje to na swój sposób.

stąd moje dociekanie co z tym linkiem zrobi robot...

[EDDY]

Czyli link prefetch daje sztuczne wejście na stronę?

A dla G przekazuje moc normalnie?

[zero3]

bez obiektywnego testu nie da się nic powiedzieć.

wstawie link z rel="prefetch" do strony której nie ma w google i nie ma do niej innych linków. wówczas się okaże, czy robot przejdzie.

[pneuma]

Nie da się zrobić obietywnego testu. Bo nieby jak. powstawiasz prefetch i odizolujesz to od normalnego indeksowania w jakis sposób?

[jez]

Właśnie dokładnie tak jak napisałeś.

[MMP]

Jest problem natury googlebot

To że google chodzi po wszystkich linkach już wiadomo, ale jak sprawdzić czy wejdzie tak jak to jest w specyfikacji tego tagu. Tj. czy po wejściu na strony X odrazu wejdzie na Y?

[atweb]

Witam!

Test zapuszczony... jak googlas odwiedzi stronkę z linkiem, zdam raport

[EDDY]

Odwiedził już?

[atweb]

Raport

Google, od dnia zamieszczenia rel="prefetch", odwiedziło i wzięło stronkę do cache jeden raz. Niestety strona umieszczona w prefetch nie zainteresowała Google. Może nie jest to pełny i dokładny test, ale można wstępnie wywnioskować, że Google nie "łyka" takich stronek.

Pozdrawiam

[zero3]

u mnie wynik identyczny.

[tomlie]

Google, od dnia zamieszczenia rel="prefetch", odwiedziło i wzięło stronkę do cache jeden raz. Niestety strona umieszczona w prefetch nie zainteresowała Google. Może nie jest to pełny i dokładny test, ale można wstępnie wywnioskować, że Google nie "łyka" takich stronek.

A sprawdzałeś na wszystkich DC? U mnie od jakichś 2 miesięcy żeby strona pojawiła się w site: musi upłynąć sporo czasu (niekiedy powyżej miesiąca) i w tym czasie mam co najmniej kilka wizyt bota. W niektórych przypadkach miałem tak, że po pierwszej wizycie strony nie było na żadnym DC (nie mówię o kopii, tylko o obecności w indeksie w ogóle).