Problem chyba z cloudflarem

[Pysio]

Hej mam olbrzymi problem u jednego z klientów. Pół jego serwisu wypada z indeksu bo dostaje kod 500, Failed: Server error (5xx). Ten problem postępuje i niedługo może stracić cały index. Z tego co udało mi się zaobserwować jeżeli mam ustawionego useragenta gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem i tak w kółko. W DNS nic nie widać. Co ciekawe nie działa subdomena www.STRONA.com natomiast inne subdomeny np. tralala.STRONA.com działa

 

Strona na Shopify może tam coś się kaszani? Niestety ja z od tej strony jestem noga a i właściciel strony nie bardzo.

 

Szukałem rozwiązań po internecie ale nic nie znalazłem. Na PW mogę podać URL do strony jakby ktoś chciał potestować.

 

Pozdrawiam

Pysio

Edytowane 11 Sierpnia 2023 przez Pysio

[Mion]

40 minut temu, Pysio napisał:

gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem

Zaloguj się do konsoli dal łebmasterów i pobierz jako stronę Google bot. Jeśli będzie w kodzie źródłowym nie będzie kodu strony,ale  kod od weryfikacji, to znaczy, że Google bot NIE ma dostępu do strony, wiec w konsekwencji serwis pewnie wypadnie całkowicie z indeksu.

[Pysio]

@Mion Chodzi Ci o inspect URL?
Jeżeli sprawdzam tam to dostaje

Page cannot be indexed: Server error (5xx)

 

Właśnie w konsoli zobaczyliśmy, że wybija nam coraz więcej 500 i stale rośnie. Strony, które obecnie w Indexing pages maja status 200 Przy test live URL pokazuje się kod strony poprawnie ale obawiamy się, że z czasem mogą wypaść.

 

Pozdrawiam

Pysio

[Mion]

Cloudflare to rewerse proxy, więc zwraca, to co uzyska od serwera, zatem raczej samo z siebie 500 nie zwróci.
W GSA > Sprawdzenie adresu URL > Przetestowana strona [ kod | zrzut ekranu | więcej informacji ]

 

[Arkadiusz]

Cytat

Z tego co udało mi się zaobserwować jeżeli mam ustawionego useragenta gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem i tak w kółko.

To akurat jest poprawne zachowanie ze strony CF, bo podajesz się jako googlebot nie będąc nim.

[Pysio]

2 godziny temu, Arkadiusz napisał:

To akurat jest poprawne zachowanie ze strony CF, bo podajesz się jako googlebot nie będąc nim.

Inne strony za cloduflarem nie daję takiego zachowania tylko ta. Przed chwilą sprawdzałem

Niestety nie mam dostępu do logów serwera aby zobaczyć co tam w nagłówkach.  Aby wyszukać innego powodu 500 dla googlebota.

4 godziny temu, Mion napisał:

Cloudflare to rewerse proxy, więc zwraca, to co uzyska od serwera,

Czyli szukać trzeba u dostawcy serwera. Będziemy iść w tamtą stronę.

 

Pozdrawiam

Pysio

[Mion]

9 godzin temu, Pysio napisał:

Czyli szukać trzeba u dostawcy serwera.

Napisałem, co Masz zrobić pobrać  stronę w GSA i zobaczyć, co jest w odpowiedzi. I w zależności od tego podjąć dalsze działania.

[Pysio]

Co to jest GSA?

 

Pytałem czy chodzi o sprawdzenie URL w GSC tam po sprwadzeniu dosaję kod 500. I wtedy nie mam kody HTML/screenshota/więcej informacji.

Przy test live róniez daje kod 500:

 

Pozdrawiam

Pysio

 

Edytowane 12 Sierpnia 2023 przez Pysio

[zgred]

@Mionpisał o GSA a miał na mysli GSC - pomylił softy

 

Jesli są błędy 500 to albo źle skonfigurowany hosting albo źle cdn lub wszystko naraz. W zakładce ustawienia->statystyki indeksowania masz na bieżąco co jest problemem - nie trzeba odpytywać z GSC co chwilę czy jest 500 czy nie.

Jest forum CDN i można poszperać za rozwiazaniem : https://community.cloudflare.com/t/5-error-for-google-bot/12941 

[Mion]

Tak, chodziło o Google Search Console = GSC Chodzi o to, że pobierając jak GoogleBot masz pogląd tego co zwraca CDN / Serwer, bo może nadgorliwy "administrator" zaimplementował globalną blokadę robotów sieciowych i "wylał dziecko z kąpielą"

LUB są błędy w aplikacji. Zleć programiście / osobie technicznej odpowiedzialnej za serwis analizę , bo tak na forum to możesz pytać , ale nikt Ci udzieli jednoznacznej odpowiedzi dlaczego masz 50x

[Grey Ronin]

23 godziny temu, Mion napisał:

dlaczego masz 50x

Warto też sprawdzić IP cloudflar-a pod kątem blokady antyspamowej. Nie jestem aż taki specjalistą.  Jak IP/domena trafiła na jakąś czarną listę to na pewno masz problem z pocztą. Nie wiem jak z googlebot-em.

[Pysio]

Update dla zainteresowanych. Support Shopify wskazał na :

Cytat

Podczas gdy strony renderują się bez problemów, Google widzi błąd 500, ponieważ używane jest przesyłanie strumieniowe, w którym dane są dostarczane jako porcje. Googlebot nie czeka na zakończenie, więc widzi 500 w odpowiedzi i wychodzi.

Zespól dalej walczy od strony serwera. Niestety problemem jest trudna walka o logi aby zajrzeć co i jak.

 

Pozdrawiam

Pysio

 

[Mion]

Nie wiem jakie "ponieważ używane jest przesyłanie strumieniowe, " jakie strumienie są wysyłane, ale do tego są też odpowiednie nagłówki :

header("Cache-Control: no-store");
header("Content-Type: text/event-stream");

 

23 godziny temu, Pysio napisał:

Googlebot nie czeka na zakończenie,

Gogebot wykonuje żądanie GET i każda normalna strona = dokument ( serwer) właśnie tego typu żądanie powinie obsłużyć prawidłowo. Nie wiem co tam macie pod maską, ale nie wykluczone, że cloudflare nie obsługuje tego typu ruchu. Sugeruje rezygnacje z cloudflare lub spróbowanie z Amazon CloudFront, który ma dużo opcji konfiguracji.

[Pysio]

Problem rozwiązany. Takie zachowanie było generowane przez jeden skrypt JS. Jakiś plik nie był dosyłany/generowany. Całość oparta była na headles Shopify. I po updacie frameworka Hydrogen problem został naprawiony. Nie wiem czy developerzy tylko zaktualizowali framework czy także coś sami wklepali. Dzięki wszystkim za pomoc.

 

Pozdrawiam

Pysio