Skocz do zawartości

Problem chyba z cloudflarem


Pysio

Rekomendowane odpowiedzi

Hej mam olbrzymi problem u jednego z klientów. Pół jego serwisu wypada z indeksu bo dostaje kod 500, Failed: Server error (5xx). Ten problem postępuje i niedługo może stracić cały index. Z tego co udało mi się zaobserwować jeżeli mam ustawionego useragenta gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem i tak w kółko. W DNS nic nie widać. Co ciekawe nie działa subdomena www.STRONA.com natomiast inne subdomeny np. tralala.STRONA.com działa

 

Strona na Shopify może tam coś się kaszani? Niestety ja z od tej strony jestem noga a i właściciel strony nie bardzo.

 

Szukałem rozwiązań po internecie ale nic nie znalazłem. Na PW mogę podać URL do strony jakby ktoś chciał potestować.

 

Pozdrawiam

Pysio

Edytowane przez Pysio

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

  W dniu 11.08.2023 o 18:12, Pysio napisał(a):

gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem

Rozwiń  

Zaloguj się do konsoli dal łebmasterów i pobierz jako stronę Google bot. Jeśli będzie w kodzie źródłowym nie będzie kodu strony,ale  kod od weryfikacji, to znaczy, że Google bot NIE ma dostępu do strony, wiec w konsekwencji serwis pewnie wypadnie całkowicie z indeksu.

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

@Mion Chodzi Ci o inspect URL?
Jeżeli sprawdzam tam to dostaje

Page cannot be indexed: Server error (5xx)

 

Właśnie w konsoli zobaczyliśmy, że wybija nam coraz więcej 500 i stale rośnie. Strony, które obecnie w Indexing pages maja status 200 Przy test live URL pokazuje się kod strony poprawnie ale obawiamy się, że z czasem mogą wypaść.

 

Pozdrawiam

Pysio

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

Cloudflare to rewerse proxy, więc zwraca, to co uzyska od serwera, zatem raczej samo z siebie 500 nie zwróci.
W GSA > Sprawdzenie adresu URL > Przetestowana strona [ kod | zrzut ekranu | więcej informacji ]

 

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

  Cytat

Z tego co udało mi się zaobserwować jeżeli mam ustawionego useragenta gdzie jest słowo "googlebot" wtedy dostaje pytanie od Cloudflare o weryfikacje czy nie jestem botem i tak w kółko.

Rozwiń  

To akurat jest poprawne zachowanie ze strony CF, bo podajesz się jako googlebot nie będąc nim.

"Szaleństwem jest chodzenie po ulicy z połówką melona na głowie i powtarzanie: Jestem chomikiem"

Dick Steele, Agent WD-40 [*]

Odnośnik do komentarza
Udostępnij na innych stronach

  W dniu 12.08.2023 o 06:59, Arkadiusz napisał(a):

To akurat jest poprawne zachowanie ze strony CF, bo podajesz się jako googlebot nie będąc nim.

Rozwiń  

Inne strony za cloduflarem nie daję takiego zachowania tylko ta. Przed chwilą sprawdzałem

Niestety nie mam dostępu do logów serwera aby zobaczyć co tam w nagłówkach.  Aby wyszukać innego powodu 500 dla googlebota.

  W dniu 12.08.2023 o 05:27, Mion napisał(a):

Cloudflare to rewerse proxy, więc zwraca, to co uzyska od serwera,

Rozwiń  

Czyli szukać trzeba u dostawcy serwera. Będziemy iść w tamtą stronę.

 

Pozdrawiam

Pysio

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

  W dniu 12.08.2023 o 09:35, Pysio napisał(a):

Czyli szukać trzeba u dostawcy serwera.

Rozwiń  

Napisałem, co Masz zrobić pobrać  stronę w GSA i zobaczyć, co jest w odpowiedzi. I w zależności od tego podjąć dalsze działania.

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

Co to jest GSA?

 

Pytałem czy chodzi o sprawdzenie URL w GSC tam po sprwadzeniu dosaję kod 500. I wtedy nie mam kody HTML/screenshota/więcej informacji.

abf6f859b3e78.png

Przy test live róniez daje kod 500:

e3f53e2eb1904.png

 

Pozdrawiam

Pysio

 

Edytowane przez Pysio

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

@Mionpisał o GSA a miał na mysli GSC - pomylił softy ;)

 

Jesli są błędy 500 to albo źle skonfigurowany hosting albo źle cdn lub wszystko naraz. W zakładce ustawienia->statystyki indeksowania masz na bieżąco co jest problemem - nie trzeba odpytywać z GSC co chwilę czy jest 500 czy nie.

Jest forum CDN i można poszperać za rozwiazaniem : https://community.cloudflare.com/t/5-error-for-google-bot/12941 

Agencja marketingowa Semgence istnieje na rynku od 2018 i odpowiada za prowadzenie działań SEO dla wielu firm małych i dużych. Prowadzimy też kampanie Google Ads - niedawno zostaliśmy sie Partnerem Google spełniając odpowiednie kryteria. Betapoint

 

 

Odnośnik do komentarza
Udostępnij na innych stronach

Tak, chodziło o Google Search Console = GSC :) Chodzi o to, że pobierając jak GoogleBot masz pogląd tego co zwraca CDN / Serwer, bo może nadgorliwy "administrator" zaimplementował globalną blokadę robotów sieciowych i "wylał dziecko z kąpielą" ?

LUB są błędy w aplikacji. Zleć programiście / osobie technicznej odpowiedzialnej za serwis analizę , bo tak na forum to możesz pytać , ale nikt Ci udzieli jednoznacznej odpowiedzi dlaczego masz 50x ?

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

  W dniu 13.08.2023 o 08:13, Mion napisał(a):

dlaczego masz 50x

Rozwiń  

Warto też sprawdzić IP cloudflar-a pod kątem blokady antyspamowej. Nie jestem aż taki specjalistą.  Jak IP/domena trafiła na jakąś czarną listę to na pewno masz problem z pocztą. Nie wiem jak z googlebot-em.

𝓒𝓸𝓰𝓲𝓽𝓸, 𝓪𝓻𝓻𝓲𝓹𝓲𝓸 𝓭𝓲𝓮𝓶, 𝓿𝓲𝓿𝓸, 𝓬𝓻𝓮𝓭𝓸, 𝓮𝓽 𝓼𝓹𝓮𝓻𝓸, 𝓱𝓾𝓶𝓪𝓷𝓲𝓽𝓪𝓽𝓮𝓶 𝓷𝓸𝓷 𝓭𝓮𝓼𝓽𝓻𝓾𝓬𝓽.

Odnośnik do komentarza
Udostępnij na innych stronach

Update dla zainteresowanych. Support Shopify wskazał na :

  Cytat

Podczas gdy strony renderują się bez problemów, Google widzi błąd 500, ponieważ używane jest przesyłanie strumieniowe, w którym dane są dostarczane jako porcje. Googlebot nie czeka na zakończenie, więc widzi 500 w odpowiedzi i wychodzi.

Rozwiń  

Zespól dalej walczy od strony serwera. Niestety problemem jest trudna walka o logi aby zajrzeć co i jak.

 

Pozdrawiam

Pysio

 

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

Nie wiem jakie "ponieważ używane jest przesyłanie strumieniowe, " jakie strumienie są wysyłane, ale do tego są też odpowiednie nagłówki :

header("Cache-Control: no-store");
header("Content-Type: text/event-stream");

 

  W dniu 18.08.2023 o 18:15, Pysio napisał(a):

Googlebot nie czeka na zakończenie,

Rozwiń  

Gogebot wykonuje żądanie GET i każda normalna strona = dokument ( serwer) właśnie tego typu żądanie powinie obsłużyć prawidłowo. Nie wiem co tam macie pod maską, ale nie wykluczone, że cloudflare nie obsługuje tego typu ruchu. Sugeruje rezygnacje z cloudflare lub spróbowanie z Amazon CloudFront, który ma dużo opcji konfiguracji.

  • Like 1

HTTP 200 usługi IT -> Dariusz Janicki | Realizacja serwisów www oraz oprogramowania w PHP / C# / Golang / Node.js / MySQL/ Laravel
Komory normobaryczne - normobaria.tech Wykonawca montażu i instalacji komory normobarii

Odnośnik do komentarza
Udostępnij na innych stronach

  • 2 tygodnie później...

Problem rozwiązany. Takie zachowanie było generowane przez jeden skrypt JS. Jakiś plik nie był dosyłany/generowany. Całość oparta była na headles Shopify. I po updacie frameworka Hydrogen problem został naprawiony. Nie wiem czy developerzy tylko zaktualizowali framework czy także coś sami wklepali. Dzięki wszystkim za pomoc.

 

Pozdrawiam

Pysio

  • Like 1

Domondo.pl nowy sklep z osłonami przeciwsłonecznymi

Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności