Sprawdzanie site

[Piotruś]

Witam, od dłuższego czasu walczę z własnym skryptem który ma sprawdzać site moim stronom. Eksperymentuje z różnymi zapytaniami jednak ciągle jest taki problem, że randomowo zdarzają się zaniżone wartości. Ma ktoś może jakiś złoty środek na to?:>

[Diego]

Te "zaniżone" wartości mogą być faktycznymi watościami.

Jakie zapytania stosujesz?

[Piotruś]

Te strony są pod swlami i swle wychwytują zawsze te 'dobre' wartości (które się pokrywają z moimi wynikami) gdyby nie te randomowe rezultaty które się czasami trafiają.

$query = 'site:https://'.$site['name'];

https://google.com/search?q='.urlencode($query).'&gl=PL&safe=off&hl=en&output=search&sclient=psy-ab&pws=0&filter=0&lr=lang_pl&gl=pl&cr=pl&ie=

Testuje to na kilkuset domenach, site sprawdzany jest codziennie. Nie ma zależności co do konkretnych domen. Ale zwykle dla nowych pokazuje ok, potem jak domena ma kilka k site, to zaniżenie jest do kilkuset, jak ma kilkanaście k site, to zaniżanie jest do kilku k. Początkowo myślałem, że to może kwestia DC z którym się łączę i robiłem testowe dni gdzie odpytywałem tylko jeden konkretny IP googla ale było to samo.

[sniver]

Zwróć uwagę jakie nagłówki - zwłaszcza user agent - wysyłasz do google. Z mojej wiedzy i doświadczenia wiem że ma to znaczenie. Mało tego - monitoruję kilka set fraz codziennie za pomocą własnego skryptu i sprawdzam m.in. site i niestety trzeba przyznać że bardzo czesto ta wartość jest inna, a zależy od pory dnia

I przy okazji, zobacz te swoje parametry w adresie po którym sprawdzasz - tu masz listę parametrów: https://www.rankpanel.com/blog/google-search-parameters/

[Piotruś]

Parametry nie są randomowe, dobierałem je z pełną świadomością/testowałem:) Co do useragent to też wyłapałem, że ma spore znaczenie (przez to można nawet dostawać totalnie inny ouput od standardowego - mówię o html jaki wypluwa), ale po testuje to jeszcze pod względem jakości wyników, dzięki za wskazówkę. A co do pory dnia to dokładnie jak mówisz. Próbowałem też robić tak, że sprawdzam np z 2-3 dc jednocześnie, ale to nic nie dało. Myślę też nad rozwiązaniem, że wartość ta jest np sprawdzana w ciągu dnia kilka razy i zostaje największa wartość.