Śledzenie pozycji w wyszukiwarkach

[Diwi]

Saint, tylko zauważ że przy sprawdzaniu przez Google API nie zawsze otrzymasz aktualne wyniki !

Pozdrawiam

[Yrek]

Wpisując zapytanie w wszukiwarce też możesz otrzymać nie zawsze akutalne wyniki, bo np. dostaniesz wyniki z innego DC.

Wpisując zapytanie w innym miejscu też mozesz dostac inne wyniki bo inne DC.

API wydaje mi się sensowne tak samo jak zapytania bez API.

Jaki ma sens monitorowanie i reagowanie na pozycje z dnia na dzien? Czy jestesmy w stanie widzac spadek jednego dnia podniesc sajt tak by nastepnego znowu byl na gorze ?

Jak bardzo "nieswieze" sa wyniki bez API ? A moze pochodza z innego DC ?

[Saint]

Zgadzam sie z kolega wyzej... poza tym zadna metoda nie da ci 100% pewnosci

[papieros]

mkr: A tak sie ladnie zapowiadalo, ze przydatne itp, hmm...

Na jakim serwerze to dziala, ze obciazenie ? czy aby nie na superhoscie?

bo jesli na sh to uciekaj stamtad gdzie pieprz rosnie.

[mkr]

... ehost

[Mar]

Witam,

Czyli teraz narzędzie przestało być już akualizoane... ponieważ u mnie ostatnie odświeżenie było 5marca :|

Mar.

[papieros]

mkr, ja kiedys walczylem z obciazeniem procesora wymyslilem dwa sposoby :

1) wstawianie sleep'ow w newralgiczne miejsca - powinno oddac czas procesorowi na okreslona liczbe milisekund (najprosciej tak, jeno newralgiczne miejsca musisz wyczuc)

2) jesli masz duzo zapytan do wyszukiwarek wykonuj po jednym/po kilka w cronie odznaczajac w bazie ktore ju zrobione.

np: select ... order by last_update desc;

for i=0; i<ile_za_jednym_zamachem {

do the job for i

update ... last_update=CURRENT;

}

mozna oczywiscie polaczyc obie metody.

[mkr]

Z doświadczeń wyszło mi ze najbardziej obciąża while().

Początkowo sprawdzałem pozycje w 4 wyszukiwarkach naraz. Generowało to obciążenie 16-17%. Jednak zmiana na 1 wyszukiwarkę naraz nic nie dała 15% użycia CPU.

Obecnie sprawdzanie wygląda mniej więcej tak jak poniżej. Zastanawiam się czy pobranie naraz całej treści ze strony a potem jej analiza nie zmniejszy obciążenia :?

<?php
$fp = @fsockopen('www.google.com', 80, $errno, $errstr, 2);
/* ... */
fwrite($fp, $out);
while (!feof($fp)){
/*
wyszukiwanie w ciagu pozycji
*/
}
?>

[papieros]

sprobuj dac w petli usleep(200) i sprawdz jesli jestes w stanie obciazenie.

oczywiscie 200 to wartosc przykladowa mikrosekund

jesli mozesz sprawdzac obciazenie mozna znalesc optymalna tak zeby zbyt dlugo nie dzialalo

a obciazenie zeby spadlo do przyzwoitej wartosci.

PS. to najprostsza i najlatwiejsza metoda oczywiscie. najlepiej popatrzec w petle i sprobowac ja zoptymalizaowac.

A probowales zastapic fsockopen prez file albo fopen po prostu, z tego co pisza na php.net sa to szybsze metody a i pewnie mniej obciazaja. pozatym fsockopen jest asynchroniczne , zdaje sie, i cos ci sie moze zapychac - sprawdzales to? probowales zwalniac pamiec?

[mkr]

Narzędzie zostało ponownie uruchomione. Obecnie pozycje sprawdzane są na zewnętrznych serwerach. Aktualizacja danych uruchamiana jest ręcznie, aby wyeliminować ewentualne błędy. Odbywa się to dwa razy dziennie i trwa około 45-60 minut.

[Saint]

mkr: cos nie smiga bo slabo z ta indeksacja nowych adresow !!! nic sie nie indeksuje na moj gust

[mkr]

Tak to jest, gdy człowiek chce coś za darmo zrobić to po drodze napotka setki problemów. Sprawdzanie pozycji i reszty danych musiałem przenieść na inny serwer. Dlatego mogą być opóźnienia w aktualizacji danych. Nowe strony powinny być aktywowane w około 3 – 4 minuty (Wymiana danych, co 2 minuty). Przed chwilą 15 stron było w kolejce to spowodowało opóźnienie.

Natomiast aktualizacja pozycji następuje w losowych porach dnia w porcjach po 50 fraz na 15 minut.

[Saint]

mkr: i tak dalej jestem za tym rozwiazaniem z kodem od G. wg. mnie byloby latwiej tobie zwyczajne.

[mkr]

a ) Mam tez inne wyszukiwarki, nie oplaca sie robic osobnego rozwiazania dla Google

b ) Limit 1,000 zapytan na dobe. Obecnie mam 1020 aktywnych fraz i rośnie.

c ) Roznica w pozycjach

[Saint]

Wydaje mi sie, ze jednak jest to oplacalne bo bys nie musial sie w tej kwasti martwic czy ci starczy czy nie, a jak tak to ile itd. Ja bym cie dalej przekonywal ku temu.