php a pobieranie wyników z opcji site:, link: i sprawdzanie pr

[Avatarus]

Witam

Czy są jakieś proste sposoby na wyciąganie informacji (z poziomu php) odnośnie ilości zindexowanych stron dla danej domeny, jej linków i PR?

Zaczynam pozycjonować kilka stron i chciałbym sobie sprawdzać z automatu statystyki tych stron.

Dzięki

Pozdrawiam

[stat4seo]

Tak, do sprawdzania site/bl wystarczy:

https://pl.php.net/cURL

https://pl.php.net/preg_match

A jeżeli chodzi o PR, to wystarczy poszukać w Google odpowiedniej klasy (np. "php pagerank class").

Kod zwracający wszystkie te parametry jest również dostępny na PiO - wystarczy poszukać (mogą być małe błędy - ostatnie zmiany w silniku).

Pozdrawiam

[Melma]

Aktualny skrypt do zliczania PR po ostatnich modyfikacjach Google, możesz pobrać z melma.pl/darmowe-dodatki.html. Dostosowałem go pod skrypt katalogu miniacza, ale bez problemu można go przerobić do dowolnego serwisu.

[Avatarus]

skryptów do PR jest akurat dużo, tylko nie mogę znaleźć nigdzie do wyciągania zindexowanych stron i ilości linków.

skoro inne programy (w tym webowe)) to musi być jakaś metoda.

[Mion]

skoro inne programy (w tym webowe)) to musi być jakaś metoda.

Jedyną metodą jest wykonanie żądania GET z parametrem odpowiedniego zapytania np: https://www.google.pl/search?q=site%3Ahttp%...tymalizacja.com i parsowanie zwróconych danych = kodu HTML w poszukiwaniu ciągu znaków w jakim jest/są interesujący nas wynik/dane.

[Maximus Marius]

google pare sekund, najlepiej szukać w najnowszych stronach wtedy łatwiej odszukać aktualne działające kawałki kodu PHP

[Avatarus]

to jest dobre rozwiązanie, dzięki

[Mion]

Najlepszym rozwiązaniem jest napisanie danej funkcjonalności samemu. Dzięki temu poznasz zasadę działania i w wypadku zmiany w sposobie wyświetlania/pobierania danych będziesz mógł samodzielnie wprowadzić stosowne zmiany

[SMYS]

Napisane na szybko i nieprzetestowane dobrze w terenie:

function checkSite($www)
{
 $ch = curl_init('https://www.google.pl/search?hl=pl&q=site%3A'.trim($www).'&btnG=Szukaj&source=hp');
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 $sHtml = curl_exec($ch);
 preg_match('#\<div id=resultStats\>.*([0-9,]+) wynik#Ui', $sHtml, $aMatches);
 curl_close($ch);
 return (int)str_replace(',', '', $aMatches[1]);
}

echo checkSite('www.forum.optymalizacja.com');

[Gryzoon]

A jak wyciągnąć listę wyników z pierwszych 3 stron do tablicy ?

Z tego co widzę to google maskuje listę wyników i ich wyciągnięcie nie jest już takie proste jak było - czy ktoś może już znalazł sposób ?

--EDIT:

Ok - nie przegrzebałem chyba dość dokładnie da się wyciągnąć

[Avatarus]

a jak zmodyfikować te funkcje żeby pobrała ilość linków?

Edit: to juz mam, ale jest problem. google blokuje częste zapytania LINK:

Jak to obejść?

[sensor]

a jak zmodyfikować te funkcje żeby pobrała ilość linków?

Edit: to juz mam, ale jest problem. google blokuje częste zapytania LINK:

Jak to obejść?

to jest wlasnie ten problem ktory probuje rozwiazac

musisz miec wlasne ip na hoscie to mozesz sobie pytac ile chcesz - a jak inni pytaja tez to google zwraca 302

Kojotek_OX na omnihoscie obiecywal nowa tania usluge na to niedomaganie ale to jego musisz pytac.

Mozna by zalozyc jakas prywatna bramke proxy albo kupic dedyka z ip

[INOMan]

a jak zmodyfikować te funkcje żeby pobrała ilość linków?

Edit: to juz mam, ale jest problem. google blokuje częste zapytania LINK:

Jak to obejść?

Napisać robota który będzie lepiej symulował naturalne zachowania użytkownika. Np. zamiast cały czas pytać o "link:" - od czasu do czasu pytać o inne rzeczy (zwykłe wyszukiwanie). Z tym, że to też pomoże na krótką metę - rozwiązanie to lista proxy. Przede wszystkim - zachowywać pewien umiar i nie odpytywać 50 razy na minutę.

Jeszcze inaczej - robot który może dokonywać także egzekucji javascriptu, akceptować cookie, etc - więc taki który może bezpośrednio manipulować przeglądarką i dzięki temu jeszcze lepiej symulować zachowanie użytkownika. Tyle, że to już trochę bardziej skomplikowane ...

[sensor]

$ch = curl_init('https://www.google.pl/search?hl=pl&q=site%3A'.trim($www).'&btnG=Szukaj&source=hp');

tej lini kodu u mnie nie przechodzi - nie ma zadnej informacji o bledzie - co moze byc przyczyna?

[Avatarus]

już wiem z czym problem.

google blokuje zapytania częstsze niż 1 sec.

Czyli jak miałem sprawdzanie 5 stron naraz to był problem.

Na dobę blokowano zapytania link z mojego tego serwera.

Jednak po dodaniu prostego java skrytowego opóźnienia, wszystko działa jak należy.

wynik można zobaczyć tutaj:https://sklep.hannah.pl/monitoring/index2.html