Serp, pewnie sporo takich już było

[Kriss]

Witam.

Popełnilem dzisiaj po południu programik desktopowy, do sprawdzania pozycji w google. To jest wersja robocza (bardzo ) programu, napisany w C#.

Napisałem go bo poprostu chciałem sam to zrobić.

Generalnie nie korzysta z api tylko pobiera całe strony z googla i parsuje je (po klasach css).

Pytanie, czy są jakieś przeciwwskazania do takiego podejscia do tematu??

Prosze o opinie.

Na moje oko to daje prawdziwe wyniki

Jak wszystko będzie ok zabiorę się za wykończenie, zapisywanie zestawów słów, konfiguracji itd.

adres pliku Pliczek

[todo]

Podejście jest bardzo dobre. Tylko ta metoda daje w miarę wiarygodne wyniki. Pamiętaj tylko aby nie dać się zbanować google. Jeżeli sprawdzasz dużą liczbę stron stosuj pauzy o losowym interwale, włącz cookie, przedstawiaj się (możesz stosować różne wersje klientów ale pamiętaj o usunięciu poprzednich ciasteczek). Generalnie narazić się google lub msn na bana jest ciężkie jeżeli zastosuje te kilka prostych rad, w przypadku Yahoo jest już znacznie łatwiej.

[pneuma]

a może popełniłbyś coś do czego można by było importować adresy z pliku.txt i to coś sprawdzałoby bl, PR i ilość zindeksowanych stron - najlepiej gdyby to coś losowało data center z ktorego korzysta

[todo]

@pneuma narzedzie online web tools do sprawdzania popularnosci domeny oraz pr z wielu DC

[Kriss]

To znaczy że mogę dostać bana za to że sprawdzam za dużo razy wyniki?? a ten ban to byłby na IP ??

To może na przez jakieś proxy się łączyć??

Z tymi różnymi wersjami klientów.

to są dwie przykładowe linie z logów jakiegoś serwa (wywaliłem swój adres)

1.	   adres - [11/Nov/2006:10:24:56 +0100] "GET / HTTP/1.1" 200 637 "" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2; .NET CLR 2.0.50727)

2.	  adres - - [11/Nov/2006:10:14:45 +0100] "GET / HTTP/1.1" 200 637 "" ""

Pierwsza jest to zapytanie z IE a druga to właśnie z mojego programu, rozumiem że chodzi o ten brakujący fragment "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2; .NET CLR 2.0.50727)" ??

i żeby go losowo zmieniać ??

Co do cookies to tu będzie problem bo korzystam z wbudowanych klas framework'a a w dokumentacji nie ma śladu o cookies (w tej klasie) ale porozglądam się za tym.

[todo]

Przyklad uzycia cookies c# znajdziesz na codeproject.com jak i wiele innych ciekawych rzeczy dotyczacych sharpa.

Tak, google jak i inne wyszukiwarki bronia sie przed tego typu zabiegami. Dlatego oprocz samej ilosci zapytan brana jest ich czestotliwosc. Yahoo jest bardzo wyczulone na tym punkcie.

edit:

Nigdy nie używałem proxy dla zapytań wyszukiwarek (a używam po kilkadziesiat tysiecy zapytań dziennie) i jak dotej pory wszystko pracuje dobrze - grunt robić to zgłową i jak to było powrarzane wiele razy - symulować zachowanie człowieka. Powinieneś przystosować swój program tak aby sumulował prące sieci lokalnej która posiada wiele maszyn - powiedzmy że każde zapytanie idzie z innej maszyny (inny klient, inne cookies itp.) dzieki temu możesz stosowąć wiele zapytań bez obawy o bana.

[pneuma]

todo - ja mam na myśli sprawdzenie kilkuset tysięcy adresów i to w miarę szybko

a na https://www.toj.pl/tools/ nie ma nic

[todo]

Dziala.

Musiałbys poprostu odpalic kilka instancji. Pozatym ten skrypt sprawdza wiele czynnikow wiec wydluza to czas sprawdzenia jednej domeny – jest dosc duzy interwal wstawiony wiec wszystko troszke trwa. Ja tym i podobnym narzędziem sprawdzam w partiach po kilkanascie tysięcy odfiltrowanych domen.

edit:

https://www.toj.pl/tools/ a https://toj.pl/tools/

[pneuma]

heh, no jak pisze że nie działa to nie działa:

https://toj.pl/tools/

[MMP]

Aplikacja nie została właściwie zainicjowana(0xc0000135)

[nowy]

Mi też nie działa ani jedno ani drugie...

[Kriss]

Mi też nie działa ani jedno ani drugie...

Jeżeli chodzi o moje wypociny to potrzebny jest framework 2.0 Narazie testowałem na 3 kompach i działa.

[jachu]

U mnie też działa Wolnoo działa

Dodaj opcje zapisu url i słów kluczowych jak ta aplikacja ma być trochę bardziej funkcjonalna

[Kriss]

U mnie też działa Wolnoo działa

Dodaj opcje zapisu url i słów kluczowych jak ta aplikacja ma być trochę bardziej funkcjonalna

Na tą chwile zrobiłem możliwoś dodawania tzw. useragent przy zapytaniu wybierany jest losowy z listy, kończe możliwość obsługi różnych DC (liste udostępnił mi kyo.pl) i oczywiście będzie można zapisywać zestawy słów. Wszystko jest/będzie trzymane w xml, wyniki też będzie można zapisać.

Pracuje nad tym

Jak będą miał nową wersję to dam znać