Tematyczność linków w google

[Xann]

....

Czy tak trudno zrozumieć, że posiadam na dysku wszystkie polskojęzyczne strony główne + po 2-3 podstrony z każdej (sub)domeny, razem ponad 800 GB....

mógłbym wiedzieć skąd wiozłeś adresy wyszyskich polskich stron, gdzie one są dostępne ?

[βασιλιάς]

Z linków, tak samo jak robi to Google.

Mam crawler napisany w C++, który ściąga strony według linków i zapisuje do bazy Firebird.

Jak trafia na link do np. https://www.forum.optymalizacja.com/index.php?showtopic=77824, to dodaje forum.optymalizacja.com i optymalizacja.com do kolejki.

Czy polskie czy nie - od określania tego jest TextCat.

[ap_seo]

a wiec skoro istnieje algorytm wyszukujacy "related:" to dlaczego google nie ma wykorzystywac tego w ocenianiu sily linkow?

[Xann]

Z linków, tak samo jak robi to Google.

z linków ???

czyli puszczasz takiego "pajączka" w świat ktory chodzi po linkach bo przecież wszyskie strony na całym swiecie są zlinkowane miedzy sobą i sprawdza ktore polskie strony

no dobra - mi już wystarczy, masz Ty wyobraźnie

ps. pochwal się tą cyfą ile ich masz na tym twardym dysku ?

[βασιλιάς]

czyli puszczasz takiego "pajączka" w świat ktory chodzi po linkach bo przecież wszyskie strony na całym swiecie są zlinkowane miedzy sobą i sprawdza ktore polskie strony

1. Co to ma wspólnego z tematem, czyli z tematycznością linków w Google?

2. Crawler wchodzi najpierw na strony podane przeze mnie, następnie na strony linkowane z tych stron i tak w nieskończoność. Jak któraś strona nie jest polska, to jej treści nie zapisuje w bazie ani nie podąża za linkami z niej (bo strony linkowane najprawdopodobniej też nie są po polsku).

Przecież to jest bardzo proste, Netsprint, Szukacz, Gooru i inni tak robią.

Liczba stron - 30 597 886.

[screw]

@Xann - offtop!

Może ma, nie jest to skomplikowane do napisania, do tego jakiś prosty algo oceniający język witryny np. jak ma polskie kodowanie, albo ogonki, albo słownik, albo... ale to chyba nie jest tematem naszej dyskusji?

[Arni]

"robie polska wyszukiwarke"

prosze jaki ambitny