Ilość zapytań czy wielkość bazy

[MMP]

Stanąłem właśnie przed problemem w którym kierunku rozwijać wyszukiwarke.

Mianowicie iść w strone ilości zapytań do bazy czy jej wielkości.

Mianowicie im mniej zapytań tym większa wielkość bazy, za to im więcej zapytań tym wielkość bazy maleje ale wydłuża się czas wykonywania.

Dodam że zmiejszając ilość zapytań to później trace troche na wydajności.

[EDDY]

Wszystko się rozbija o ruch. Wtedy "większe" zapytania potrzebują więcej RAM, inaczej zacznie się ksztusić. Za to przy większej ilości zapytań potrzebna jest większa moc przerobowa, czyli CPU.

[Mion]

Zależy co rozumiesz pod pojęciem "duża baza". Ponadto zależy jaki system bazodanowy, jaki sprzęt itd...

Sam miałeś bazę MySQL wielkości powyżej 1GB i czas wykonywania zapytania był nie do przyjęcia, aż na końcu ci się wysypała

[MMP]

Wszystko się rozbija o ruch.

Trudno mi to ocenić ale to jest poprostu robot chodzący po stronach, wywoływany z terminala.

Wtedy "większe" zapytania potrzebują więcej RAM, inaczej zacznie się ksztusić. Za to przy większej ilości zapytań potrzebna jest większa moc przerobowa, czyli CPU.

Będe o tym pamietać przy kupnie serwera

Zależy co rozumiesz pod pojęciem "duża baza".

To jest parokrotnie większa od małej

Moge zrobić tak.

--- Words ---

ID | Word

I potem wszędzie gdzie użyto słowa z kolumny Word moge dać ID. <- Mniejsza baza, ale więcej zapytań bo musze sprawdzić ID

Ale moge poprostu używać słowa z kolumny Word zamiast ID-ków. <- Większa baza, mniej zapytań bo nie musze szukać ID. ( Najgorsze jest to że nie można dać indexów na typ Text )

Ponadto zależy jaki system bazodanowy

Dalej MySQL, bo nie znalazłem żadnej interesującej książki o PgSQL

[mrtn]

dlaczego nie ma 3-go punktu - kontrukcja zapytan i struktur BAZY ?

bawiac się z istniejęcą bazą mozemy zwiekszyc jej wydajnosc 2-3 krotnie.

Biorąc się za koncepcję bazy od początku możemy skontruować ją jako

100 czy 1000 razy wydajniejszą.

[MMP]

Poniewaz schemat bazy został już stworzony :-)

[Daniel Kędzierski]

MMP

Przy zakupie serwera na tego typu rozwiazania to nie koniecznie RAM czy CPU.

Ja na kazdej maszynie mam po 2 GB ramu, procki 3 GHZ.

A dalej bazy wielkosci 2-3 Gb muliły się strasznie.

Dla porównania tą samą baze zainstalowałem na testowej maszynie 2,66 GHZ i 512 ramu ale za to z szybkimi dyskami twardymi.

Czasy wykonywania zapytania zwiekszyl sie minimum 5 krotnie.

Wiec ktorej opcji bys nie wybral z pytanych musisz pamietac ze przy rozbudowie indeksu to dyski beda graly wazna role, czym lepsze i wydajniejsze tym szybsze przeszukiwanie bazy.

Dla przykladu moja baza dla np 100 tys url zajmuje - okolo 1,2 GB

Mam tez inna konkstukcje bazy gdzie przy 100 tys url zajmuje 400 mb

Wydajniejsza jest ta pierwsza wieksza - poprostu inna konkstrukcja danych

Tak czy tak sytuacja ulega zmianie i ciezko jest przetestowac rozwiazanie bez danych.

Moje rozwiazanie działało super przy indeksie 50 tys, przy 100 troszke mniej i czym indeks sie zwiekszal musialem dokonywac zmian.

Kwestia przeszukiwania nie jest obciązajaca praktycznie wcale, problem obciązenia to reindeksy, mniej zjada zaindeksowanie nowej domeny niz zreindeksowanie starej, bowiem podczas reindeksiacji musza najpierw zostac usuniete stare zapisy do bazy i dodane nowe wyliczenia a podczas indeksacji nowej zostaja tylko dodane nowe obliczenia dla domeny.

Co do serwerka to tylko procek AMD, ram z 2 Gb i super hdd .

Ja tylko jednego nie potrafie jeszcze zrobic z bazami mysql tzn miec mozliwosc zapisywania jednej bazy na osobnych dyskach cos ala RAID 0 dla mysqla ale moze cos znajde i zakumam jak to zrobic