Index na grupowanie

[tezapl]

Mam bazę danych ok ~200 milionów ludzi. Na jej podstawie chciałbym stwierdzić, jakie są wśród nich najpopularniejsze imiona (powiedzmy 1000 lub 10000). Próbuję wykonać taką komendę:

SELECT COUNT(*) AS `Rows`, `imie` FROM `ludziki` GROUP BY `imie` ORDER BY `imie` DESC

Problem w tym, ze jak probouje to zrobic z PHPmyAdmina jak i z konsoli to serwer sie wysypuje :( Domyslam sie, ze to dla niego pewnie zbyt skomplikowane zapytanie lub potrzeowalby jakiegos indeksu. Pytanie jaki mam zalozyc na te kolumne imie zeby szybko sie grupowalo, wyswietlalo 1000 najpopularniejszych imion wraz z liczbą ich powtórzeń?

[Mion]

TAK index na kolumnie imie jest jak najbardziej wskazany.
Następnie optymalizacja tej tabeli https://dev.mysql.com/doc/refman/8.0/en/optimize-table.html

Ale NIE wiem czy serwer lub przydziały na współdzielonym dadzą a radę.  Możesz się zainteresować

 

BigData w chmurze AWS [webinarium polskie]

https://www.youtube.com/watch?v=rV8a_WYEVVM
https://www.youtube.com/watch?v=diPVkzADdAo
https://www.youtube.com/watch?v=1jKX7LA8lF8

 

[tezapl]

Jaki index: PRIMARY, UNIQUE, INDEX, SPATIAL czy FULLTEXT?

 

Mam to na localhoscie z 16GB RAMu i dyskiem SSD SATA III

[okazwłoka]

Zwykły INDEX. Tylko teraz możesz mieć kolejną zagadkę z nałożeniem indeksu na dużą tabelę  

[Mion]

Godzinę temu, tezapl napisał:

INDEX

Dla imion tylko TEN ! Jesli z powodu przekroczenia czasu wykonywania nie uda Ci się zrobić tego z poziomu mysqladmina to jeśli masz dostęp do SSH to z poziomi konsoli "mysql-command-line" lub poproś admina serwera by Ci takowy indeks założył.

[tezapl]

Rozmowa z adminem moze być trudna. Z racji tego, że działam na localhoście, będę chyba musiał mówić do lustra :D

[okazwłoka]

Tej wielkości bazę powinieneś trzymać na partycjach, jak masz rozwiązane partycjonowanie?

[Mion]

W dniu 11.12.2020 o 10:20, tezapl napisał:

Rozmowa z adminem moze być trudna

Za to wydawanie stosownych komend SQL bajecznie łatwe

Nie zapomnij o odpowiedniej optymalizacja silnika MySQL w zależności od mocy Twojego localhosta.
Oczywiscie poz zmianach należy wykonać restart serwera bazodanowego i optymalizację tabel.

[tezapl]

Partycje w MySQL nic mi nie mówią. Jeśli chodzi o rozbicie plików na partycje na dysku to nie mam nad czym kombinować bo mam tylko jeden dysk Crucial Cx400 512GB, do tego 16GB RAMu i 4x Intel(R) Core(TM) i5-3470 CPU @ 3.20GHz

 

Czy ktoś z Was mógłby mi pomóc zoptymalizować silnik mysql? Widziałem kiedyś w internecie gotowe generatory onfigów ale nie mogę się do nich dokopać.

 

W bazie znalazło się dokładnie 225mln krotek na nieco ponad 70GB

[Mion]

12 godzin temu, tezapl napisał:

Czy ktoś z Was mógłby mi pomóc zoptymalizować silnik mysql?

Jeśli oczekujesz gotowych rozwiązań, a na to wygląda to Otwórz zlecenie tu lub na forum.rootnode.pl.
Czas administratora bazodanowego jest w cenie.

 

"Zrób to sam" - Jest masa poradników jak

https://www.thomas-krenn.com/pl/wiki/Tuning_wydajno%C5%9Bci_MySQL

 

Cytat

mysqltuner.pl

Ten skrypt Perl umożliwia szybki i prosty przegląd stanu serwera MySQL. W obszarze Recommendations wyniku skryptu zawarte są wskazówki jak dzięki łatwym ulepszeniom konfiguracji może zostać zwiększona wydajność serwera MySQL.

 

EOT;

https://www.linode.com/docs/guides/how-to-optimize-mysql-performance-using-mysqltuner/
https://www.howtoforge.com/tuning-mysql-performance-with-mysqltuner

ITD...