PHPBB3 to bbPress - dla dużej bazy

[mojeprogramy.com]

Mam do przeniesienia forum na PHPBB3 (60 działów for, 10tyś wątków, 200tyś postów, 10tys userów)
Chce zintegrować je z WordPressem.

 

Próbuję na bbpress - czytałem gdzieś, że przy takiej bazie z 10-12h przywracanie może potrwać ale jednak z tego co widzę import staje (komp działa już od 10h) w jednym miejscu tz. userzy są zaimportowani, fora tez ale Topic tylko 240 sztuk.

 

Dwa razy zwrócił w międzyczasie błąd Warning: Creating default object from empty value in D:\xamp\htdocs\wordpress\wp-includes\capabilities.php on line 672

PS. Sam proces przywracania takiej bazy na localhości trwał długo i z 15 razy wznawiałem aby się zakończył

Pytania:
1. Zastanawiam się nad jakąś optymalzacją bazy na początek, poźniej ew. podzieleniem jej i w częsciach przywrócaniem
2. Co ew. zamiast bbPress? bo nei wdzię za dużo rozwiązań w sieci (jakieś stare wtyczki, które i tak spróbuję).
SimplrePress - może tu pójdzie przywracanie, ale jak demo widziałem to niezbyt zachecające
buddypress - tu bardzpiej społecznościowe, ale może warto
bbPress - widzę że jest polecane i wydaje się najwłaściwsze

 

 

-----------------

https://bbpress.org/forums/topic/conversion-mybb-to-bbpress/#post-151257

 

"The MyBB SQL of the database was 435,9 Mb big. We cleaned a lot of the old forum. It contained 1 million+ messages, close to 40k topics and a 400+ members." The conversion ran for roughly 48 hours

 

- moja baza ma 600MB, ale czekać 48h i nie przerywać działanei skryptu (choć nie widać progressu) to starsznie długo...

 

 

 

 

 

 

[Mion]

Sprawdź czy znaczną część tej bazy, to nie są jakieś zbędne logi...

[mghost.pl]

W jaki sposób dokładnie importujesz bazę danych?

[mojeprogramy.com]

Narzędzia -> Forum i tu są ustawienia i import a to wszytsko daje wtyczk bbPress

PS. Już terazm dla testów przyciąłem baze do Liczba postów: 15585 • Liczba wątków: 3140 • Liczba użytkowników: 2662

ale i tak zawsze staje i kreci sie kułaczko na:

 

Converting topics (0 - 99)

Calculating forum hierarchy (0 - 99)

Converting forums (0 - 99)

Delete users WordPress default passwords (2700 - 2799)

...

 

a i mieli tak od 6h, więc coś jest nie tak. Spróbuje do minimum przyciąć (usunąć posty i działy) i zobacze czy przynajmniej pójdzie do końca

 

A Logi - jakoś nie wydaj się (ew. a gdzie to spradzić?) bo sprwdziłem i zoptymalizowałem bazę jakąś wtyczką bezpośrdnio pod PBPBB i była w b.dobrym stanie i bez błedów

 

[mghost.pl]

Widziałeś to: https://codex.bbpress.org/getting-started/importing-data/import-forums/import-troubleshooting/ ?

Nie znam xampa, ale pewnie musisz jeszcze zmienić nieco jego konfigurację odnośnie maksymalnego czasu wykonywania skryptu itd.

[mojeprogramy.com]

Podciągnąlem to na maxa (ustawiłem - i sam nie wiem czy to działa nawet - wartości na 99999 dla wszystkich po kolei).

Import działał przez 20h i nie był w stanie zaimportować 15tyś watków.

Teraz przyciąłem i przywróciłem 1 dział z 1tyś postów i poszedł w 3 min. i w końcu od frontu wszytsko dział tak jak powinno

Bede próbował przywracać każdżdy dział po kolei ale marne dość szanse że to będzie działać

[mghost.pl]

Wartość 0 oznacza brak limitu

Poczytaj jeszcze dokumentację, widziałem, że jest możliwy partial import.

Może wpadasz też w limity SQLa.

[mojeprogramy.com]

Postanowiłem wszytskie opcje wypisać, może ktoś pomóc na jakie wartości powinienem zminić aby wykluczyć potencjalne ograniczenia serwera?

Podaje domyślne wartości

 

/xampl/php/php.ini
max_execution_time=30
max_input_time=60
memory_limit=128M
post_max_size=8M
upload_max_filesize=2M
max_file_uploads=20
default_socket_timeout=60
pdo_mysql.cache_size=2000
mysql.cache_size=2000
mysql.connect_timeout=3
mysqli.cache_size=2000
session.gc_maxlifetime=1440
session.cache_expire=180
soap.wsdl_cache_ttl=86400
soap.wsdl_cache_limit=5


/xamp/mysql/bin/my.ini
key_buffer = 16M
max_allowed_packet = 1M
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M

## of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 16M
innodb_additional_mem_pool_size = 2M
## Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size = 5M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50

max_allowed_packet = 16M
[isamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[dziki_rysio_997]

Ile masz pamięci na tym serwerze?

Może podkręcenie innodb_buffer_pool_size np. tak (+ odpowiednie podkręcenie wielkości logów itd.):
 

innodb_buffer_pool_size = 1G

mogłoby pomóc?

Oczywiście jeśli ilość pamięci jest wystarczająca (uwzględniając inne rzeczy, które chodzą na serwerze). Jeśli masz za mało to spróbuj podkręcić chociaż trochę (choćby i do 128M albo 256M). Wydaje mi się, że teraz to może być wąskie gardło - przy obecnych 16MB być może nawet indeksy nie mieszczą się w pamięci, więc operacje na bazie bardzo mocno czeszą po dysku, co powoduje zamuły.

Spróbuj zmienić i zrobić restart serwera bazy danych - nie obiecuję, że pomoże, ale to jedna z rzeczy, które można wypróbować "na szybko".

[mojeprogramy.com]

Te wartości które podałem do domyślne w Xampie więc je chciałbym jakoś sensownie ustawić

Serwer mam lokanie na komputerze odpalony i nic oprócz xampa tu nie działa a na nim WP + PHPBB3

RAM: 4GB w sumie

Proc: Core i5

Dysk: SSD

[dziki_rysio_997]

Ok, to może spróbuj takich ustawień:
 

innodb_buffer_pool_size = 1G
innodb_log_file_size = 256M
innodb_flush_log_at_trx_commit = 2

Zrób restart mysqla i zobacz, czy będzie lepiej. Założyłem, że te 1.5 - 2 GB pamięci możesz przeznaczyć na operację - jeśli nie, to obetnij trochę.

To są ustawienia na czas importu, gdy będziesz miał gotową bazę, bezpieczniej jest przywrócić innodb_flush_log_at_trx_commit do domyślnej wartości.

[mojeprogramy.com]

Ale ja mam zainportowaną juz bazę całego forum

Teraz mam problem z poprawnym przywróceniem poprzez wtyczkę do importu bbpress

[dziki_rysio_997]

Ok, ale tak czy inaczej masz zamułę, więc możesz spróbować powyższych + jeszcze podkręcić to:

max_execution_time=120
memory_limit=256M #wiecej?

No i jeśli nie pójdzie to zobaczyć w logach, co się stało

[mghost.pl]

max_execution_time=0
memory_limit=768M

post_max_size=8M <- też warto zwiększyć, jeśli importujesz przez stronę

 

Do zabaw z SQLem użyj kalkulatora, żeby nie zabrakło Ci nagle ramu:

https://www.mysqlcalculator.com/

[mojeprogramy.com]

z tego co widzę problemem są Topic i Replay - na których sie zacina i treba je najlepiej kasować i kontunuować, ale mam pytanie

 

SELECT * FROM phpbb_topics WHERE phpbb_topics.topic_id > 1600 AND phpbb_topics.topic_id < 1699
– ok, I can delete error topic
 

but what SQL i for: “Converting replies (1670 – 1670)” ? - i tu nie wiem jak usunąć Replays