3,5GB na stworzenie mapy...

[Psh3m@Z]

Witajcie.

Rozpocząłem parę dni temu tworzenie mapy mojego portalu. Mapa tworzona jest programem GSite Crawler. Przeraziło mnie zużycie transferu na serwerze - na chwilę obecną wykorzystane zostało ponad 3,5GB przy limicie miesięcznym rzędu 6GB. Co gorsza ilość linków nie spada, a rośnie - w chwili obecnej jest to ponad 310.000. Niestety nie założyłem żadnego filtra przed uruchomieniem programu, a po jednym dniu ciągłej pracy kiedy dowiedziałem się o takiej możliwości, było mi już po prostu szkoda to przerwać.

Mam pytanie - czy mam puszczać to ustrojstwo dalej, czy z wielkim bólem serca przerwać i ponowić próbę zakładając filtry. Jeżeli opcja druga jest jedynym wyjściem, to co muszę zrobić, aby filtry były na tyle skuteczne, aby nie wykorzystać transferu do końca, a stworzyć mapę porządnie.

Chyba, że jest jakieś inne wyjście - czytałem, że najprościej można napisać prosty skrypt, ale... żeby napisać to trzeba wiedzieć jak to zrobić

Z góry dziękuję za pomoc.

[SilverT]

do takiego wielkiego serwisu radziłbym zorganizować sobie skrypt działający na tym samym serwie, bo jak masz tylko 6gb transferu to mija się z celem zapuszczanie takiego programu

[stat4seo]

Więcej szczegółów.

Serwis jest często odwiedzany przez userów/boty ? Jeżeli tak, możesz generować sitemap poprzez np. utworzenie tabeli "site_map", i przy każdym otwarciu strony dodawać rekord zawierający aktualny URL. Potem to przefiltrować w celu usunięcia duplikatów (lub przed dodaniem rekordu sprawdzać czy już istnieje.)

Jeżeli nie, to nasuwa się pytanie - czy taka ilość podstron faktycznie istnieje ? Może masz coś typu "Następna strona >>" ale nie ograniczone niczym i GSite się zapętla tutaj ?

A może podstrony są przechowywane w bazie danych ? Kilka umiejętnych zapytań, formatowanie danych i mapka gotowa.

[Mion]

Chyba, że jest jakieś inne wyjście

Oczywiście, że jest:

- np przenieść się do OVH gdzie transfery są duuuużoooo większe przy niskich cenach. 6GB to śmiech na sali puste krzesła

- budować mapę serwisu na podstawie bazy danych, a nie żądań HTTP

[pc3t]

Nie masz czasem w linkach numeru sesji albo innej zmiennej? Może bot lata już w kółko po stronie, bo nie odróżnia podstron?

310 tysięcy podstron? Skoro serwis trzymał się na 6GB to chyba to jest trochę za dużo linków.

[Mion]

Podaj adres przedmiotowego serwisu. Powodem będzie błędne linkowanie przykładowo w paginacji <<powrót | następne>>

Jeśli link następne pojawia się bez sprawdzenia zawartości user zobaczy pustą stronę i nie będzie dalej klikał, a robot będzie w nieskończoność przeskakiwał do następnych indeksując n tysięcy takich samych stron

[Qbexus]

Przy większych projektach niezbędne jest generowanie mapy lokalnie bo co zrobisz jak będziesz chciał mapę uaktualnić? Taniej i szybciej jest zapłacić komuś za dopisanie paru linii kodu.

Edit a w temacie ja bym to zatrzymał i postarał się o odpowiednie rozwiązanie. Co będzie jak Ci zabije cały transfer a mapy i tak nie zrobi?

[Psh3m@Z]

Dziękuję Panowie za odpowiedzi. Zadaliście mi dużo pytań, na których większość nie znam odpowiedzi - dlatego też zanim odpowiem po prostu zagłębię się w wyszukiwarkę.

Z pewnością pokazaliście mi, jak nie warto opierać się na zdaniu tylko jednej osoby - dla przykładu polecono mi hosting innej firmy, gdzie płacąc identyczne pieniądze mam... 166 razy mniejszy transfer... Cóż, życie uczy.

Po Waszych sugestiach program już wyłączyłem z obawy wykorzystania limitu transferu. Nawiązując do prośby kolegi Mion podaję adres mojego portalu GODNI-POLECENIA.PL - może w międzyczasie wyjaśni się część zagadnień. Nie jest to żaden wielki portal, który miałby tyle tysięcy odnośników.

Uciekam się edukować. Z góry dziękuję za pomoc.

[Mion]

Przeglądałem portal i jestem pewien, że przedmiotowy transfer jest spowodowany błędem w programie, lub samym oprogramowaniu powodującym pobieranie "w nieskończoność".

Tak na marginesie, Twój serwis jest bardzo słaby pod kątem SEO i wymagał by znacznie większych optymalizacji niż tylko wygenerowanie site masp jeśli jesteś zainteresowany jego optymalizacją zapraszam: SEO optymalizacja serwisów internetowych

[Qbexus]

@Mion ale krypciocha