Scuttler - Automatyczna indeksacja stron

[CrashXT]

Ostatnie wywołanie Crontab: 06/05/08 13:55:32 Błąd Sprawdź poparwność wykonywania zadania CRON

Mi też cron coś nie działa. Może Admin sobie poradzi.

[top10google]

Odnośnie cron jeżeli nie działa wget można spróbowac GET, ew. skontaktować się z administratorem serwera.

Automatyczna indeksacja rozpoczyna pobieranie linków do podstron poczynając od adresu wprowadzonego w konfiguracji.

Jeżeli na stronie są odnośniki do pliku index.htm to jest szansa, że zostanie on dodany.

ale jak do automatycznej indeksacji wpisze adres stona.pl i ta strona nie ma zadnych podstron to wogole nie indeksuje.

[mkr]

Dodanie ręczne linku do tego projektu rozwiąże problem. Pobieranie dalszych podstron rozpocznie się od niego.

Podobnie np. z webcites, dodanie ręczne/csv subdomen do danego projektu skutkowac będzie pobieraniem podstron ze wszystkich subdomen, losowo.

[Bielack]

Podobnie np. z webcites, dodanie ręczne/csv subdomen do danego projektu skutkowac będzie pobieraniem podstron ze wszystkich subdomen, losowo.

Co to znaczy "dodanie ręcznie/csv subdomen"? Czy muszę dla każdej subdomeny stworzyć oddzielne zadanie, czy wystarczy, że dla ogólnego Citiesa w edycji linków dodam subdomeny przez "import z CSV"?

[mkr]

Możesz dla jednego webcites utworzyć 1 zadanie.

Następnie dodać do zadania 16 linków ( subdomen z webcites) -> https://data.web-tools.pl/data/fsimg/2008-06-05_194253.png

I teraz w ramach zadania będą pobierane podstrony ze wszystkich 16 subdomen

[milkus]

Ja mam takie pytanka, bo w licencji, ani na stronie nie widzę odpowiedzi :

1. W zamówieniu podać tylko domenę główną (domena.net) , czy subdomenę (scuttler.domena.net) gdzie będzie umieszczony skrypt ?

2. Czy na 100% zadziała na OVH ?

3. Ponieważ ovh ma crona uruchamianego co godzinę, więc czy nie będzie problemu jak przez GET ustawię crona w webd.pl na plik znajdujący się na OVH ?

[mkr]

Ad1. Dokładna subdomena (www. też ma znaczenie) i jej IP

Ad2. Na serwerach dedykowanych bez problemu, na kontach wirtualnych teoretycznie tak, jeżeli jest IonCube, po zamówieniu i przesłaniu ID na PW/Mail wysyłana jest 7 dniowa wersja do sprawdzenia danego hostingu.

Ad3. Nie będzie problemu

[milkus]

Na wirtualnych serwerach OVH scuttler powinien działać, jednak trzeba napisać sobie .htaccess, który musi zawierać następujące linie :

SetEnv IONCUBE 1

SetEnv ZEND_OPTIMIZER 0

SetEnv PHP_VER 5

Plik wrzucamy do katalogu ze scuttlerem. Jego umieszczenie daje Nam dostęp do ionCube, oraz php5

[xradar]

Scuttler nawet działa !!!

Przydałyby się takie funkcje:

- do jakich scuttle dodały się moje linki

- branie pod uwagę pliku robots.txt przy automatycznym indeksowaniu, bo dodaje mi strony których bym nie chciał

[mkr]

Robots.txt nie jest w chwili obecnej brany pod uwagę, wprowadzenie obsługi jest dobrym pomysłem.

Skrypt nie podąża natomiast za linkami rel="nofollow"

[qazy]

Czy ten skrypt ma jakieś limity/ograniczenia? Bo 3 stony dodane do zadań (automatyczna indeksacja) cały czas mają 0 linków w kolejce a 4 strona zatrzymała się na liczbie 18 mimo, że podstron jest bardzo dużo. Ja żadnych limitów nie ustawiałem (zwykle mam ustawione na 10 nowych adresów dziennie, i zgłaszanie dziennie do 50 scutlle).

Cron działa poprawnie.

[mkr]

Nie nie ma limitów pobierania stron ( poza dziennym do 20 linków ).

Podrzuć na PW/ adresy stron z których nie są pobierane nowe podstrony, sprawdzę czy oby na pewno regexpy wykrywają na nich linki,

[Bielack]

To strony w opcji automatyczna indeksacja mają pokazywać ilość stron do dodania/już dodanych? U mnie absolutnie wszystkie (20) mają 0 - od samego początku. Dlatego myślałem, że właśnie tak ma pokazywać?

[qazy]

No właśnie u mnie jedna zatrzymała się na 18 a pozostałe 3 mają cały czas 0.

[mkr]

Przy prawidłowym pobieraniu linków z witryn lista stron wygląda tak:

Natomiast po wejściu w dany projekt widoczne są linki wysyłane do scuttle

Niekiedy, jeżeli przy tworzeniu poda się adres nieistniejącej witryny, może zostać on nie zapisany poprawnie.

Jeżeli linki się nie pobierają można sprawdzić w Edycji danego zadania czy adres jest prawidłowy.

Brak nowych linków może też powodować:

- brak title

- brak keywords ( jeżeli w domyślnych ustawieniach podano tagi, zostaną one wstawione przy braku keywords )

- brak description

na podstronach. To właśnie na podstawie tych danych generowane są opisy do dodania w scuttle.

Jeżeli powyższe sposoby nie rozwiążą problemów proszę o podesłanie adresów stron na mail , zostanie zlokalizowany problem i wprowadzona poprawka jeżeli jest to błąd scuttler'a.

Kod niektórych witryn jest niestety bardzo "niepoprawny" i to też może powodować problemy.