Scuttler - Automatyczna indeksacja stron

[Kobol]

@mkr gdybyś zamierzał jeszcze poprawiać skrypt to dodałbym chętnie opcję dodawania ręcznego wpisów na zasadzie jak teraz jest w automacie - tj. podaje adres a scuttler pobiera wszystko ze stronki (teraz trzeba opis/tagi wypełniać ręcznie) - przydałoby się to do linkowania wpisów z presseli.

Mam też pytanie - bo nie za bardzo rozumiem jak ten scuttler dokładnie działa (przydałaby się instrukcja). Dodałem automatycznie linkowanie moich zapleczówek. Wczoraj pobrał mi 5 adresów i dodał do nich (jak mniemam) 5 wpisów do scuttli. Dzisiaj dodał kolejne pięć wpisów. Ale czy scuttler teraz będzie dodawał wpisy ciągle do tych samych podstron? W jednym projekcie nacisąłem przycisk aby pobrał kolejne adresy i dodał 5 nowych podstron. Tam gdzie tego nie zrobiłem linkuje tylko te 5 pobranych na początku i nie dodaje nowych adresów - czy tak ma być?

Bo chyba głupio mieć ~200 linków do tej samej podstrony z tym samym opisem i z tymi samymi tagami - to chyba powinno jakoś "rotować" i np. dodawać 20 wpisów do tej, 20 do innej itd.

Myślę, że fajnie byłoby gdyby autor wyjawił jak działa scuttler - bo jest to fajne narzędzie do podlinkowania, ale mam problem ze zrozumieniem jak on działa - i myślę że nie tylko ja.

BTW w większości wpisów mam przy danej stronie np. 5/10 --- 10 co oznacza (tak mi się wydaje) że w dniu dzisiejszym dodał 5 scuttli i 10 jest limitem - w ogóle dodał 10 (bo 5 było jeszcze z wczoraj). W niektórych natomiast mam np. 5/10 --- 8 - nie za bardzo kumam o co chodzi z tymi wpisami... Czuję się trochę jak dziecko we mgle - coś działa, gdzieś dodaje ale w ogóle nie wiem o co biega ;-)

[elpav]

Polecam skorzystanei z linku Edycja zadania

[Kobol]

No to już wiemy, że jestem blondynką

Idę na kawę, bo jeszcze coś zepsuję...

[SEOMAN]

mkr dobra robota

mi osobiście (i pewnie nie tylko mi) przydałyby się opcje:

- sortowanie po tytule zadań (na razie ctrl+f jest pomocne) ew. tez jakis podzial na: kategoria -> i tu rozne zadania

- automatyczne dodawanie nowych skutli

- automatyczne banowanie juz dodanych skutli z linkami z nofollow - (zeby byly w bazie oznaczone jako takie i nie byly dodane do follow)

[alumilut]

Witam.

Popieram to co napisal SEOMAN

Pozdrawiam.

[SirZooro]

Ja od dzisiaj zaczynam scuttling Jak na razie zapowiada się ciekawie, a i support mailowy jest w porządku.

Mam też propozycję: do opcji automatycznej indeksacji warto dodać możliwość filtrowania adresów na podstawie zdefiniowanych wzorców. Powinna być możliwość definiowania zarówno wzorców dla adresów które mają być uwzględnione, jak i dla adresów które powinny być wykluczone (tak aby mechanizm był bardziej elastyczny - czasami łatwiej jest podać co ma być indeksowane, a czasami co ma być wykluczone). Wzorce powinny być wyrażeniami regularnymi, ew. można też dorobić prostszą wersję dla tych co nie znają wyrażeń. Można też rozważyć opcję czy Scuttler powinien podążać za linkami na wykluczonych w ten sposób stronach czy też nie - może się przydać jeżeli wykluczy się np. stronę z listą artykułów, a tam jest większość linków do dalszej części witryny.

[Bielack]

Ja dodam, że po włączeniu wszystkich funkcji w "zaawansowanych opcjach php" mój Scuttler na Iq.pl ruszył także z automatyczną indeksacją (bo wcześniej dodawał tylko z RSS).

[zakopiec]

Ja dodam, że po włączeniu wszystkich funkcji w "zaawansowanych opcjach php" mój Scuttler na Iq.pl ruszył także z automatyczną indeksacją (bo wcześniej dodawał tylko z RSS).

Dzięki za info o iq.pl

Musiałem przenieść skuterka i przeniosłem tutaj,jednak były nadal problemy. Autorzy skryptu obiecali jakaś aktualizację za kilka dni, ale spróbuje czy w mim przypadku włączenie tego też coś da.

[sagittariuspl]

nie mogę znaleźć posta z informacjami co do wydajności serwera

czy jest planowane coś w kwestii wydajności? rozumiem, że nie da się przyspieszyć szybkości pobierania danych ze scuttli bo różne serwery z różna szybkością działają, ale ja np. chętnie bym włączył opcję korzystania z mniejszej ilości scuttli - tylko te w miarę 'szybkie'

w ten sposób link znalazłby się na większej ilości stron - teraz mam wrażenie, że nowe strony nie mają już takiej siły przebicia

P.S. ma ktoś listę poslkich scuttli? albo chociaż zapytanie google by pokazać je w indeksie - już ja będę wiedział jak tą listę przerobić

//EDIT

rozwiązaniem mogloby być także przeniesienie części skryptu (odpowiedzialnej za dodawanie) na kolejny serwer i zapisywanie do jednej bazy wyników - podwójna wydajność. jednak wiem, że pojawia się tu problem logistyczny - licencja na nowe ip/domene/subdomene

[mkr]

Można dodać kilka zadań cron. Najbardziej optymalne jest wykonanie ich po sobie. Każde zadanie wykonuje się do 30 sekund, dzięki temu możliwe jest osiągniecie ciągłej pracy procesu dodawania.

Przykład utworzenia zadania cron

wget --spider "https://..." > /dev/null && wget --spider "https://..." > /dev/null

GET "https://..." > /dev/null && GET "https://..." > /dev/null

Dodanie kilku zadań wywoływanych jednocześnie.

Aktualizacja zapowiadana na weekend przeciągnie się troche i będzie zawierała dodatkowe rozwiązania,

które pozwola na jeszcze efektywniejsze wykorzystanie linków ze scuttle i dotarcie do większej ilości scuttle.

[visacardcredit]

Czy jest juz wersja skryptu w jezyku angielskim ? (albo czy mozna to sobie przelozyc) ? Czy dalej nie ma takiej mozliwosci ?

[xradar]

W sumie po co w scuttler innym języku?

PS: Widzę, że wersja 1010 wprowadza nowe fajne funkcje. Podoba mi się synchronicazja bazy scuttli dodało mi 44 nowe i wysłałem 10

[mkr]

visacardcredit - w najbliższym czasie nie są przewidziane inne wersje językowe, nie ma też możliwości tłumaczenia samodzielnego.

Aktualizacja do wersju 1.1.0 - 15/07/08 - najciekawsze zmiany

- Synchronizacja listy scuttle między użytkownikami ( https://data.web-tools.pl/data/fsimg/2008-07-15_100333.png )

- Lista zadań z podglądem ustawień ( https://data.web-tools.pl/data/fsimg/2008-07-15_100535.png )

- Podpowiedzi odnośnie optymalnych ustawień zadań ( https://data.web-tools.pl/data/fsimg/2008-07-15_100652.png )

- Filtracja stałych fraz w tytule stron ( automatyczna indeksacja ) - ( https://data.web-tools.pl/data/fsimg/2008-07-15_100740.png )

- Doklejanie losowych zdań do opisu ( https://data.web-tools.pl/data/fsimg/2008-07-15_100846.png )

- Obsługa przekierowań 301/302

- Ignorowanie scuttle z linkami 302/nofollow ( z możliwością wyłączenia tej opcji )

- Wiele pomniejszych zmian i modyfikacji

Zmiany można sprawdzić w wersji DEMO.

Tym razem wymagane jest nadpisanie wszystkich katalogów i plików.

[elpav]

No teraz jest już chyba idealnie, dzięki.

[SirZooro]

Spoko, zwłaszcza synchronizacja listy scuttli się przyda Mam jednak do niej uwagę - na liście zaimportowanych scuttli było trochę adresów nieprzefiltrowanych, czyli np. z parametrem ?sort=title_asc. Przydałaby się funkcja umożliwiająca wyświetlenie listy pobranych z serwera nowych adresów i decydowanie czy je dodawać do bazy. Dzięki temu mógłbym ręcznie je popoprawiać i następnie dodać.

Poza tym skrypt jest bardzo czuły na klikanie - przypadkowe kliknięcia na wysokości przycisku "Utwórz nowe konta we wszystkich scuttle" uruchamia ten przycisk, pomimo że kursor myszki nie był nad nim. Pasuje to poprawić albo dodać messagebox'a z potwierdzeniem do przycisku (a najlepiej jedno i drugie).