PubliCleaner - przyśpiesz swojego Publikera

[verSuS]

Hej,

napisałem skrypt do czyszczenia Publikera z martwych katalogów. Póki co skromna wersja, ale już obsługuje proxy poprzez pliki php, pozwala filtrować po site i linkach i kilka innych gadżetów.

Katalogi odpytuje o site, linki, <title>, HTTP Response

Trochę testowałem i mam nadzieję, że nie ma błędów. Jak coś nie będzie działać - mówcie poprawimy.

Jak coś się wam popsuje - to tylko wasza wina

Jak się komuś spodoba, to dopiszę:

- prosty panel, żeby można było wszystko przeklikać,

- autoryzacje proxy na proste hasło

- i zabezpieczenia wysyłanych rzeczy getem

Instrukcja instalacji i użytkowania na blogu: PubliCleaner

[zajacgd]

Za szybko jeszcze, żebym przetestował , ale to powinno być przydatne. O od razu jedna uwaga - nie powinno katalogu/precla kasować, ale wyłączać, bo jak przyjdzie aktualizacja listy, to znów się ten wykasowany pojawi. A jeśli będzie tylko wyłączony, to w bazie jest i aktualizacja nie dołącza go na nowo. No i w sumie to proxy, by się przydało z loginem i hasłem, bo takie mam ....

[verSuS]

nie powinno katalogu/precla kasować, ale wyłączać

No i w sumie to proxy, by się przydało z loginem i hasłem

Nie kasuje. Ustawiam flagę na 0.

Proxy jest rozwiązane za pomocą skryptów php pobierających curlem strony.

PS. Przed testami zrób najlepiej backup tabeli publiker_as_targets (tylko na niej operuję) - tak na wszelki wypadek

[Lenny_]

zaraz się okaże że :społeczność Publikera" przejmie cały skrypt i pomoc autora nie będzie za bardzo potrzebna

wielkie dzięki

[dymek91]

Skrypt wygląda obiecująco, na pewno się przyda, dzięki

Czasami pokazuje mi się błąd "Nie można zakończyć żądania"

[Łukasz Gugała]

Sam osobiście posiadam coś podobnego i nawet paru osobom soft spasował.

Pamiętaj, byś autorowi Publikera nie wszedł zbytnio w interes, bo już takie robienie specjalnych paneli etc jest czymś, bo czego można się przyczepić, po drugie to już czysta konkurencja i nie jest to oczywista sprawa w dobrym tonie ;-)

Pisze całkowicie popierając projekt, ale nie zapominaj, żeby to została osobna aplikacja, nie wjeżdżająca zbytnio w interes Net Vision.

[Lenny_]

póki co Net Vision samo odjeżdża dość daleko od własnego interesu...

[Rainmaster]

Wielkie dzięki za skrypt, mieli sobie Czy to prawidłowy objaw, że w bazie skryptu w target_site, target_links, target_status oraz target_title mam zapisywane same -10?

E: a już widzę, to wartości domyślne zastępowany zczytanymi

[krypod]

Chciałbym zobaczyć opinię twórcy Publikera na ten temat

Oczywiście fajnie, że coś takiego jest (sam dziś myślałem nad czymś takim).

[aniec2]

Dziękować!

[Erbit]

PubliCleaner działa u mnie od wieczoru poniedziałkowego, 3 proxy wystarczyły.

Efekt działania na dziś:

6058 - checked (sprawdzone)

5567 - deactivated (usunięte)

1937 - import (oczekujące na sprawdzenie)

To daje obraz jakości bazy Publikera. Dziwię się, że autor Publikera nie rozwiązał tego problemu tylko czekał aż ktoś go rozwiąże.

[Arkadiusz]

Dziwię się, że autor Publikera nie rozwiązał tego problemu tylko czekał aż ktoś go rozwiąże.

Z marketingowego punktu widzenia lepiej sprzedać bazę z 11 000 preclami/katalogami, nawet jeśli część z nich jest niezaindeksowana, niż z 5000 zaindeksowanymi.

[Erbit]

Z marketingowego punktu widzenia lepiej ...

Nie podejrzewam autora o taki chwyt. Raczej to jakaś niemoc / niezgodność z kierunkiem rozwoju firmy.

Uzupełniając swój poprzedni wpis dodam, że crona ustawiłem na sprawdzanie co minutę (mam 3 własne proxy). To może się komuś przydać.

[taurus]

Mam mały problem , gdzie mam umieścić proxy?

[Erbit]

Mam mały problem , gdzie mam umieścić proxy?

Jest to wyjaśnione na blogu (pkt 4). Link na górze.

Zauważyłem dość istotny problem. Otóż wystarczy niepowodzenie w łączeniu z proxy i natychmiast w bazie otrzymuje ono error na 1 i status na 0 co powoduje, że proxy zostaje wyłączone.

Uważam, że wyłączeni proxy powinno następować po iluś tam błędach. Niestety czasem bywa tak, że przez chwilę nie można nawiązać połączenia.