OmniADD nowa dodawarka do katalogów

[Wilk]

webmini w wiekszosic niemoderowane? pokaz mi jakikolwiek moderowany webmini

EDIT:

@zakręcony - raport txt z qlwebów pusty

[Kojotek_OX]

Żeby nie było teraz tylko napiszę że za 2 - 3h odpiszę wszystkim ładnie i od razu powiem że dodamy system raportowania błędów do OmniADD (niestety pisanie lakoniczne że coś nie działa nic nam nie mówi a szklanych kul nie mamy) - innymi słowy koniec śmiecenia PiO wiadomościami z którymi nic się nie da zrobić

[marcin_ek]

Fajnie taki DEBUGER ??

To napewno usprawni prace , bo będziecie wiedzieli co w jakim przypadku.

Zróbcie z trybem edycji , aby uzytkownik opisał krótko buga . A to Nam wspólnie pomoze

Zmieniłem Hosting i trochem mi pomógł Piotrek na GG.

Wgrałem dwie tabele bazy danych co by nie stracic projektów i elegancko działa , a co najważniejsze WP zaczynaja sie pokazywać ;-)

Pierwsze wyniki bez proxy :

webmini 1992 370 30 92.5%

Pyt. jak szybko zarejstruje WP

[Wilk]

Kojotek - nikt Cię nie atakuje za obecnosc bledow, aktualizacje są częste, a ze nie siedzisz przy komputerze 24h na dobę to oczywiste Natomiast tez nie oczekuj, ze uzytkownicy powiedza Ci co konkretnie nie dziala w programie, bo nie są programistami grzebiacymi w kodzie programu Natomiast objawy zostaly opisane dosc jasno:

- liczba "dodanych" inna niz liczba linkow w raporcie, rowniez w przypadku webmini, ktore sa niemoderowane, wiec nie wynika to z wpisu "wyslanego, ale w trakcie moderacji"

- brak raportow w przypadku qlwebów (tutaj jednak byc moze na poczatku listy sa moderowane katalogi, wiec to raczej kwestia do weryfikacji)

I tyle

A system raportowania to bardzo dobry pomysl.

Pytanie: wczesniej pare osob sugerowalo losowa kolejnosc dodawania. Czy jest planowana taka funkcjonalnosc w kolejnych wersjach OmniAdd?

[Kojotek_OX]

Co do propozycji losowego dodawania - temat juz był poruszony wcześniej i niestety odpada (taka modyfikacja może mieć znaczenie na obciążenie generowane przez sam katalog/precla i na pewno na wielkość bazy OmniADD), tak więc się powtórzę "nie ma takiej możliwości dopóki OmniADD się rozrasta - jak skończymy z wszystkimi katalogami to się pomyśli"

[Wilk]

OK - mój błąd, przegapilem odpowiedz.

[gielo]

W dalszym ciągu nie dostałem odpowiedzi na jedno z pytań. Czy jest możliwość aby skrypt dodawał do zadanej ilości dodań na dobę ? tzn mam np 100 dodań, dodaje do 10 i generuje 90 błędów, razem 100. Obecnie po tym skrypt się zatrzyma i będzie czekał do kolejnej doby, a mi chodzi aby była możliwość że w przypadku wykrycia błędów dodaje dalej aż osiągnie 100 dodań zakończonych sukcesem. Obecnie to dość ciężko zapanować nad dobowym przyrostem.

[Carnagge]

W sumie gielo dobrze mowi. Jakby to nie powodowalo wiekszego obciazenia pracy programu to powinien on rozumiec 100 dodan na dobe jako 100 dodan skutecznych, czyli nie wlicza do nich tych co sie zakonczyly errorem

[arve_lek]

Jak chyba o tym już kiedyś pisałem. Chyba, że było to w temacie pozycjo.net. Sam już nie pamiętam

[Iguana]

Dla mnie to brakuje takiej prostej rzeczy jak nawet w adderze była, zapisz i dodaj konfigurację jako nową stronę czy jakoś tam było, podczas np. edytowania projektu.

[wertaz]

Co do róznic ilośicowych - czyli na zielono jest zaznaczane "udane dodanie, ale jeszcze w moderacji"? JJeśli tak, to skąd różnice liczbowe w webmini, przeciez nie sa moderowane? Np. mam w jednym z projektow "webminiowych" w dodane 592, a w eksporcie TXT 464.

FAQ pkt 10 odpowiada na to pytanie. w przypadku webmini dotyczyć to może głównie wersji v1 (tam gdzie można dodawać tylko jako strony, nie artykuły).

freeglobez są może i moderowane ale webmini oraz easydir w większości nie są. Wartości log są różnie zwracane jednak jak pisałem mam znajomego co ma prywatną dodawarkę i on nie ma problemu z wyłuskaniem podstron z wpisami. Jak to robi ? nie wiem, ale wiem, że się da to zrobić

Zrobić da się wszystko, ale jeśli w odpowiedzi po dodaniu katalog nie zwraca odpowiedniego linka to konieczne jest powtórne połączenie (najczęściej z wyszukiwarką) i ręczne "wyssanie" takiego linka. Dodatkowe połączenie to niby nic strasznego, 0.2s zamiast 0.1s w czasie wykonywania nie robi różnicy. Natomiast 10h a 20h to już różnica spora. Kojotek chyba już zresztą o tym pisał - nie chcemy zaburzać dodawania dodatkowym wyłuskiwaniem linków dlatego w tym celu potrzebny jest oddzielny cron i taki cron powstanie. Ale proszę nie traktować obecnej sytuacji jako błędu w programie. To nie jest błąd, jeśli już to po prostu brak jakiejś funkcjonalności i będzie to w przyszłości uzupełnione, wszystkiego na raz po prostu napisać się nie da. OmniADD rozwija się i ma się dobrze, teraz po prostu obraliśmy kierunek na dodawanie nowych skryptów i jak napisał Kojotek, po tej fazie wszystkie inne pomysły i sugestie również doczekają się realizacji. O ile nie usuwacie z bazy swoich projektów to wielce prawdopodobne, że w przyszłości również w nich będzie możliwość uzupełnienia tych linków - nie tylko w nowych projektach.

- liczba "dodanych" inna niz liczba linkow w raporcie, rowniez w przypadku webmini, ktore sa niemoderowane, wiec nie wynika to z wpisu "wyslanego, ale w trakcie moderacji"

- brak raportow w przypadku qlwebów (tutaj jednak byc moze na poczatku listy sa moderowane katalogi, wiec to raczej kwestia do weryfikacji)

Ja może podsumuję jak to wygląda obecnie:

webmini - zdecydowana większość linków powinna być w pliku txt, problematyczne są tylko katalogi z bardzo zmodyfikowanymi szablonami i inne szczególne rzadkie przypadki.

easydir - większość linków powinna być w pliku txt - za to w przypadku easydir odpowiada cron_link.php. I ten właśnie cron w przyszłości będzie rozwijany. Może co najwyżej wystąpić pewne opóźnienie w pojawianiu się linków, bo proces dodawania jest szybszy niż proces wyłuskiwania linków.

otwartymini - wyciagane są linki z katalogów które nie są moderowane. Pozostałe linków nie mają.

wordpress/wordpressprv - tak jak w przypadku webmini - linki powinny byś właściwie wszystkie, poza tymi z ekstremalnie zmodyfikowanych WP.

freeglobes - są to katalogi moderowane i tutaj na dzień dzisiejszy linków nie ma. Sprawa jest o tyle problematyczna, że nie wiadomo kiedy moderator zaakceptuje wpis, więc linka trzeba najczęściej szukać kilkakrotnie a to jak wiemy = czas + transfer. Jak już mówiłem w następnych fazach rozwoju omniAdd zajmiemy się tą kwestią.

mocnelinki - tak jak w przypadku WP i webmini.

qlweb - testujemy system efektywnego wyciągania linków z tych katalogów, póki co jednak, na dzień dzisiejszy, linki do qlweb mogą się nie pojawiać.

W sumie gielo dobrze mowi. Jakby to nie powodowalo wiekszego obciazenia pracy programu to powinien on rozumiec 100 dodan na dobe jako 100 dodan skutecznych, czyli nie wlicza do nich tych co sie zakonczyly errorem

Rozważamy to jako rzecz do samodzielnego ustawiania w opcjach. "limit dzienny traktuj jako" i tu do wyboru "prawidłowe dodania"/"próby dodań łącznie z błędami". Pamiętajmy jednak, że jedną z przyczyn ograniczania dziennego jest zmniejszanie ilości transferu. Nieudana próba również transfer generuje, więc z taką opcją będzie trzeba obchodzić się dość umiejętnie.

I ku pokrzepieniu serc - szacunkowa łączna ilość poprawnych dodań wszystkich instalacji OmniADD przekroczyła 3.000.000

[zakręcony]

I ku pokrzepieniu serc - szacunkowa łączna ilość poprawnych dodań wszystkich instalacji OmniADD przekroczyła 3.000.000

Szaconkowa to znaczy w oparciu o co?

[wertaz]

I ku pokrzepieniu serc - szacunkowa łączna ilość poprawnych dodań wszystkich instalacji OmniADD przekroczyła 3.000.000

Szaconkowa to znaczy w oparciu o co?

W oparciu o dane jakie wymienia OmniADD z naszym serwerem matką w momencie aktualizacji, które pomagają nam wytropić błędnie działające katalogi i filtorwać skutecznie ich listę.

W sumie ciekawe pytanie, dlatego trochę rozwinę. Założeniem OmniADD było stworzenie dodawarki o bazie współtworzonej przez użytkowników i tak właśnie staramy się OmniADD rozwijać. Dlatego też pewnie zauważyliście, że gdy dodajemy nowy skrypt, początkowo baza (liczba katalogów) jest niewielka a później stopniowo się rozrasta. Podobnie jest ze skutecznością. W pierwszych dniach dodawania może być przeciętna, później sukcesywnie wzrasta. A to właśnie za sprawą zautomatyzowanego systemu konstruowania bazy przy współudziale wszystkich jej użytkowników. Napisałem "szacunkowo" bo odnośnie dodawania do wordpressów prywatnych żadnych danych nie zbieramy (w końcu jak sama nazwa wskazuje są prywatne), również jeśli ktoś po dodaniu projektów usuwa je później z bazy to nie dysponujemy odpowiednimi liczbami. W praktyce więc, liczba ta może być znacznie większa niż 3.000.000

[gielo]

Wertaz, fajnie że zwracacie dużą uwagę na wydajność ale czasem warto poświęcić trochę limitów łącza, procesora kosztem funkcji bez których dodawanie jest mocno uciążliwe. Wlicza się w to właśnie ten limit aby była możliwość dodania do pełnej zadanej liczby dodań zakończonych sukcesem czy też takie skonstruowanie algorytmu aby nie łapał banów już przy kilku dodaniach. Ja tak miałem więc pewnie wyjątkiem nie jestem. Pisałem jak to można zrobić i nie mówię yu o losowości ale o najzwyczajnym w świecie rozłożeniu ilości dodań w ciągu doby aby nie następowały po sobie. To też może być jako opcja. Nie każdy korzysta z hostingów. Są ludzie którzy dodają setki wpisów na dobę, tysiące i powiem szczerze że przy tych ilościach bardzo łatwo o bany korzystając nawet z proxy. Wiem że one są tu pewnym rozwiązaniem problemu ale. No właśnie ale ile trzeba ich mieć aby powiedzmy 10k dodań na dobę nie skończyło się banem ? Prywatne adresy proxy często szybko znikają a i inni tez je znajdą jak ja je powiedzmy znalazłem. Natomiast komercyjne to już spore koszty jak bym miał wykupic powiedzmy 1000 ip na proxy z różnych klas. I tu nie jest powiedziane że one bana nie zarobią jak skrypt pociągnie za jednym zamachem kilkadziesiąt czy set wpisów z jednego proxy. Kolejna sprawa czy koszt tego nie będzie wyższy niż wykupienie pewnej ilości dodań u takiego sylwina i nie martwić się o to jak tu wpisy wyciągnąć, że zbanują ip i trzeba mimo automatu i tak to co raz kontrolować.

Nie bierzcie moich sugestii jako krytyki bo sam skrypt jest oki tylko, że czasem warto zwrócić uwagę na userów i jakie oni mają oczekiwania. Nie każę wam przecież robić jakichś zbędnych wodotrysków czy podlinkowań wpisów jak mają to inne konkurencyjne skrypty a tylko dopracować pewne rzeczy aby sprawdzały się lepiej przy dużej ilości dodawanych wpisów, stron itp. Jestem pewny że spora część użytkowników omniadder chciała by miec to o czym pisze kosztem pewnego spadku wydajności. Tym bardziej jak piszesz będzie ona niewielka.

[Kojotek_OX]

@Gielo spadek wydajności może być rzędu 50 - 75% w skali całego dnia - czy to jest mało ?

NDodatkowe połączenie to niby nic strasznego, 0.2s zamiast 0.1s w czasie wykonywania nie robi różnicy. Natomiast 10h a 20h to już różnica spora

Jesteśmy uparci w swoich postanowieniach i nie dodamy nadzień dzisiejszy tych opcji o których mowa - teraz robimy żeby uzyskać jak największą wydajność, jak ktoś ma ochotę ograniczać swoją wydajność to idzie konkurencji z wodotryskami.

Zostało powiedziane że jak skończymy zabawę z dodawaniem katalogów wtedy się pomyśli które rozwiązania dodamy jako OPCJE do OmniADD ale na dzień dzisiejszy nie mamy o czym gadać i nie wprowadzę ani jednej rzeczy która mogło by spowolnić dodawanie do katalogów lub też zwiększyć znacznie obciążenie serwera.

OmniADD pozostaje najszybszą, najskuteczniejszą dodawarką z najbardziej aktualną bazą , najszybciej rozwijanym softem na polskim rynku i ani Ty ani żadna inna osoba nie wpłynie na zmianę tych parametrów