[SQL] Projekt bazy dla serpów

[k0l3c]

W zasadzie to już większość mechaniki mam za sobą

Bynajmniej podstawowe funkcje tj. dodawanie i usuwanie fraz/domen, rysowanie tabeli pozycji, kolorowanie wyników, aktualizacja wszystkich pozycji jednym kliknięciem, imitację proxy itp.

Nie ma jeszcze ładnego layouta choć i tak dobrze wygląda, oraz kilku udogodnień, które mam zamiar dodać, ale z tym już się bawię na spokojnie.

Odnośnie zakresu miesięcy, na razie to odłożyłem, ale rozwiązanie mam w głowie, czyli zwyczajny zakres dla 'date' w zapytaniu SQL.

Problemem w tej chwili jest generowanie miniaturki dla stron tj. w GWT ponieważ serwer nie jest na windowsie, a zewnętrzne serwisy + ich api = miniaturka z reklamą ;/

[Mion]

Więc nazywanie tabel "PozycjeFraz" albo klucz obcy "idf" do tabeli "frazy" (zamiast frazy_id) to w tym sensie błąd.

Niewątpliwie językiem informatyki jest angielski, ale nie ma żadnego wymogu, by tabele, kolumny, baz danych nazywać po angielsku to samo tyczy z tymi podkreśleniami jako frazy_id.

To "1) Nazwa tabeli zawsze w rzeczowniku w 1 osobie, czyli nie "pozycje" a "pozycja" - ten wymóg nazewnictwa jest niezbędny przy korzystaniu z: Object-relational mapping (ORM, O/RM, and O/R mapping)

[k0l3c]

Jak jest z ograniczeniem zapytań w php?

Przykładowo chcę sprawdzić frazy dla wszystkich domen i mam w tym momencie sporą pętlę, w efekcie dostaję error z nazwa.pl

że cgi się wysypało czy coś, nic konkretnego, żadnego numeru.

Mieli mieli i się zawiesza. To dla tego, że za długo trwa zwrot wyniku głównej pętli?

Jak to zoptymalizować?

[Mion]

Jak to zoptymalizować?

Np piszą tak aplikacje, by nie musiała wywoływać kolejnych zapytań w pętli.

Stosując stosowne indeksy w tabelach co przeważnie przyśpiesza wyszukiwanie - pobieranie danych.

Korzystać z innego hostingu np VPS gdzie nie masz ograniczeń na zasoby i czas wykonywania skryptu.

[k0l3c]

Na razie sobie nie wyobrażam w jaki sposób można to jeszcze ukrócić..\

Pobieram z bazy domenę, pobieram przypisane do niej keywordy, przeszukuję serpy dla tych keywordów (jeżeli wynik jest, to skrypt nie szuka na kolejnych stronach/ a max szukam do 5ej) i updateuje wyniki. Później pobieram kolejną domenę i robię to samo. (dla każdej domeny osobno idzie ok, jak w pętli wsadzę wszystkie domeny to już nie)

Nie mam tego aż tak wiele. Zainstalowałem Xampa na chwilę żeby wykorzystać do tego swojego kompa w ramach testów.

Rozchodzi się tylko o "max_execution_time" czy jeszcze coś? czy źle kombinuję z tym prywatnym ala vps`em?

[Razjer]

Na nazwa.pl nic nie wskórasz, tam max_execution_time 30 sek dla skryptu. Możesz się pobawić na localhoście jedynie lub czymś konretnym za grubsze pieniądze Chciałbym życzyć koledze sukcesu ale komercyjnie tego nie sprzedasz, walisz obecnie głową w mur i musisz pomyśleć jak obejść problem z Proxy i czasem wykonywania skryptu i paroma pierdołkami jeszcze

[THI]

jak na swoim serwerze to w php na górze:

<?php
set_time_limit(0);

Ja bym Ci radził zrobić to bezpieczniej, czyli przez CRONA, co minutę pobierasz 1-2 frazy z bazy danych i sprawdzasz pozycje.

Też właśnie piszę taki system sprawdzania pozycji + panel klienta i całkiem przyjemnie to idzie

// A co do proxy to wystarczy kilkanaście/kilkadziesiąt webproxy lub publicznych http proxy aby w ciagu 24 godzin wykonać kilka tysięcy zapytan do google, oczywiście przy rozważnym odpytwaniu google, czyli CRON, Odpowiednie IP, Losowe UA.

[k0l3c]

Na nazwa.pl nic nie wskórasz, tam max_execution_time 30 sek dla skryptu. Możesz się pobawić na localhoście jedynie lub czymś konretnym za grubsze pieniądze Chciałbym życzyć koledze sukcesu ale komercyjnie tego nie sprzedasz, walisz obecnie głową w mur i musisz pomyśleć jak obejść problem z Proxy i czasem wykonywania skryptu i paroma pierdołkami jeszcze

Dzięki.

Nie niekoniecznie to skończy w markecie

Piszę głównie pod siebie, bo chcę mieć wyniki bez mapek i możliwość sprawdzenia w dodatkowo w każdej chwili.

Dla czego walę głową w mur? (uczę się i chętnie poczytam uwagi/wskazówki)

Z proxy nie mam problemu, co frazę losuje inne i leci z koksem

Co do crona, to raczej nieuniknione, ale wolałbym też go jakoś oszczędzić.

Ps. Serpy ściągam przez file, nie używam curla ani api.

Reasumując skrypt jest bardzo wygodny, prosty i szybki, szybszy niż np. graport, może nawet szybszy niż stat4seo, a na pewno od webpozycji ale z nimi nie mam co się równać wiem

Wykonują świetną robotę. W tym timeoucie na nazwie spokojnie zdążam sprawdzić z 20 fraz, może więcej.

[THI]

w jaki sposób ściągasz SERPy przez file() z uzyciem proxy ?

// o znalazłem już wiele gotówców w oparciu o file, nie wiedziałe że tak można.

// ja kozystam z cURL'a

[k0l3c]

w jaki sposób ściągasz SERPy przez file() z uzyciem proxy ?

Z użyciem webproxy i anonimowych webproxy.

Tak jak mówię, dopiero się uczę i wybieram najprostsze drogi.

[THI]

jak skończysz pokaż jakieś demko ;>

[k0l3c]

Postawiłem demko, zniknie niedługo

Tutaj jest

Oczywiście są błędy

[Mion]

Publiczny hosting NIE gwarantuje, że ich IP nie będzie zbanowane dlatego lepszym rozwiązązaniem jest własny VPS z racji tego dedykowanym IP i odpytywanie z corona w porcjach np 10 w pętli z sleep(1) wywoływanych co jakiś.

Jeśli chodzi o proxy polecam proxymarket.pl

[k0l3c]

Dzięki za podpowiedzi.

Teraz jak już jakiś etap mam za sobą, chyba zacznę pisać od nowa i porządnie, bo w tej chwili po tych wszystkich eksperymentach nie wygląda to najlepiej

1. Jest jakiś prosty sposób aby w php sprawdzić ile dni ma konkretny miesiąc? (edit. coś jest chyba w manualu)

2. W tej chwili brak pozycji jest u mnie wpisem "-" w bazie, żeby nie śmiecić i dodawać do niej tylko wyniki, jest sens ustawić sztywne tabele na każdy miesiąc?

Chodzi mi o to, aby podczas rysowania, skrypt automatycznie przydzielał tylko te pozycje, które ma w bazie, a tych których nie ma oznaczał jako "-".

Czyli "sprawdź czy jest wpis za ten dzień = Tak(skopiuj go) Nie(wstaw -)

[Mion]

znając liczbę miesięcy możesz sobie zrobić pętle

for()

{

-> następnie pobierac dane zapytaniem wybierającym dla konkretnego dnia.

i wstawiac do celi tabeli tworzonej dynamicznie..

}

Zreszta rozwiażań moze być kilka w zależności od struktury tabeli przechowujacej dane