Zabezpieczanie kodu

[Daniel Kędzierski]

MMP poza faktem ze skrypt wykonuje sie po mojej stronie, tresc wstawiana jest za pomoca curla, wiem ze w sam skrypt nie bedzie widoczny.

Opisze jak ja to widze:

DC1 - dane

DC2 - dane

DC3 - dane

DC4 - dane

Uzytkownik pobierajacy dane w wypadku ktory podales widzialby z ktorego Dc pobier dane, poprzez kodera chcialbym wlasnie zabezpieczyc informacje z ktorego obecnie DC pobiera dane.

Pobierana jest taka ilosc danych ktora umozliwi np uzytkownikowi swobodna modyfikacje calej reszty serwisu.

Np jest 100 open user ktorzy gratisowo pobieraja sobie dane,

Na serwisie Usera 1 - ktos pobiera dane na temat roweru, zostaje zlozone zapytanie do Dc1, skrypt na Dc1 wykonuje zapytanie do bazy danych, zapytanie zostaje cachowane na DC1 i na hoscie usera poprzez 7 dni.

Ok gdy u usera ktos zada to pytanie w ciagu 7 dni wiadomo, dane ida z lokalu

Ale zakladamy ze identyczne zapytanie skladane zostaje u usera U34 - w tym momencie jedyne co sie dzieje to odwolanie do tego samego skryptu co U1 lecz nie zostaje juz zadane pytanie do bazy a jedynie wyslane zostaja dane ktore juz zostaly cachowane.

Tak wiec przy 300-500 uzytkownikach obciazenie do bazy zostaje zminimalizowane.

Aby zapobiec wykladaniu sie przy duzej ilosci pobierania zostaje ukryte DC i np jezeli u45 usiluje pobrac dane z Dc1 ale serwer lezy lub Dc1 jest zbyt obciazone automatycznie przenoszony jest do Dc2.

Tak to sobie jakos wymyslilem ale najwazniejsze aby zabezpieczyc koderem wlasnie te 10 linijek kodu odpowiadajace za manewrowanie pobieraniem danych.

Np otworzony przed sekunda serwer testowy korzysta z pobieranych danych i tak wlasnie otrzymywalby dane uzytkownik.

https://www.szook.kei.pl/test.php?p=marketing

https://www.szook.kei.pl/test.php?p=reklama

https://www.szook.kei.pl/test.php?p=pozycjonowanie

mozna wpisac dowolne zapytanie - lecz jego odswiezenie powoduje bardzo szybkie zaladowanie.

Oczywiscie w udostepnianych danych nie byloby gwiazdek, dowolnosc w stylach i cala reszta layoutu, dostepne wersje 10-20 wynikow, kazdy user nie bylby zostawiony na pastwe losu - tzn ze dane ktore pobiera korzystalyby z fonckji fast indeksera w wyszukiwarkach. Skuteczny :-)

Tak wiec user zdobylby dodatkowy content, darmowym kosztem, przy minimalnnym obciazeniu serwera.

cachowanie co 7 dni,w opcjach jak dany serwer posiada kompresja w locie w celu zmniejszenia pozeranego transferu.

Wg testow jedno DC moze zniesc do 2 mln odpytan - bowiem dochodzi do odpytanie tylko httpd, pozatym ta liczba jest nie osiagalna bowiem nawet przy 100 duzych serwisach partnerskich czesc z nich zada takie samo zapytanie, pozatym jak pisalem wyzej dane zapytanie zostanie cachowane po jego stronie.

Teraz tylko dobry koder tej czesci kodu ktora udostepnie i odpale mysle ze atrakcyjna forme wymiany contentu, nie beda to tylko dane w syszukiwarka katalogu ale wiele innych danych ktore bedzie mozna laczyc.

Np wyniki i synonimy

synonimy i encyklopedie

wyniki i encyklopedie itd.

Fast indekser dziala na dosc specyficznej zasadzie i jest wysoce skuteczny wzgledem indeksacji podstron - moje testy pokazaly ze kazda taka domena ma szanse miec w pierwszy tygodniu poprawienie zaindeksowanych w google 10 tys podstron.,

Rozne updaty,dc jak i mozliwosc dowolnej kompozycji otaczajacej dane pozwalaja uniknac najbardziej rygorystycznego filtra duplikate content.

Tak wiec zabieram sie do testow i czekam na opinie osob majacych jakas wiedze na temat tego kodera php

[MMP]

z zabezpieczeniami(czy pobierany z odpowiedniej domeny/ IP/ Czy czas uzytkowania sie nie skonczyl) poprzez skrypt u siebie.

Szook zmuszasz do czytania kartek A4 a sam nie przeczytasz do końca jednego zdania

Chodzi o to że u siebie zapisujesz w bazie czy serwer może pobrać nowe dane, jak nie to generowany jest statyczny wczesniej pobrany dokument.

[Daniel Kędzierski]

MMP przeczytalem.

Ale czy w twoim rozwiazaniu jestem wstanie ukryc jaki serwer bedzie odpytywany ?

A poza blokada jakiemu serwerowi wyrazam zgode na pobieranie chce ukryc informacje z jakiego miejsca te dane beda pobierane.

Po 2 nie wyobrazam sobie kazdorazowego zadania pytania bazie ktory chce pobrac dane, to jest jak dla mnie zbyteczne obciazanie.

Ustawiajac to po stronie skryptu - on sam wie czy jest skryptem uruchimionym w odpowiednim miejscu - jezeli nie jest poprostu nie wykonuje sie.

Tak wiec nie chodzi mi o zwiekszanie obciazenia a taka sytuacja wlasnieby obciazala - (pytania do bazy czu yser jest OK).

2 co mi nie pasuje to w tym rozwiazaniu jak rozumiem user widzi z jakim DC aktualnie sie laczy.

W wypadku zakodowania skryptu nie widzi a takze nie odpytuje maszyny jezeli nie jest domena uprawnioną do zlozenia zapytania.

[MMP]

Szooku...

Oczywiście że sie da, trza tylko pomyśleć i popatrzeć na rozwiązań serwisów z których codziennie korzystamy - przykład google.

Odwołujemy się do google.pl a potem dostajemy dane z danego DC więc czemu takiego systemu by tutaj nei zastosować?

Po 2 nie wyobrazam sobie kazdorazowego zadania pytania bazie ktory chce pobrac dane, to jest jak dla mnie zbyteczne obciazanie.

W temacie o Wyszukiwarce graffa pisałeś że masz klase od cache, może by ją wykorzystać

[Daniel Kędzierski]

tzn: tak oczywiscie: ale ona cachuje wyniki co widac na linkach wyzej ktore podalem.

odpalenie nowego zapytania trwa chwile dluzej.ponowne pobranie to juz tyle akurat tutaj KEI pozwala czyli jakies 260 kB.

Jak sie da to fajnie lecz nie wiem jak.

Za pomoca takiego kodera w prosty sposob bo byloby to w tym skrypcie zapisane, jak data waznosci/domena.

W wypadku o ktorym mowisz mam blade pojecie jak.

Po drugie wlasnie chodzi o ukrycie tego google.pl

Ty zwracasz sie do google.pl a ten pobiera dane z innego DC.

W wypadku zakodowania podstawowej wiedzy user tak szybko nie zobaczylby nawet tego google.pl

Dopiero gdyby zaczol sledzic pakiety ktore ten skyrpt wysyla.

Dlatego ja to tak opisalem

ze masz przykladowa domene szook.kei.pl/test.php?p=forum

i zakladajmy nalezy ona do Ciebie - na niej umiesciles moj skrypt ktopry masz w postaci:

$&^%(*&^(*&%^&%(*&^(*&%&^$^&$^%$&*(^(*&%

Wiec nie wiesz czy dane pobierane sa z google.pl czy z google.com bo zostalo to wstepnie zakodowane.

Ja rozumiem ze i to mozna ominac ale chcialbym choc tak wlasnie zakodowac.

A jezeli dalej jestem w bledzie i zapomoca twojego rozwiazania mozna takze ukryc podstawowe informacje jak to Google.pl to ok.

Bo tak jak pisales - my uzywamy google nie widzac z jakiego DC ona korzysta. ale samo google wie.

A mo chodzi ze takim google bylbys ty i nie widzialbys skad leca pakiety.

Mam nadzieje ze nie zakrecilem

[michal]

SOAP i wysyłanie danych w postaci XML będzie według mnie dużo wydajniejsze, nie potrzebujesz niczego szyfrować, a sprawdzasz jedynie token, który user musi wysłać w header każdego zapytania.

Po stronie swojego serwera rozdzielasz, łączysz serwery, robisz co chcesz.

Czyli jednym słowem stwórz API.

[MMP]

Jak zaszyfrujesz to i tak user prawdopodobnie też będzie mógł sprawdzić dokąd wędruje pakiet.

Ja bym normalnie pobierał dane z wielki-potezny-alias.pl, jeśli odwołanie nie następuje z odpowiedniego serwera wysyłasz nagłówek 404 i user też nic nie zobaczy. A potem serwer podpięty pod wielki-potezny-alias.pl wysyła odpowiednie zapytanie i user nie wie skąd idą dane, a Ty możesz kontrolować wszystko jeszcze przed połączeniem się z danym DC.

Więcej osób skorzysta bo nie wszędzie jest jakiś optymalizator czy inny bzdet

[Daniel Kędzierski]

ok, stworz APi.

Tylko jak rozplanowac takie API - to nie lada zadanie.

MMP - wszystko ok - nie jest probleme zapisanie jakie referery maja dostep a ze inne maja 404.

Chodzi tylko o jak najwieksze bezpieczenstwo.

Wiec pytanie brzmi - czy nie bedzie mozna zabic serwera generowaniem 404 ?

Choc uznalem ze to juz jest swojego rodzaju API.

Bo wymyslilem to tak:

Panel usera: nowy user podaje login haslo, domene.

max po 12 godzinach zostaje umieszczony w jego panelu odpowiednio wygenerowany kod wazny np przez 3 msc i tylko dla danej domeny.

Michale naprawde nie mam pojecia o koderach - mowisz ze generuja dodatkowe obciazenie.

Byc moze niemam pojecia bo nie stosowalem

Lecz gdzie moglem i wyczytalem to skrypty kodowanie takim zendem dzialaja duzo szybciej.

Dlatego chcialem sie skupic na czyms takim jak zend czy inne podobne.

Myslac ze to bedzie bardzo optymalne rozwiazanie.

generalnie to co przygotowalem teraz spokojnie zniesie duza ilosc zapytan, czyli predzej transfer padnie.

Przykladowo gdyby zapytanie sex nawet z 300 witryn partnerskich siegnelo 2 mln dziennie ( nigdy nie osiagalne to z mojej strony napewno bym wydolil.

Gdyby na danej witrynie takie zapytanie zostalo zlozone 100 tys razy to obciazylo by ja tylko raz.

Chyba ze funckaj cachujaca nie poradzilaby sobie ze 100 tys odpytan ale nie sadze.

Predzej padnie z innego powodu.

Rozmawialem z pewna duza firma hostingowa ktora stwierdzila iz dobry serwer jest wstanie zniesc spokojnie 20 mln odpytan.

Wiec bardziej mysle ze pasc mogloby z powodu - przesylu po stronie usera, padu 3 z 4 dc choc 1 DC napewno zaspokoji ruch nawet 300 domen generujacych po 20-30 tys indywidualnych zapytan.

Byc moze mozna zrobic to jeszcze optymalniej ale prawde mowiac niemam pojecia jak.

A chcialbym stworzyc swojego rodzaju polski open katalog - ktory bylby jak i podzialem na kategorie tak i zarazem indekserem stron w katalogu dzieki czemu wpisy bylby bardziej aktualizowane.

Pytanie tylko czy zasieg 200-300 tys domen polskich w bazie jest wystarczajacy na open katalog.

Czy aktualizacja co 7 dni takiego katalogu jest wystarczajaca.

Czy znajda sie userzy ktorzy w zamian za bezplatne pobieranie danych pomoga w moderacji takiego katalogu.

Moderacja sprawa prosta - szukanie smieci i dodawanie nowych wpisow.

Pytanie czy userzy zrozumieja idee fast indeksera dla kazdej partnerskiej witryny.

Zasada takiego fast indeksera uwazam jest bardzo sprawiedliwa.

USER1 posiada dane z DC1 ktora wraz z danymi wysyla podobne podpowiedzi ktore linkuja do USER3.

User 3 pobiera dane z Dc1 linkujac do user14.

Ilosc takich tematycznych linkow wraz z wynikami - 5.

Ogromna szybkosc indeskacji kazdej nowej partnerskiej domeny z niezwykle duza sila.

Tak wiec mam nadzieje ze sie uda to wszystko opracowac.

[MMP]

Wiec pytanie brzmi - czy nie bedzie mozna zabic serwera generowaniem 404 ?

Jeszcze nie spotkałem się tym by wysłanie nagłówka do przeglądarki czy też wyswietlenie statycznej strony(2kb kodu) może ugotowac serwer nawet przy tys. odsłon na minute

Zreszta skoro aż tak wielki ruch ma być to lepiej napisać własny serwer http który ma wszystko rozdzielać..

[Daniel Kędzierski]

wiec widzisz.

Skoro moj problem to nie analiza obciazenia bo na chwile obecna gotowe dane to 3-6 Kb statycznych powiedzialbym danych.

Wiec jezeli taka forma jest wstanie zabic serwer przy np masowej ilosci odpytan httpd to musze uwzgledniac takze zbedne zapytania 404 ktore obciazalyby httpd.

Dla mnie czy zapytasz mnie o 404 czy o dane to jest to samo obciazenie serwera z roznica wyslanych danych.

Dane wyniki okolo - 3,4 KB

Wiec staram sie uniknac kazdego zbednego zapytania do serwera wyslanego przez nie oprawnionego usera, nawet zapytania o token czy jak kto woli o to ze jest uprawnionym refererem.

ja wiem ze byc moze nie bedzie sie nikomu nudzic i miec mozliwosci zadania np 2 mln zapytan o 404.

Ale wole dmuchac na zimne - mysle ze dzieki temu osoby pobierajace dane beda mogly miec pewnosc ze ich serwis nie wyleci z mojego powodu a obciazenie generowane przez skrypt bedzie minimalne.

Co do loadera - pytanie gdzie sie hostuje - bo mysle ze admin nie powinnien miec problemu z zainstalowaniem dodatkowej biblioteki.

Ale zarazem MMp przemysle to bo wiem ze masz racje piszac iz jest to dodtkowy problem w popularyzacji (koniecznosc instalowania biblioteki dekodujacej).Z drugiej zas strony w pewnym sensie wydaje sie to tez bezpieczniejsze i stabilniejsze a o to chyba chodzi.

Nawet gdyby padly 4 serwery serwujace dane to poprstu strona poijawi sie rownie szybko lecz bez danych, tym samym nie wyleci serwis pobierajacy takie dane.

Co do ruchu - nie mysle by byl az tak wielki.

Ale nawet zbyteczne 2 KB to dla mnie cenna oszczednosc.

Mysle ze przylaczy sie max 100 witryn - jakos projekty OPEN nie maja powodzenia bo zaraz ludzie chca to zasmiecic a ja poprstu chcialbym dac mozliwosc contentu, mozliwosc umieszczania wlasnych reklam, wlasego layoutu jedynie za logo w postaci iz silnikiem jest xxx, czyli popularyzacja glownego projektu.

Pozatym zastosowanie fast indeksera w postaci linkow do podobnych poszukiwanych - linkujacych sprawiedliwie bez mozliwosci oszukiwania ze strony userow to nie tyylko szybki indeks.

Z moich testow wynika iz umieszczenie 5 linkow pod tytulem podobne poszukiwane na serwsiie 20 tys user przenosi na nowy serwis od 1 do 2 tys userow. Tak wiec kazdy user nie bylby pozostawiony pastwie losu, bo dostalby traffic jak i moc indeksowania.

Mysle ze projekt fajny i chcialbym zrobic to tak by wszystko gralo.

[MMP]

W takm razie jeśli ktoś nie może obejrzeć wysyłaj białą strone.

Jakoś nie widzi mi sie żeby ktoś dziesiątkował odwołania do serwera, jeśli nawet to wtedy dopisać go na jakiś czas na liste zbanowanych na serwerze(np. Apache - chodź skoro to ma mieć mln, odwołań proponuje zmiane) i wtedy serwer się wszystkim zajmie

[michal]

Jeżeli chcesz do tego podejść poważnie to warto wcześniej włożyć w to trochę czasu na przemyślenie i napisanie odpowiedniego skryptu (niekoniecznie PHP, np. Ruby).

Poza tym, nie wysyłaj pliku w divach, daj użytkownikiem wolność wyboru prezentowania treści - XML.

[Daniel Kędzierski]

MMP moze i masz racje.

Michale pomysle nad tym rozwiazaniem - nie ukrywam ze mam blade pojecie jak przygotowac taki PLIK w oparciu o XML - tydzien posiedze i pojmę.

Napewno masz racje ze lepiej jak user sam zadecyduje o pelnym wygladzie danych.

Nie mam nic przeciwko - jedyne co to teraz posiedze 7 dni i postaram sie przygotowac dane wlasnie w takiej postaci.

Pytanie tylko czy zostawic 2 wersje bo przeciez znowu czesc userwo nie bedzie wiedzialo jak takie dane zinterpretowac i dac im mozliwosci w kilku jezykach np PHP, ASP, PERL i to co napisales choc tego to juz nie znam ;-) znam jeszcze jakiegos python ;-)

Ale nie jestem mistrzem i obawiam sie odslony DC na ktorych beda dane.

Moze zbyt przesadzam.

Ale jezeli jakis np zlosliwy USER znajacy sie dobrze np wlamie sie na taki serwer bo bedzie znal jego polozenie to moze szkodzic userom pobierajacym dane.

Dlatego staram sie ukryc jak sie da.

Wiesz do czasu az cos jest malo popularne to moge udostepnic gole 10 lini bez obaw ale wiem ze pozniej jak we wszystkim znajdzie sie ktos taki kto zechce zniszczyc kogos prace i tego chcialbym w sumie uniknac.

To ze ja kogos dam na banliste to ok, wiekszy problem jak nie zdaze go dac.

A nie wiem na ile taki user znajac IP DC moglby szkodzic lub postarac sie zaszkodzic a tak poprstu utrudnilbym mu to troszke, moze nie zbyt ale zawsze.

Obecnie przygotowuje si ena ruch 100 GB co daje srednio = 2500000000 pobran z serwera danych w wielkosci 4 KB

co jest nie do osiagniecia zakladajac ze jest nawet 1000 witryn to daje 250 tys na jedna witryne miesiecznie.

Zakladajac cache tygodniowy to daje 62,500 zapytan tygodniowo - z czego jak wiadomo zadko zdazaja sie zapytania 1 razowe.

Wiec jak user ktory generowalby 62 tys zapytan tygodniowo moglbym wyswietlic srednio conajmniej 1 mln odslon tygodniowo.

Srednia powtorzonych zapytan to tak naprawde 20/1 wiec nawet i wiecej. Pozatym czy ktos u usera dziennie wpisze 100 razy pozycjonowanie czy nie to niema to juz wplywu na obciazenie tego wlasnie API

Chyba ze ja cos zle policzylem to prosze mnie poprawic ;-)

[MMP]

To ze ja kogos dam na banliste to ok, wiekszy problem jak nie zdaze go dac.

To nei Ty masz dawać tylko serwer obsługujący połączenia.

Zresztą jak uszkodzi to tylko serwer łączenia, a nie serwer danych.

[Daniel Kędzierski]

a rozumiem, czyli kazde nie autoryzowane polaczenie odrazu na banliste w celu unikniecia jakiegokolwiek nastepnego polaczenia z danego IP/Domeny

dobrze zrozumialem czy cos popierdzielilem ?

Tylko co bedzie jak z tego samego IP serwera bedzie chcial sie polaczyc autoryzowany user ;-)

Nic musze to przemyslec.

Teraz poszukam o XML i innych wersjach