Site mapa i drastyczny wzrost liczby zapytań do bazy merlin-x

[Ojciec_Pio]

Pytanie do osób doskonale znających realia związane z obciążeniami serwera i liczbami zapytań od strony sitemapy. Wdrożyliśmy sitemap dla klienta, który treśc sprzedażową zaciąga od dostawcy treści merlin-x. Pod koniec wygenerowaliśmy sitemap - ledwo 10% zaindeksowanych stron na ok 14 tys zgłoszonych. Ale w grudniu rachunek od merlin-x dla klienta przyszedł 2x większy z pwodu wzrostu liczby zapytań do bazy merlin-x. Czy to może być wina sitemapy?

Według mnie na to właśnie wygląda, bo nie widzimy żadnej innej przyczyny - w grudniu nawet ruch był mniejszy niż w styczniu. Czy zate roboty google indeksując sitempae mogą wygenerowac taką liczbę zapytań do zewnętrznego dostawcy treści? Jeśli tak, to jak przed tym najlepiej się bronić?

[Mion]

W prawidłowo zaprojektowanej aplikacji może być następujący scenariusz:

- Aplikacja kliencka pobiera dane z serwera danych merlin-x i zapisuje je w swojej bazie;

- Aplikacja kliencka na podstawie danych z swojej bazy generuje sitemapy;

- Serwer danych merlin-x działa z autoryzacją po IP autoryzowanego klienta, wiec dla żądań z IP nieautoryzowanych zwróci błąd.

Wiec jak widać jest minimalny styk Aplikacja kliencka <> Serwer danych merlin-x i możliwość "dodatkowego wyciągania danych"

Ja wy to zrobiliście tgo nie wiem ....

[Ojciec_Pio]

Mion, to co piszesz nie ma niestety najmniejszego sensu. Google bot nie łączy się w ogóle z bazą merlina.

Aplikacja kliencka nie pobiera też danych z merlina, bo klient miliony by płacił za połączenia. Google sprawdza nowe adresy jak zwykły człowiek przez co łączy się z bazą merlina pośrednio. Można mu podłożyć inną treśc niezależną od merlina, ale to będzie nieopłacalne - za chwilę dostaniemy bana za cloaking.

Na szczęście po danych z GWT widzę, ze spadła liczba indeksowanych podstron, więc nie są generowane nowe zapytania. Jednak po zmianie serwisu i nowej sitemap akcja się powtórzy, bo google zobaczy nowe urle i roboty poszaleją.

[Mion]

Mion, to co piszesz nie ma niestety najmniejszego sensu.

To co napisem ma jak najbardziej sens w kontekście jakim dotyczy.

który treśc sprzedażową zaciąga od dostawcy treści merlin-x. Pod koniec wygenerowaliśmy sitemap - ledwo 10% zaindeksowanych stron na ok 14 tys zgłoszonych. Ale w grudniu rachunek od merlin-x dla klienta przyszedł 2x większy z pwodu wzrostu liczby zapytań do bazy merlin-x

Wystarczy czytać ze zrozumieniem...

[Ojciec_Pio]

No właśnie czytam ze zrozumieniem i nawet programista czytał

Opisanie metodologiczne w jaki sposób powinna wyglądać aplikacja nie rozwiąże sprawy, bo z merlin-x każdy używający tego systemu ma problem i każdy buli za odpytywanie bo na tym system zarabia. Za każdym odpytaniem pobierane są dane z merlin-x i nie da się robotów wyeliminować z tego procederu. Pamiętaj że ta treść nie należy do klienta tylko do merlina

[Mion]

Za każdym odpytaniem pobierane są dane z merlin-x i nie da się r

Dlatego trzeba tak napisać aplikację by tych odpytywań było tyle co potrzeba.

nie da się robotów wyeliminować z tego procederu.

Jeśli zależy na indeksacji, czyli budowania SITE to pierwszego nie, ale pozostałe można już z powodzeniem ograniczyć.

Pamiętaj że ta treść nie należy do klienta tylko do merlina

To w tym kontekście nie ma znaczenia.

========

Oczywiście to co pisałem nie tyczy implementacji systemu

https://www.merlinx.p...podlaczenie.php

"w ramce − wstawiamy ramkę (iframe) z naszą wyszukiwarką na swoją stronę" Chociaż to też zależny od tego jaką technologią jest wstawiona ramka itd....

ale usłudze MDS Webservice

Jeśli macie ramkę możecie filtrować ruch po user agentach lub IP blokując bezwartościowe roboty sieciowe i ich żądania.

[Ojciec_Pio]

Minion, wszystko ok, ale właśnie chodzi tutaj tylko i wyłącznie o mapę xml dla robotów google. Mechanizm aplikacji jest tak zrobiony, aby pobierało zapytań jak najmniej - tak mi się wydaje bo to działka prograistów i pewnie wiedzą co i jak.

Obawiam się, że całą liczbę zapytań wygenerował robot odpowiedzialny za site bo to on indeksuje. Teraz już nie szaleje, a pozostałe roboty nie biorą uczestnictwa w tym procederze indeksacji. Chyba że czegoś nie wiem i to kilka robotów potrafi generowac zapytania a tylko jeden z nich indeksuje, wtedy będą wdzięczny za info które takie roboty blokować

[Trotyl]

Chyba że czegoś nie wiem i to kilka robotów potrafi generowac zapytania a tylko jeden z nich indeksuje, wtedy będą wdzięczny za info które takie roboty blokować

Mionowi chodzi o roboty m.in. innych wyszukiwarek(np. Bing), SEO statystyk(ahrefs, majestic) itp. Jak zerkniesz do działu o robotach, to znajdziesz informacje co blokować.