Proszę o opinię w sprawie pliku robots. txt

[antaba]

User-agent: * Disallow: /Content/Css/ Disallow: /Content/Js/ Disallow: /Purchase/ Disallow: /PDF/ Disallow: /CouponPDFDownload/ Disallow: /*.aspx Allow: / Sitemap:

Czy plik taki może blokować, wpływać na narzędzia typu Majestic? Nie widzę tego.

[felipe]

Tak, nie blokuje narzędzi typu majestic etc.

Sprawdź jeszcze w .htaccessie bo tam też można blokować różne roboty.

[antaba]

Kopiuje ten plik, normalnie, wpisuje domena.pl/robots.txt , dostaje wynik jak w/w, próbuje konkurencję przeanalizować Macesticem, otrzymuje błędne wyniki. Senuto pokazuje jednak niesamowity wzrost widzialności, wzrosty we wrześniu pozycji słów kluczowych w TOP 3, 10, 50. Linkowanie to przede wszystkim art.sponsorowane. Darmowe narzędzie do sprawdzania backlinków wyświetla wpisy na forach z 2016,7 roku, wyniki zatem temu przeczą. Majestic listuje tylko 6 domen odsyłających, z czego 3 to 404. Pokazali jedynie, że w jakimś włoskim katalogu umieścili swoją reklamę. Porównuje trendy, w zeszłym roku - kiepsko działali. Tak bardzo utrudniają konkurencji dowiedzenia się czegoś? Co o tym sądzicie? Jakie sugerujecie rozwiązanie z własnym robots.txt?

[mikee]

Nie no czytam, i jakoś niewiele rozumiem. Myślę, że lepiej by było jakbyś oddzielił od siebie dwa wątki - blokowanie w robots a osobno śledzenie konkurencji. Tak jak napisał felipe, roboty blokuje się też w .htaccess . Są też inne sposoby na śledzenie konkurencji niż majestic :). 

[antaba]

Cytat

Są też inne sposoby na śledzenie konkurencji niż majestic :). 

Jeśli masz na myśli Ahrefs, ono jest podobne do Majestic, poza tym jest bardzo drogie, wersja testowa umożliwia niepełną analizę strony, chyba do 10 backlinków. Darmowych narzędzi nie znam. Testowy SEMStorm wykorzystałem. Znasz? To na priv.

 

[s_matysik]

@antaba Jak już to SEO Spyglass, jego jest trudniej zablokować

 

3 godziny temu, antaba napisał:

Darmowych narzędzi nie znam. Testowy SEMStorm wykorzystałem. Znasz? To na priv.

Harvestowanie w Google? Oczywiście trzeba kupić soft do harvestowania lub można napisać własny

 

Dnia 8.10.2019 o 16:29, antaba napisał:

Majestic listuje tylko 6 domen odsyłających, z czego 3 to 404. Pokazali jedynie, że w jakimś włoskim katalogu umieścili swoją reklamę.

Te kluczowe linki są więc pewnie ukryte. PBN, ukryte przekierowania etc.

 

Dnia 8.10.2019 o 16:29, antaba napisał:

Jakie sugerujecie rozwiązanie z własnym robots.txt?

Rozumiem, że chcesz zablokować Ahrefs i Majestic na zapleczu aby konkurencja nie znalazła linków? Poszukaj w wyszukiwarce gotowców pod blokowanie Majestic i Ahrefs w .htaccess

[antaba]

Dziękuję Ci za podpowiedzi, konkurencja próbuje być sprytna, ale; kiedy wpiszę do wyszukiwarki link:... to i tak widzę, skąd przychodzą do nich linki. Ich pozycjoner przecież o tym wie. Skoro w Majestic widać 6 domen linkujących, po analizie stwierdzam, że to niska jakość, rzekłbym, że to śmieci", to jak, "próbuje mnie wepchnąć na minę"? W pliku .htaccess wystawił na światło dzienne ten "badziew"? Przecież gdyby zrobił Disollow: /search to nic  by Googlebot nic nie pokazał. Czy są jakieś inne techniki? Zapomniałem, czy jest wtyczka do przeglądarki Google, żeby zebrać te wszystkie domeny, backalinki, skąd toto przychodzi., czy trzeba robić ręcznie? Do tego jest tylko płatny soft?

[s_matysik]

@antaba Nie rozumiem co ma blokowanie zasobów strony przed Google botem do ukrywania linków?

Ukrywać przez blokowanie botów oprócz Google możesz zaplecza, przekierowania.

 

13 godzin temu, antaba napisał:

Do tego jest tylko płatny soft?

 

Jakiś harvester, najtaniej to niewielkich celów nawet ScrapeBox

[zgred]

14 godzin temu, antaba napisał:

Dziękuję Ci za podpowiedzi, konkurencja próbuje być sprytna, ale; kiedy wpiszę do wyszukiwarki link:... to i tak widzę, skąd przychodzą do nich linki. Ich pozycjoner przecież o tym wie. Skoro w Majestic widać 6 domen linkujących, po analizie stwierdzam, że to niska jakość, rzekłbym, że to śmieci", to jak, "próbuje mnie wepchnąć na minę"? W pliku .htaccess wystawił na światło dzienne ten "badziew"? Przecież gdyby zrobił Disollow: /search to nic  by Googlebot nic nie pokazał. Czy są jakieś inne techniki? Zapomniałem, czy jest wtyczka do przeglądarki Google, żeby zebrać te wszystkie domeny, backalinki, skąd toto przychodzi., czy trzeba robić ręcznie? Do tego jest tylko płatny soft?

 

Jest tyle innych szukajek żeby znaleźć linki każdego: bing, yahoo nawet baidu. Poza tym roboty od różnych seotulsów np link assistanta. Plik robots.txt nic nie da - trzeba by wszystko blokować na poziomie htaccess a najlepiej firewall'a.

 

Poza tym i tak musisz odblokować dostępy dla googlebota więc też się znajdzie Twoje zaplecze.

[antaba]

Dziękuję Wam za odpowiedź, dziękuję zgredowi za kawał wiedzy na jego blogu. Skupiamy się tylko na Google, ale wiemy, że do tego istnieje też, np.yahoo. Do brzegu. Pisałem, że linki wydaje mi się tak, są niskiej jakości, ale, konkurenci się tam ogłaszają, umieszczają swój link w stopce (obawiam się, że to SWL). A czy nie jest tak specjalnie, aby uznawać ją jako mało wartościową, a to linki tematyczne, naprzykład? Włoska domena z autorytetem? Żeby ukryć backlinki konkretnie przed Majestic, trzeba ręcznie wklepać każdy link do .htaccess,? Mam także pytanie z innej beczki. Prosiłem na forum o podpowiedzi dotyczące pole dance - taniec na rurce.Wystarczy zmienić grafikę tańczących dziewczyn, description, treści na stronie, aby Google nie zaliczał tego do porno, nie obniżał pozycję? Frazy "zmysłowy", "erotyczny" zdecydowanie złe? Jak to wybitni klasycy mówią: "całe życie człowiek się uczy i tak głupi umiera". Oby nie.