Jak skutecznie wyindeksować podstronę?

[tkobosz]

Witam,

Próbuję usunąć z indexu google kilka grup podstron, ale najwyraźniej robię to źle, bo mija 2 tygodnie, a efektów brak. Być może zastosowałem za dużo metod na raz i jakoś się "gryzą"?

Podstrony, które chcę wyindeksować (w sumie jest ich ze 40 tysięcy) mają wszystkie podobny adres wg wzoru:

www.domena.pl/niechciane.php?news=[liczba]

Ponieważ mają one w ogóle zniknąć (tak jakby zostały fizycznie skasowane) zrobiłem tak:

1. Na początku skryptu niechciane.php wstawiłem (lekkomyślnie):
   

   header("Location: " . 'https://www.domena.pl/');
   

   
   

2. Potem dowiedziałam się o "301" i zmieniłem to na:
   

   header("HTTP/1.1 301 Moved Permanently");
   header("Location: " . 'https://www.domena.pl/'); 
   

   
   

3. Jednocześnie do robots.txt wstawiłem:
   

   Disallow: /niechciane.php
   

   
   ale nie wiem, czy to w ogóle działa bez gwiazdki na końcu, tzn. czy uwzględnia każdy adres (z parametrami query).
   

4. W Webmaster Tools zgłosiłem do usunięcia z indeksu adres https://www.domena.pl/niechciane.php - również bez żadnej gwiazdki na końcu.
   

I tak sobie teraz myślę, że to wszystko razem nie ma sensu.

Po pierwsze - w takiej sytuacji chyba nie stosuje się "301", bo podstrona nie jest przenoszona ale de-facto likwidowana (choć fizycznie jest na serwerze, z przekierowaniem do strony głównej).

Po drugie - jeśli w robots.txt jest zakaz (o ile działa) indeksowania tych podstron, to jeśli robot w ogóle na nie nie wchodzi, to skąd ma wiedzieć, że strona została przekierowana na stronę główną?

Nie wiem też dlaczego nie zadziałało zgłoszenie usunięcia w Webmaster Tools.

Jak to wszystko ogarnąć i zrobić skutecznie?

I drugi problem, podobny (także zbyt długie oczekiwanie na usunięcie z indeksu), ale nieco inny, bo ta podstrona ma być dla ludzi cały czas dostępna, przez link ze strony głównej.

Jeśli w nagłówku tej podstrony wstawiłem:

<meta name="ROBOTS" CONTENT="NOINDEX, FOLLOW">

to chyba z pliku robots.txt powinienem usunąć - wstawioną tam kilkanaście dni wcześniej - linię

Disallow: /jakastamstrona.php

Dzięki,

Tomek

[djurek]

Dobry sposob jest ciag slow kluczowych w stopce najdrozszych w adwords po przecinku w kolorze tla czcionką trojką :-) czasem cala domena potrafi zniknac :-)

Taki zart na noc :-)

[blackpress.pl]

W pierwszym przypadku powinieneś zwracać 404 zamiast przekierowania.

W drugim przypadku zależy co chcesz osiągnąć. w robots.txt zablokowałeś "całkowicie" wizyty google'a na tej stronie, a w meta kazałeś mu podążać za linkami, ale nie indeksować tej strony. Musisz określi jakie są Twoje intencje i zastosować odpowiednią metodę.

@djurek - do tego jeszcze trzeba gdzieś jakiś spamik zapodać, żeby uprzejmi koledzy mieli większą szansę na spamreporcik.

[Mion]

Odpowiedz od google:

header('X-Robots-Tag: noindex,nofollow');

https://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html

[tkobosz]

A które lepiej, dla stron, które mają zniknąć całkiem?

header("HTTP/1.0 404 Not Found");

czy

header('X-Robots-Tag: noindex,nofollow');

O tym pierwszym był post, ale chyba usunięto go (widzę w powiadomieniu mailowym, że takie coś było).

Dzieki.

[Mion]

Musisz zapytać "google".

[tkobosz]

Może to głupie, ale mam obawy, że taki zapis:

<?php
header("HTTP/1.1 404 Not Found");
header("Location: " . 'https://www.strona.glowna.pl/');  
exit;
?>

lub jego wersja z header('X-Robots-Tag: noindex,nofollow');

spowoduje, że z indeksu będzie usunięta strona na którą idzie przekierowania (w tym przypadku główna), a nie (tylko) tak, w której jest ono ustawione.

Skąd te obawy? A stąd, że jak ustawiłem proste przekierowanie z pewnych podstron na zewnętrzny serwis, to w wynikach wyszukiwania (po słowach zawartych na starej stronie) pokazywały się dziwne rzeczy - np. tytuł starej strony, ale z dopisaną (w tytule) nazwą tej zewnętrznej, na którą szło przekierowanie.

Z kolei doczytałem, że standardowy robots.txt nie spowoduje wyindeksowania, jeśli do strony prowadzą linki z zewnątrz.

Dzięki.

[Mion]

Co to ma być ? Wystawiasz nagłówek 404 po czym przekierowanie 302 ! Się zdecyduj.

[tkobosz]

Co to ma być ? Wystawiasz nagłówek 404 po czym przekierowanie 302 ! Się zdecyduj.

Póki co mam tam cały czas tylko przekierowanie 301, ale nie odnosi to skutku, tzn. stary adres cały czas siedzi w indeksie.

Co co można dać po nagłówku 404, aby robot zrozumiał, że strona ma wypaść z indeksu, a człowiek został przekierowany na stronę główną?

Dzięki,

Tomek

[Mion]

@a człowiek został przekierowany na stronę główną?

https://www.hongkiat.com/blog/60-really-cool-and-creative-error-404-pages/

[tkobosz]

@a człowiek został przekierowany na stronę główną?

https://www.hongkiat....rror-404-pages/

To już chyba zostanę przy 301, tylko z robots.txt usunę te strony, bo z tego co wyczytałem, google bot może mieć trudności z dotarciem tam i może bardzo długo minąć zanim to "301" ujrzy.

[tkobosz]

A może tak?

header("X-Robots-Tag: noindex", true);
header("HTTP/1.1 301 Moved Permanently");
header("Location: " . 'https://www.glowna.pl/',TRUE,301);  

Dzięki.

[Mion]

----

[lotnik]

To już chyba zostanę przy 301, tylko z robots.txt usunę te strony, bo z tego co wyczytałem, google bot może mieć trudności z dotarciem tam i może bardzo długo minąć zanim to "301" ujrzy.

Zastosowanie tylko i wyłącznie 404 rozwiązałoby twój problem w zupełności, czemu się przed tym bronisz?

Dodatkowo możesz dla użytkowników ustawić <meta http-equiv="refresh" content="20;url=https://stronaglowna">

W drugim przypadku tak jak już było pisane metatag wystarczy.