Skocz do zawartości

Scrapebox v 1.0 - 2.0


artur_waw

Rekomendowane odpowiedzi

Sprawdzam zaindeksowanie url w scrapeboxie przy pomocy darmowych proxy i często wyskakuje tam "error 404". Wtedy własnie myślałem że strona o podanym adresie pewnie już nie istnieje. Jednakże gdy sprawdzam to samo przy użyciu google w scrapeboxie to wszystkie strony istnieją i nie wywala error 404 tylko ewentualnie brak indeksacji danego url.

Co robić bo gdy zamierzam sprawdzić tysiące stron zaraz dostaje bana od google?

Odnośnik do komentarza
Udostępnij na innych stronach

Co robić bo gdy zamierzam sprawdzić tysiące stron zaraz dostaje bana od google?

jeżeli używasz darmowych proxy to musisz mieć więcej proxy na liście niż robisz jednocześnie zapytań np do gugla

(mówię o przefiltrowanych proxy)

Edytowane przez qbeczek
Odnośnik do komentarza
Udostępnij na innych stronach

sargon162 już lepiej zmienne IP z Neostrady i restart routera.Na publicznych proxy postować można jak przefiltrujesz dokładnie i zostawisz te najszybsze ( czas odpowiedzi do 10 sek), ale to bezsensowna praca, kliknij z SB kup proxy i trafisz na stronę gdzie ich sprzedają 30 $/ miesiąc.

Edytowane przez MaxPan
Odnośnik do komentarza
Udostępnij na innych stronach

Koledzy,

Mam takie pytanko, wrzuciłem sobie 1k linków do Blog Analyzera i tak na szybko przeglądając to myślę że z 70% dostaje Error 404, gdy natomiast otwieram link w przeglądarce działa bez problemu. Gdzie jest błąd że Blog Analyzer tak często się z tym myli ?

Odnośnik do komentarza
Udostępnij na innych stronach

Mam takie pytanko, wrzuciłem sobie 1k linków do Blog Analyzera i tak na szybko przeglądając to myślę że z 70% dostaje Error 404, gdy natomiast otwieram link w przeglądarce działa bez problemu. Gdzie jest błąd że Blog Analyzer tak często się z tym myli ?

A gdyby używało się do tego płatnych proxy nie wywalałby tak czesto error 404?

Bo tak samo mam w przypadku sprawdzania zindeksowania stron, też wywala często 404 i wydaje mi się wtedy że ta strona nie istnieje (a często istnieje i nawet jest zaindeksowana).

Edytowane przez sargon162
Odnośnik do komentarza
Udostępnij na innych stronach

A po co uzywasz do tego proxy? Przeciez to jest zwykle otwieranie strony, a nie postowanie, wiec nie ma sensu tego robic z proxy. Poza tym bez proxy jest taki sam efekt, ze jest pelno niedzialajacych stron, ktore w rzeczywistosci dzialaja normalnie.

[edit] Sprawdzanie indeksacji to cos innego, bo tam sie odpytuje tylko i wylacznie Google, wiec trzeba miec proxy.

Edytowane przez Carnagge

kodeks-logo-baner-pio.jpg

Blog z informacjami o prawnych aspektach związanych z funkcjonowaniem internetu, w tym problematyka dotycząca SEM i SEO. organisciak.pl

Odnośnik do komentarza
Udostępnij na innych stronach

Carnagge więc trzeba mieć proxy czy nie, bo trochę nie rozumiem twojej wypowiedzi :)

Gdy sprawdzam SB przez google to po 100-kilku sprawdzeniach dostaje bana na IP. Mam zmienne IP w Netii ale ciężko restartować ruter cały czas, do tego mam do sprawdzenia 37tys. katalogów/precli (sprawdzam czy mają bana od google czy nie maja)

Dlatego pytanie czy robić to przez płatne proxy? Bo przez darmowe proxy często wywala error 404 a przez google jak sprawdzam to wszystko jest ok.

Darmowe proxy mam przefiltrowane, ale sa to te standardowe proxy z pliku SB, więc mogą być złej jakości.

[edit] chociaż z drugiej strony mam otwarte 3-5 SB naraz, i wtedy sprawdzam. Może gdy otworze tylko jednego SB to nie dostane tego bana... ale wątpię

Edytowane przez sargon162
Odnośnik do komentarza
Udostępnij na innych stronach

już 3 osoby tobie mówią, wiec powtórzę jeszcze raz, poraz 4. Dala hawestowania i innych zapytań do wyszukiwarek - duża ilość dobrych publicznych proxy. Dla prostowania prywatne lub czas od czasu restart routera.

Rozumiesz?

Edytowane przez MaxPan
Odnośnik do komentarza
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Umieściliśmy na Twoim urządzeniu pliki cookie, aby pomóc Ci usprawnić przeglądanie strony. Możesz dostosować ustawienia plików cookie, w przeciwnym wypadku zakładamy, że wyrażasz na to zgodę. Warunki użytkowania Polityka prywatności