Maowe sprawdzanie CF i TF

[qlwik]

No no hakier

Ale masz na myśli osobny skrypt, program, czy serwis online?

[mlody0072]

Skrypt taki jak Ci podalem to mogę zmodyfikować i będzie wypłukać dane w takiej postaci jakiej chcesz oczywiście w PHP i online

dodam że webmonitor właśnie na tej zasadzie sprawdza te dane

[Salek_Art]

W SENUTO mamy takie właśnie narzędzie: https://app.senuto.dev/tools/majestic

Robimy to przez proxy, a że mamy średnio 2000 HTTP proxy pod Google + 400 swoich IP to zapytań możesz robić do woli. Możesz wybierać pomiędzy Historic Index, a Fresh Index. 

 

Zapytanie o 100 domen zwróci Ci w 8 sekund. Dla 1000 domen to jakieś 40 sekund. 

10k domen też puścić w 1 zapytaniu, około 10 minut idzie takie zapytanie. 

 

Do tego nie trzeba proxy

 

Trzeba. Jak robisz kilkanaście tysięcy requestów na godzinę to siada. 

[qlwik]

Dzieki wszystkim za odpowiedzi.

[dziki_rysio_997]

Ponieważ CLUSTERIC Link Auditor pojawił się w tym wątku, pozwolę sobie dodać ze dwa zdania.
Skoro pojawiła się potrzeba masowego sprawdzania TF/CF, dodaliśmy nieco usprawnień w tym zakresie.

Można pobierać parametry z indeksu historycznego lub świeżego (tego drugiego nie było wcześniej), nie trzeba mieć swoich proxy. Przed chwilą puściłem 10k domen na defaultowych ustawieniach, zebranie danych zajęło ok. 5 minut (przypuszczam, że podkręcając w ustawieniach liczbę wątków offsite można to jeszcze poprawić).
W tym poście pokazuję, jak Użytkownicy programu mogą sprawdzić same parametry Majestica: