Pobieranie zawartości strony

[ghacek]

Jeśli mamy strukturę linków typu https://www.forum.optymalizacja.com/index.p...owtopic=$1

To mogę b. łatwo pobrać treści ze strony tym kodem:

for ($s1=0; $s1 < 60000; $s1++) {
$strona = 'https://www.forum.optymalizacja.com/index.php?showtopic='.$s1;
$pobierz = file_get_contents($strona);

//tutaj jakieś operacje na treści
}

Co jednak zrobić kiedy nie ma takiej struktury linków i mamy strukturę linków statycznych jak przeskanować całą witrynę i wszystkie jej podstrony? Można to rozwiązać przebijając się po linkach wewnętrznych tylko nie wiem jak to ująć w ramy kodu, jakbyście mogli mnie naprowadzić jakąś funkcją (jeśli taka jest)

[LaoHost.pl]

Musisz pobrać URLe z kodu HTML - za pomocą wyrażeń regularnych - funkcja preg_match_all().

[Mion]

Tylko, że jeśli uruchomisz taki kod jak podajesz na bardzo wielu hostingach dostaniesz bana za przeciążenie pasma procesora na jednego usera

[ghacek]

Ale co dostarczyć jako ciąg znaków do przeszukania dla funkcji preg_match_all ?

[Mion]

Odpowiednie wyrażenie regularne w zależności od tego co chcesz wyciągnąć...

[ghacek]

Mion ale za pomocą wyrażeń regularnych nie wyciągniesz całej struktury linków z domeny..... a o to mi chodzi

[zielony_gremlinek]

jeśli można coś dodać, to mi do głowy przychodzą 2 rozwiązania, jedno to rekurencja, czyli wywołujesz funkcję wg zadanego adresu i zwraca Ci adresy www i potem po tych adresach znowu wywołujesz tę samą funkcję i wystarczy tylko określić stopień zagnieżdżenia i odstępy czasowe, żeby nie zajeździć procesora i teoretycznie powinno działać, praktycznie czort wie jak wyjdzie z wydajnością bo nie robiłem tego jeszcze, ale skoro masz problem na dzień dobry z wyrażeniami, to radziłbym Ci skorzystać z jakiegoś darmowego generatora sitemapy, który za Ciebie przeszuka wskazany serwer, większość darmowych ma limity linków, ale kilka-kilkadziesiąt tysi powinno Ci znaleźć i za free, a mając już mapę w xml, to chyba nie problem potem z niej wyciągać co się chce. A jeśli serwer jest Twój, to najprościej pobrać dane prosto z bazy, bo po co tracić czas na majstrowanie bota, skoro można znacznie prościej.