[PHP] skrypt do pobieranie contentu

[uzytkowicz]

Macie może skrypt, który pobiera content z podanej strony www. ? Tzn wypluwa same teksty jakie są na stronie? Probówałem strip_tags ale wypluwa dużo śmieci, w tym java script.

Albo znacie może jakieś skrypty pod reklamy co generują/kradną treść? To pobiorę i zobaczę jak tam to rozwiązali

[Mion]

@ Probówałem strip_tags ale wypluwa dużo śmieci, w tym java script.

Dlatego trzeba stosować dodatkowe filtry danych przy parsowaniu stron

[maqriusz182]

function strip_tags_content($text, $tags = '<script></script>', $invert = TRUE) {

 preg_match_all('/<(.+?)[\s]*\/?[\s]*>/si', trim($tags), $tags);
 $tags = array_unique($tags[1]);

 if(is_array($tags) AND count($tags)> 0) {
if($invert == FALSE) {
  return preg_replace('@<(?!(?:'. implode('|', $tags) .')\b)(\w+)\b.*?>.*?</\1>@si', '', $text);
}
else {
  return preg_replace('@<('. implode('|', $tags) .')\b.*?>.*?</\1>@si', '', $text);
}
}
 elseif($invert == FALSE) {
return preg_replace('@<(\w+)\b.*?>.*?</\1>@si', '', $text);
}
 return $text;

}

[Wilk]

Macie może skrypt, który pobiera content z podanej strony www. ? Tzn wypluwa same teksty jakie są na stronie?

Wyłącz w przeglądarce JS,, grafikę i flash i będzie. Praktycznie wszystkie przeglądarki mają taką opcję.

Probówałem strip_tags ale wypluwa dużo śmieci, w tym java script.

Albo znacie może jakieś skrypty pod reklamy co generują/kradną treść?

Załatw z właścicielem tekstu zgodę na przedruk, to możliwe, że sam ci wyśle i będziesz mógł w tedy nie tylko pobrać, ale też coś z tym zrobić.

[MaxPan]

Istnieje skrypt który pobiera z innych stron treści (można określić tematykę), zamienia słowa na synonimy i tworze na ich podstawi proste zapleczówki.Poszukaj musi to być opisane gdzieś w necie. Nie korzystałem ale na oczy wiedziałem chyba rok temu.Nic więcej nie pamiętam

[urlsite.eu]

Uzyj IE9

[uzytkowicz]

Załatw z właścicielem tekstu zgodę na przedruk, to możliwe, że sam ci wyśle i będziesz mógł w tedy nie tylko pobrać, ale też coś z tym zrobić.

google translate:

polski->angielski->rosyjski->polski i mam unikalny tekst

[Wilk]

Unikalny tekst tak. Zgody na jego użycie nadal nie. Chyba, że jest licencjonowany w odpowiedni sposob lub pobierasz tylko mały jego fragment mieszczacy sie jeszcze w prawie cytatu. Sama parafraza nie wystarczy.

[jaromir76]

google translate

Hi hi - tego nie znałem - dobre a wręcz genialne wykorzystanie narzędzi googla.

[Daniel Wyrzykowski]

Na pobranie treści danej strony jest kilka sposobów, ja napiszę Ci dwa.

Pierwszy. file_get_contents()

Jest to funkcja, która ma za zadanie właśnie pobrać treść danej strony internetowej.

https://pl2.php.net/manual/pl/function.file-get-contents.php

Jest prostsza do zastosowania od drugiej metody, ale bardziej zawodna.

Drugi. CURL

Jest to biblioteka, przy pomocy której możesz połączyć się z daną stroną, pobrać jej treść, wypełnić formularze, zapisać cookies, czy co tam sobie wymyślisz

Zdecydowanie tę opcję bardziej polecam.

https://pl2.php.net/manual/pl/book.curl.php

tu masz ładnie opisane krok po kroku: https://www.entuzjasta.com/podstawy-curla-w-php/

a tutaj(po angielsku) możesz sobie poczytać forum z opisanymi wieloma rozwiązaniami najczęściej występujących problemów https://curl.haxx.se/

Gdy pobierzesz już stronę, wystarczy użyć wyrażeń regularnych, by odczytać tę część, która Cię interesuje.

https://www.antylameriada.net/wphppreg/

[DanielBurchardt]

Radziłbym się bardziej zainteresować

https://www.hapart.pl/php/curl-rownolegle-w...anie-zadan.html

oraz

https://www.hapart.pl/php/php-pingowanie-se...ciem-proxy.html