Jak skopiować hurtowo linki z wyników wyszukiwania Google

[antaba]

Proszę o pomoc, o wytłumaczenie w jaki sposób mogę "zeskrobać" odnośniki  w serpach Google, skopiować je do Google Sheets, zastosować, np. formuły IMPORTXML, przeanalizować je w kontekście konkurencji. Nie znam dobrze angielskiego, tutorial przedstawiający ten sposób to https://youtube.{com]/watch?v=PGNAbdX95_k&t=326s, tłumaczy ,m.in. co to burmarklet https://detailed.[com]/chrome-bookmarklets-seo/, ale nie wiem jak zamienić adres url na kod java, wkleić go do zakładki. Niby proste, niestety nie idzie. Zainstalowałem wtyczkę do Chrome Burkmarklet URL , nic mi to nie pomogło. Ktoś wie jak to ogarnąć? Niestety, mój przełożony, dla młodszych stażem w SEO nie "idzie z nami na łatwizne", muszę się nauczyć na darmowych narzędziach zanim dopuści do drogich płatnych. Proszę Was o pomoc w rozwiązaniu tej "zagwozdki".

[Mion]

11 godzin temu, antaba napisał:

Ktoś wie jak to ogarnąć?

 

Hmm nie do końca rozumiem w czym problem ... ale skorzystaj z jakiegoś harvestera i odpowiednich footprint.

11 godzin temu, antaba napisał:

Niestety, mój przełożony, dla młodszych stażem w SEO nie "idzie z nami na łatwizne" [..] na darmowych narzędziach zanim dopuści do drogich płatnych.

Więc poproś go o wskazanie tych darmowych "narzędzi" z jakich masz skorzystać

[antaba]

Dzięki Ci Mion za podpowiedź, darmowe narzędzia to Twój mózg, myślenie, konkurencja, wiedza, ewentualnie "to napisz program", Excel, Google Sheets, formuły, GSC, GA, Google Data Studio, znam te odpowiedzi, ewentualnie "w wojsku byłeś?". Niestety, programować nie umiem, z myśleniem analitycznym też nie jest tak hop (wspomagaj się sztuczną inteligencją), starszych spec. to nawet się nie pytam -"nie wiesz tego?". Podpatrywać i uczyć się non stop. Tyle.

Generalnie chodzi o to, że do zapamiętanej zakładki, zamiast adresu url zwróconego przez Google na zapytanie, np. smartfon Samsung Galaxy S20 trzeba wkleić kod java script, mieć skopiowanych 10 adresów z Google w innej zakładce, potem wkleić je sobie do Google Sheets, każdy z nich poddać poleceniom IMPORTXML -tzn. zwrócone wyniki - tytuł, meta description, nagłówki, zastosować formuły wyszukaj.pionowo, jeżelibłąd, dłg, do słów kluczowych tabele przestawne, formuła IMPORTDATA to już czarna magia - klucze API - nie ta liga i taką skróconą analizę szefowi mogę przedstawić. O linkowaniu nie mówię- tzn gdzie linkują - link building to jest osobny temat. I nie może to być płatne oprogramowanie, nie, nie.

 

[Mion]

Nie wiem, co ma na celu powyższy post.... Zawsze możesz zmienić pracę

[antaba]

Zawsze się szanuję tych wymagających.

3 godziny temu, Mion napisał:

. Zawsze możesz zmienić pracę

Znasz rozwiązanie problemu, bo nie wiem, czy chcesz pomóc? 

[Mion]

14 godzin temu, antaba napisał:

Znasz rozwiązanie problemu, [...] czy chcesz pomóc? 

Pisałem jak się pobiera dane z wyszukiwarki - po przez harwestowanie, więc szukaj pod hasłami

Cytat

Co to jest harwestowanie? Jak harwestować?

Cytat

Niestety, programować nie umiem

 

Nie potrafisz kodować, więc nie wiem jak Ci można inaczej "pomoc"

 

--- Posted on 8 czerwca 2022 ---
https://levelrank.net/blog-seo/harvestowanie-na-czym-polega/

 

[antaba]

Nie chodzi o takie harvestowanie. Raczej, jak mówią, web scraping. Analizę on-site można wykonać poprzez "przecrlowlowanie" serwisu i wyciągniecie danych z Screaming Froga, czy Sitebulba, jest to jednak zbyt proste - trzeba znać formuły IMPORTXML, QUERY, REGEX. Są strony, które wykonują scraping, truuu, octoparse, ale nie o to chodzi. Jest darmowy sposób i link z YT dałem wyżej. Dlatego prosiłem Cię o pomoc.

W dniu 29.06.2022 o 09:35, Mion napisał:

Co to jest harwestowanie? Jak harwestować?

Dlaczego wsadzasz mi w usta coś, co nie powiedziałem i nie napisałem

 

W dniu 29.06.2022 o 09:35, Mion napisał:

nie wiem jak Ci można inaczej "pomoc"

Nie wiesz, czy nie chcesz?

 

W dniu 28.06.2022 o 15:59, Mion napisał:

Nie wiem, co ma na celu powyższy post.

Wielu z tego forum jest już szefami swoich własnych firm, albo szefami w firmach ze względu na spore doświadczenie, dlatego tak szeroko opisałem problem.

[Pysio]

Ja używam wtyczki do FF SEOQuake. Dodatkowo dodaje w URL parametrr &num=100 aby mieć sto wyników na jednej stronie i włala.

Pozdrawiam
Pysio

[ttah]

@antaba

Nie wiem za bardzo o czym piszesz w pierwszym poście bo nie znam/nie korzystam z narzędzi, które wspominasz, ale parsowanie strony wyników można robić na wiele sposobów.
Ogólnie polecam poznać XPath (i trochę js, czy czegoś innego, co pozwoli interpretować wyniki z zapytań XPath) i zrobisz sam cuda z wyciąganiem danych z kodu strony, bez potrzeby używania narzędzi innych niż przeglądarka.

 

Masz dla testu. Wpisz to w konsoli przeglądarki po wejściu na jakąś stronę z wynikami wyszukiwania w Google (jedyne co potencjalnie musisz zmienić to nazwa klasy tego diva):

$x("//div[@class='yuRUbf']/a").forEach(e => console.log(e.href));

To polecenie drukuje w konsoli przeglądarki same linki z wyników wyszukiwania.
Co prawda to będzie sobie działało tylko do czasu aż wielkie G zmieni strukturę kodu (albo wejdziesz na stronę w taki sposób, że G zaserwuje inny kod SERPów), ale późniejsze dostosowanie tego znając XPath to banał.

 

Ja np. wyłuskuję sobie dane z kodu stron za pomocą PHP, ponieważ mi łatwiej, bo js znam słabo. Ale PHP też ma klasę do obsługi XPath i zapytania wyglądają identycznie i tu i tu.

Edytowane 2 Lipca 2022 przez ttah

[Pysio]

2 godziny temu, ttah napisał:

Ja np. wyłuskuję sobie dane z kodu stron za pomocą PHP, ponieważ mi łatwiej, bo js znam słabo. Ale PHP też ma klasę do obsługi XPath i zapytania wyglądają identycznie i tu i tu.

Ja używałem VBA i od razu dane miałem w excelu. Tak sobie harvestowalem ceny z Amazona

 

Pozdrawiam

Pysio

[Mion]

18 godzin temu, ttah napisał:

Ja np. wyłuskuję sobie dane z kodu stron za pomocą PHP, ponieważ mi łatwiej, bo js znam słabo.

Jest wiele metod i pomocnych narzędzi dla głównych języków programowania w tym takie, które sterują przeglądarką, co z powodzeniem można wykorzystać do harwestowania > Puppeteer lub Selenium. Niestety autor ma duży problem w tym z zrozumieniem pojęć, bo dokładnie o to chodzi - o harvestowanie.

Cytat

Dlaczego wsadzasz mi w usta coś, co nie powiedziałem i nie napisałem [...] Proszę o pomoc, o wytłumaczenie w jaki sposób mogę "zeskrobać" odnośniki  w serpach Google, skopiować

 

[antaba]

Dziękuję za podpowiedzi Pysiowi, ttah'owi, Mion'owi, szacunek Panowie. Niestety Pysiu, mam zainstalowaną Mozille i ten sposób nie może być. 

W dniu 2.07.2022 o 13:25, ttah napisał:

Nie wiem za bardzo o czym piszesz w pierwszym poście

A IMPORTXML to nie jest jedno z wielu poleceń XPATH, które służy do pobierania danych z kodu źródłowego? Np. tytuł, meta description, nagłówek H1, dłg ciągu, canonical, itd? To co tu, tak rozumiem, powiedziałeś dotyczyło, m.in. "skrobania" cen na jakimś portalu, zeskrobania, np. tabeli ze strony, adresów e-mail,  itp - takie tutoriale - https://www.youtube.[com]/watch?v=4A12xqQPJXU&t=136s , https://www.youtube.[com]/watch?v=3wV9JtRRLdQ to objaśniają. W tym konkretnym przypadku chodziło jak gościu tworzy zakładkę w chrome, wkleja w miejsce html kod java i wyświetlają mu się w niej linki do stron na jakieś zapytanie w Google. Dla Ciebie to pewnie bułka z masłem, a dla mnie problem.

 

 

W dniu 2.07.2022 o 13:25, ttah napisał:

zrobisz sam cuda z wyciąganiem danych z kodu strony, bez potrzeby używania narzędzi innych niż przeglądarka.

 

I oto chodziło w mojej pierwszej wypowiedzi. Poświęć trochę czasu i zobacz ten tutorial z YT.

10 godzin temu, Mion napisał:

Niestety autor ma duży problem w tym z zrozumieniem pojęć, bo dokładnie o to chodzi - o harvestowanie.

No dobrze, jak zwykle masz rację, ale co z tego wynika? Nie wiem jak  znaleźć właściwą ścieżkę XPath w Chrome i wklejeniu jej do importxml. Wyjaśnisz to? 

Edytowane 3 Lipca 2022 przez antaba

[Pysio]

FF to jest właśnie Mozilla FireFox. Jeśli chodzi o pobranie Xpath w Chrome to F12 otwierasz konsole wybierasz interesujący Cię element prawyklik i kopiuj i masz względny jak i bezwzględny XPath. W pozostałych przeglądarkach masz podobnie.

 

Pozdrawiam

Pysio

[Mion]

Zamiast XPATH może posłużyć się DOM Document Object Model i takimi narzędziami jak node i Puppeteer.

Web Scraping with Puppeteer & Node.js: Chrome Automation
https://youtu.be/lgyszZhAZOI
https://youtu.be/94yQ2g8QyYc
itd....

Jednak trzeba znać podstawy Javascript, ale w obecnych czasach i dostępie do materiałów i tutoriali nauka, to nie problem.
EOT_