A-Parser - wielowątkowy parser wyników wyszukiwania, content, danych, słów kluczowych, inne. A multi-threaded parser of search engines, site assessment services, keywords, content

[MaxPan]

In A-Parser 1.2.138, node 8.9.x emulation is added with module loading support and partial implementation of fs and net modules. This makes it possible to access from the JavaScript parsers directly to the file system, and also use a TCP connection from modules to other services (for example, mysql, redis, chrome...).
All of this allowed to load and use node modules from the npm catalog, which contains a lot of useful libraries for data processing, connectors to databases and many other interesting things. At the moment, the following modules have been tested: md5, async-redis, jsdom, puppeter.

Improvements

• Added support for Node.js modules in JavaScript parsers
•  SE::Google::Position,  SE::Google::Compromised and  SE::Google::TrustCheck completely rewritten, was added support for ReCaptcha2
• Improved work of  SE::Google::Modern
• In  SE::Youtube, added the language selection and the option to enable/disable the Safe Mode
• Added  Shop::AliExpress
• Improved checking of created variables in presets
• Improved work of sessions
• Fixed displaying the name of the queries file on the task card
• Improved scrolling in Parser Test
• Added removal of hyphenation from snippets in  SE::Google::Modern
• The picture of the captcha in the parser  SE::Yandex::Register now is downloaded through the proxy
• Many small improvements in the interface

Corrections due to changes in the issuance

• The work of  SE::YouTube has been fixed when overriding the Result type option
• Fixed multi-page parsing in  SE::Bing
• Fully rewritten  SE::Yandex::Register, added the ability to output the answer to a secret question
• Fixed checking of the next page in  SE::Seznam
• Fixed the situation when the  SE::Yandex::Position parsed the incomplete link
• Fixed the calculation of failed requests in  SE::Google::TrustCheck and  SE::Google::Compromised
•  SE::Yandex::Direct, Shop::Yandex::Market

Corrections

• The work of the Regex Builder has been fixed.
• Fixed work with encodings in parsers of translators and JS parsers
• Fixed the work of  SE::Google::Position
• Fixed selection of region in  SE::Yandex::Direct
• Fixed the work of the Location option in  SE::Google::Modern
• Fixed the work of sessions in  SE::Google::Modern with an overridden domain
• The bug was fixed when using the option Overwrite file, Prepend and Append text
• Fixed displaying of tabs in the Test Task window
• Fixed displaying the list of presets in the Run on complete field
• The work of this.proxy.set() in JS parsers has been fixed
• Fixed the work of additional parameters in JS parsers
• Fixed a bug due to which the API could not specify the Append and Prepend Texts
• Fixed export of presets

[Merciless]

Czy w przypadku chęci zwiększenia pakietu z Pro na Enterprise będzie konieczne zapłacenie całej ceny czy tylko różnicy pomiędzy pakietami?

 

Pozdrawiam.

[MaxPan]

A po co Tobie Enterprise? Przed tym jak zadawać pytania przeczytaj dokładnie co jest co. Jesteś w stanie napisać, zlecić do niego API i wiesz jak go wykorzystać? Bo tylko i wyłącznie tym te wersji różnią się.

[Merciless]

Tak, wiem lecz na chwile obecną nie będę tego potrzebował. W razie gdybym zaczął potrzebować API to nie chciałbym płacić drugi raz pełnej kwoty i wolałbym wiedzieć o tym teraz.

 

Pozdrawiam.

[MaxPan]

Mam 6 licencji PRO, uwierz mi nie zawracaj sobie na tym etapie głowy. Nie znam nikogo kto ma Enterprise i korzysta z API, Ty chyba nie rozumiesz nawet co to takie. Wczoraj chciałeś a-parser na VPS Windowsa włączać razem z Xevilem....

[Merciless]

Nie rozumiem skąd te nastawienie, zapytałem tylko czy przy przejściu na wyższą wersję dopłacę różnicę czy całość. Przepraszam jeżeli w jakiś sposób uraziłem.

W takim razie zrobię tak jak mówisz, później będę się tym martwił o ile będzie mi to potrzebne.

 

Dziękuje,

Pozdrawiam.

[MaxPan]

Nastawienie takie, żeby zaoszczędzić Tobie 80 USD netto. Na 99,99% nigdy nie skorzystasz z API nawet jeśli kupisz Enterprise, bo to dość specyficzna opcja i są nie wiele rzeczy do których to można wykorzystać i nie związane to s SEO wprost. Nie chce dalej z Toba spierać się. Kupuj co chcesz  .

[Merciless]

Nikt tu się nie spiera, nie pisałem tego pytania z nastawieniem do kupna wersji Enterprise a jedynie jako dodatkową informację na przyszłość.

 

Przykładowo czy użycie API od a-parsera byłoby legalne gdybyśmy stworzyli serwis, w którym użytkownicy za opłatą mogliby wykonywać parametryzowany przez nich harvest z mojej licencji, postawionej na moim serwerze? Wtedy dla przykładu swoje query (n fraz o np. krzesłach biurowych) mogliby wrzucać przez API z mego serwisu do a-parsera. Nie wiem tylko na ile byłoby to legalne w stosunku do właściciela oprogramowania ale na ten moment takie wykorzystanie API przychodzi mi do głowy.

 

Pozdrawiam.

[MaxPan]

Cytat

mogliby wykonywać parametryzowany przez nich harvest z mojej licencji

Kup sobie licencje, bo piszesz w ogóle nierealne rzeczy   

 Aktualizacja A-Parser Pro -> Enterprise kosztuje $89 pisze to w panelu klienta i wcale nie trzeba kupować a-parser żeby to zobaczyć.

[mefi]

Mam pytanie, może (a na pewno) ktoś z was spotkał się z takim problemem.

 

Dodaje np 30 footprintów do parsera, a on po przerobienia kilku dodaje swoje - najczęściej jest to doklejenie na końcu zapytania jakiegoś zlepku liter "AN" "DO", itp.

 

W załączniku jak to wygląda

 

Czy ktoś wie jak to poprawić?

[MaxPan]

Ale jaki problem, parser ma system unikalizowania zapytań. Możesz to wyłączyć tylko po co jeśli to gwarantuje w 1000 razy lepszy parsing. To  nie problem to zaleta tego harwestera.

[mefi]

@MaxPan - rozumiem, że to w wielu przypadkach jest zaleta - jeśli idziemy na wielką skalę!

 

Natomiast czy możesz wrzucić zrzut ekranu, gdzie taką opcję można wyłączyć / włączyć.

[Mion]

Dawno nic nie harvestowalem, ale zapytania tak nasycone operatorami palą proxy po jednym strzale:

---

Chyba, że się coś zmieniło

[MaxPan]

Cytat

 jeśli idziemy na wielką skalę!

Nie masz absolutnie racji on duplikaty i tak usuwa automatycznie, wiec skala nie ma nic dorzeczy. Bez tej opcji nie scharwestujesz wszystkiego, przecież widzę zapytania. Ato Twoja sprawa, nie wtrącam się.

Cytat

gdzie taką opcję można wyłączyć / włączyć.

Przy tworzeniu projektu na dole, zależy jakim sposobem czy szybkim czy zaawansowanym.

Cytat

 tak nasycone operatorami palą proxy po jednym strzale:

On ma swoje proxy tunelowe, więc to nie problem. Bez problemu harwestuje i inurl + jeszcze inne operatory oczywiście jeśli proxy kupować od nich. Na publicznych. masz rację takim zestawem bedzie lipa.

[mefi]

Dziękuje wszystkim za odpowiedź.

 

@MaxPan z tobą nie będę polemizować, gdyż masz znaczne większe doświadczenie w pozycjonowaniu ode mnie.

 

Może źle się wyraziłem: chciałem mieć nad tym kontrolę - robię swoje zapytania i chciałem aby Parser zrobił tylko te. Chodzi o zasoby i czas potrzebny na przetworzenie takiego harvestu.

 

1 godzinę temu, Mion napisał:

Dawno nic nie harvestowalem, ale zapytania tak nasycone operatorami palą proxy po jednym strzale:

---

Chyba, że się coś zmieniło

 

Jeśli używasz AParsera to masz od nich proxy i możesz stosować jakie chcesz zapytania. Właśnie to jest przewaga tego rozwiązania, że można robić operatory. Oczywiście na proxy od twórcy softu.