Разработка парсера, пишите свои хотелки

InstantCMS 2.X

Работаю над новым парсером

#16 15 декабря 2022 в 18:20

По телеграму и ВК пока не знаю, вчера весь решал проблемы парсинга яндекс карты, завтра займусь телеграмом или вк, надеюсь получиться.

#17 15 декабря 2022 в 23:23

У меня где-то валялся парсер телеграма но он не работает, но, когда-то работал но ребята настолько с ним замучились и плевались что я решил больше их не трогать. 
могу поискать и скинуть, вдруг что полезное в нём откопаете. 
П.с. откопал настройки на тестовом сайте:

Изображение

Изображение

#18 15 декабря 2022 в 23:39

 Василич, да скиньте сюда my-instantcms@mail.ru

#19 15 декабря 2022 в 23:59

Да даже если парсить посты из телеги это уже мне кажется достойный компонент.
А так парсить сайты текстовики и тд, vc например :) 
Ну и по возможности парсить доски объявлений, меня интересуют испанские :)

#20 16 декабря 2022 в 02:12

Добавьте опцию банить тех, кто парсит твой контент без спроса)

#21 3 января 2023 в 08:49

Парсить должен новости (новостной агрегатор), доски объявления, афиши, каналы соцсетей со всеми фото и видео

#22 3 января 2023 в 18:38

Есть ещё такой парсер A-parser — a-parser.com. Не знаю, насколько актуально его сейчас приводить в пример, но мне он постоянно попадался в поиске и рекламе по запросу FlowCrawler.

Я как-то попытался разобраться с демо, но, что-то у меня на тот момент не получилось и я плюнул на него. В это время разбирался с FlowCrawler на его фоне (по удобству) A-parser проигрывал. По функционалу сказать сложно, т.к. по сути с ним не работал, но там уже написано много парсеров на разные тематики для поисковиков, соцсетей, баз данных и т.д.

#23 15 февраля 2023 в 13:26

 My-InstantCMS.Ru, мне интересен парсер с переводом на русский (от Яндекс или Гугл, не важно). Т.е. берем информацию с сайта источника, переводим и загружаем на свой сайт.

#24 15 февраля 2023 в 13:48

С парсером пока у меня тупик, так как в хостингах под linux потребовал установить некоторые дополнения. 

На windows всё работает, поэтому использую для своих нужд на локальке, пока не найду решение или другую библиотеку.

А так парсер получился крутой, может парсить ajax подгружаемый контент, может авторизоваться, запоминать куки, использовать прокси, селекторы можно выбрать, просто кликнув на них (как в FlowCrawler), подключить свой собственный js скрит и манипулировать с данными и т.д. 

Но для продаж не подходить

#25 15 февраля 2023 в 14:49

Но для продаж не подходить

My-InstantCMS.Ru

Ну что ж, сил вам и успехов в доработке компонента.

Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.