Парсер новостей

С помощью компонента Парсер новостей, вы можете парсить новости с различных источников (на данный момент с Вести и РИА) и добавлять их на свой сайт. Есть несколько способов добавления, автоматический, ручной и по крону (Планировщик).

Автоматический

Это когда при нажатии автоматом добавляются новости на сайт.

Ручной

Это когда загружается форма добавления новости с уже заполненными полями и вы можете отредактировать её и нажать Сохранить.

Добавление по крону

Это когда из созданных фильтров, планировщик парсера добавляет контент на ваш сайт, без вашего участия.

Парсер получает заголовок, текст и одну фотографию. Фотография загружается на ваш сайт со всеми пресетами, которые есть на вашем сайте. Из тела новости, получаем только текст, все фотографии или видео удаляются.

Фильтры

Вы можете создать фильтры, что бы фильтровать спарсенные новости. Например создаете фильтр с текстом "Москва" тогда добавляются новости связанные с Москвой или же как сейчас актуально, создаёте фильтр с текстом "Олимпиада" или "РИО" и получите новости олимпиады.

Категории

При парсинге с внешнего сайта мы получаем категории новостей, в компоненте есть удобный настройщик категорий, где вы можете указать какие новости должны попадать в какие категории.

Кэш

Что бы не грузить сервер, при парсинге, данные сохраняются в кэш, следующие загрузки происходят из кэша. Это обеспечивает быструю работу компонента.

При нажатии на кнопку Очистить кэш — данные из кэша удаляются и компонент парсит новые данные.

Интеграция с FlowCrawler

С помощью парсера можете импортировать данные, которые спарсили с помощью программы FlowCrawler в json формате (см. видео).

Почему только два источника?

Бесплатных источников два, Вести и РИА новости, если вам этого не достаточно, можете заказать дополнительные источники.

Цена одного источника 400 руб

Перед заказом источника, напишите мне сайт, который хотите парсить, я скажу получиться ли парсить (иногда для некоторых сайтов не будет доступен фильтр или настройка категории).

Если на сайте источника будут мелкие изменения и парсер начнет не правильно работать, исправление бесплатно, но если сайт полностью меняет дизайн, исправление 100 руб

Если хотите поддержать развитие парсера, закажите источники.

Используется библиотека DiDOM

ВАЖНО: Перед парсингом Вести и РИА новости прочтите правила использования материалов этих сайтов.