Пакет расширения для компонента «Парсер контента» 2.X

2623
Пакет расширения для компонента «Парсер контента»

Пакет, значительно расширяющий возможности компонента «Парсер контента». Неограниченное количество полей, парсинг наборов изображений, гео-объектов и т.д. Поcтинг в instantMaps, поддержка плагинов.

Данный пакет не является самостоятельным компонентом и устанавливается "поверх" компонента «Парсер контента». Это дополнение, значительно расширяет возможности компонента «Парсер контента», делая его еще более гибким и универсальным. Установив данный пакет вы сможете создавать неограниченное число полей для парсинга и парсить одновременно множество параметров, помещая их в разные поля выбранного типа контента. Каждое поле имеет целый ряд настроек, позволяющих выполнить любые действия с полученным в него контентом - очистить от мусора, произвести замены в тексте и т.д.

Общий обзор дополнения:

Приятная новость для владельцев instantMaps. Данный пакет включает в себя поддержку парсинга гео-данных по адресу объекта и умеет постить полученный контент в компонент InstantMaps. Вам нужно лишь создать и настроить поле, отвечающее за выборку адреса из тела страницы-донора. Компонент автоматически найдет координаты объекта, поместит маркер на карту и выполнит все действия, необходимые для публикации записи в компоненте InstantMaps. Возможна как выборка данных на основе HTML-разметки страницы, так и автоматическое получение данных с сайтов, использующих разметку Schema.org.

Появилась возможность парсить все картинки со страницы или по ссылкам с этой страницы в единое поле типа "Набор изображений". Это позволит парсить галереи, статьи с множеством картинок, помещая все изображения из текста(галереи) в стандартное поле "Набор изображений" или галереи и слайдеры, работающие с использованием поля "Набор изображений"

Наборы изображений:

Данный пакет также включает в себя поддержку плагинов. Обладая базовыми знаниями PHP вы можете писать собственные обработчики. Причем однажды написанный обработчик можно подключить к любому полю просто щелкнув по его названию в списке. Один и тот же обработчик может применяться для обработки множества полей.

На стадии разработки находится опция "Скачивание архивных записей". но уже сейчас вы можете использовать ее для выкачивания старого контента.

Выкачивание старого контента(beta):

Дополнение приобретается вами единожды и доступно для использования на всех доменах, для которых вы приобрели компонент «Парсер контента». Привязка дополнения производится к тому же лицензионному ключу, что и привязка самого компонента «Парсер контента». Код дополнения закрыт IonCube.

Приобрести пакет можно на сайте icms2-docs.ru.

Спасибо всем, кто предлагал идеи и участвовал в обсуждении. Отдельное спасибо хочется сказать DK за предоставление доступа на сайт с установленным компонентом InstantMaps.

Компонент «Полезность страниц» для ICMS 2 | Поле «Мультизагрузка» для ICMS 2
Комментарии (29)
Alexprofi 30 января 2017 в 18:03 0
Отличная работа! +
SE7EN 30 января 2017 в 18:29 +1
Хорошая новость!
Приобрету обязательно к парсеру!!!
Главное разработчик отвечает на любые вопросы быстро и оперативно!
Alexprofi 30 января 2017 в 19:00 +1
Да, это очень важно!
ermakover 30 января 2017 в 19:27 0
Ну вот, дождался! Аллилуя! Парсер Яндекс-карт.
ermakover 31 января 2017 в 07:38 0
С каталога организаций на карте Яндекса, как выяснилось, парсер не парсит, потому что там всё на ajax. Хитрые жулики эти яндексмены.

Но ведь кроме Яндекс-карт есть достаточно других каталогов с картами, откуда можно парсить организации. Зачастую даже с более качественным контентом.

Меня пугает сложность освоения данного парсера, но возможность попивать пиво с воблой, пока пыхтит крон и наполняется твой сайт, заставляет напрячься, сделать рывок, чтобы потом только заглядывать на сайт и смотреть что нового.
Авакадо 31 января 2017 в 09:32 0
2gis.ru после него вы забудете про яндекс, хотя там маленьких городов нет
ermakover 1 февраля 2017 в 09:48 0
Спасибо за подсказку, попробую. А что касается маленьких городов - в них особо никто ничего по интернету не ищет, все и так знают где что находится. Сам в таком жил.
ermakover 1 февраля 2017 в 11:18 0
C 2gis.ru не спарсишь, так как такового каталога нет, всё идёт через поиск.
dwd 1 февраля 2017 в 14:25 0
При желании можно парсить поисковую выдачу. Передаем URL с запросом получаем список нужных объектов.
Pocus 1 февраля 2017 в 14:49 0
off top
Скрытый текст виден только зарегистрированным пользователям
Pocus 1 февраля 2017 в 14:51 0
Извините, спойлер забыл.
482 31 января 2017 в 10:31 0
ermakover:
Меня пугает сложность освоения данного парсера
Ничего сложного как оказалось в работе с этим парсером нет. Настраивается очень даже быстро, для этого в компоненте есть тестер стратегий.

У меня одна беда, cron. На тестовом сайте работает отлично, а на 2х других, на этом же хостинге, все задачи ручками запускаю
SE7EN 31 января 2017 в 18:28 0
все задачи ручками запускаю
есть такая беда, пока разработчика не донимал этим вопросом - может сам разберусь ))) наверно, может быть, не знаю
dwd 31 января 2017 в 18:36 0
В чем беда то? Зачем вы себя мучаете? Настройте крон на сайте и включите задачу в планировщике. Попросите техподдержку хостинга это сделать, там работы на 5 минут.
Алексей Тимофеев 31 января 2017 в 23:02 +1
Дело в том что на хостах срабатывает, а на сайте нет
dwd 31 января 2017 в 23:06 0
Это исключено.
чебурек дохлэй мыш 5 февраля 2017 в 17:27 0
У меня не работал крон на сайте, хотя на хостинге запускался по времени как положено. Но потом проблему решил. Когда устанавливал движок, на предпоследнем шаге было предложено создать команду такого вида

php -f /home/xxxxx/sites/site.com/cron.php site.com > /dev/null

Не работало ничего. И однажды я в компоненте ИнстантВидео (самая правая вкладка, не помню как называется, что-то типа конфигурации или отладки) подсмотрел, там команда для крона выглядела немного иначе

/usr/local/bin/php -f /home/xxxxx/sites/site.com/cron.php site.com > /dev/null

Я изменил команду на такую - всё заработало. С тех пор всегда добавляю при установке перед командой вот это

/usr/local/bin/

и проблем не наблюдаю.
Jestik 30 января 2017 в 21:03 0
Такс..это что выходит, парсер для мапса?)
dwd 30 января 2017 в 21:07 +4
Выходит это парсер для всего, в том числе и для мапса.
Николай (asd43) 30 января 2017 в 21:20 0
Ребята, кто то использует данный парсер для работы с кинопоиском???
Авакадо 30 января 2017 в 21:22 0
Ого-го! Как-то подверг критике за не способность работы с мапс. Респект )
Авакадо 30 января 2017 в 21:23 0
Будет ли он работать с 2гис теперь?
dwd 30 января 2017 в 21:59 +2
Дополнение использует геокодер Яндекса для определения координат, а для отображения используйте чего хотите, координаты у всех одинаковы.
Алексей Тимофеев 31 января 2017 в 09:07 0
Все просто и доходчиво+
lezginka.ru 31 января 2017 в 11:57 0
+++
мечта, а не компонент :)
Bubble Gumoff 31 января 2017 в 19:02 0
Мощно !!!
Bubble Gumoff 31 января 2017 в 19:03 0
Наверно единственный компонент, где присутствие Ион Куба не напрягает!
Bubble Gumoff 31 января 2017 в 19:30 0
Что то мне подсказывает, что можно его еще расширить и использовать для импорта контента в компоненты,
тем самым облегчив работу разработчикам компонентов, в том числе премиум.
dwd 31 января 2017 в 19:38 0
Для этой цели существует поддержка плагинов. Плагин в несколько строк кода выполнит все, о чем вы сейчас говорите. Не знаю чем это может облегчить труд разработчикам, но писать компоненты, содержащие списки контента, не основанные на стандартных типах контента в двойке стало признаком дурного тона.