Пакет расширения для компонента «Парсер контента»

+26
4.33K
Иллюстрация
Пакет, значительно расширяющий возможности компонента «Парсер контента». Неограниченное количество полей, парсинг наборов изображений, гео-объектов и т.д. Поcтинг в instantMaps, поддержка плагинов.

Данный пакет не является самостоятельным компонентом и устанавливается "поверх" компонента «Парсер контента». Это дополнение, значительно расширяет возможности компонента «Парсер контента», делая его еще более гибким и универсальным. Установив данный пакет вы сможете создавать неограниченное число полей для парсинга и парсить одновременно множество параметров, помещая их в разные поля выбранного типа контента. Каждое поле имеет целый ряд настроек, позволяющих выполнить любые действия с полученным в него контентом — очистить от мусора, произвести замены в тексте и т.д.

Общий обзор дополнения:

Приятная новость для владельцев instantMaps. Данный пакет включает в себя поддержку парсинга гео-данных по адресу объекта и умеет постить полученный контент в компонент InstantMaps. Вам нужно лишь создать и настроить поле, отвечающее за выборку адреса из тела страницы-донора. Компонент автоматически найдет координаты объекта, поместит маркер на карту и выполнит все действия, необходимые для публикации записи в компоненте InstantMaps. Возможна как выборка данных на основе HTML-разметки страницы, так и автоматическое получение данных с сайтов, использующих разметку Schema.org.

Появилась возможность парсить все картинки со страницы или по ссылкам с этой страницы в единое поле типа "Набор изображений". Это позволит парсить галереи, статьи с множеством картинок, помещая все изображения из текста(галереи) в стандартное поле "Набор изображений" или галереи и слайдеры, работающие с использованием поля "Набор изображений"

Наборы изображений:

Данный пакет также включает в себя поддержку плагинов. Обладая базовыми знаниями PHP вы можете писать собственные обработчики. Причем однажды написанный обработчик можно подключить к любому полю просто щелкнув по его названию в списке. Один и тот же обработчик может применяться для обработки множества полей.

На стадии разработки находится опция "Скачивание архивных записей". но уже сейчас вы можете использовать ее для выкачивания старого контента.

Выкачивание старого контента(beta):

Дополнение приобретается вами единожды и доступно для использования на всех доменах, для которых вы приобрели компонент «Парсер контента». Привязка дополнения производится к тому же лицензионному ключу, что и привязка самого компонента «Парсер контента». Код дополнения закрыт IonCube.

Приобрести пакет можно на сайте icms2-docs.ru.

Спасибо всем, кто предлагал идеи и участвовал в обсуждении. Отдельное спасибо хочется сказать DK за предоставление доступа на сайт с установленным компонентом InstantMaps.

0
Alexprofi Alexprofi 7 лет назад #
Отличная работа! +
+1
SE7EN SE7EN 7 лет назад #
Хорошая новость!
Приобрету обязательно к парсеру!!!
Главное разработчик отвечает на любые вопросы быстро и оперативно!
+1
Alexprofi Alexprofi 7 лет назад #
Да, это очень важно!
0
ermakover ermakover 7 лет назад #
Ну вот, дождался! Аллилуя! Парсер Яндекс-карт.
0
ermakover ermakover 7 лет назад #
С каталога организаций на карте Яндекса, как выяснилось, парсер не парсит, потому что там всё на ajax. Хитрые жулики эти яндексмены.

Но ведь кроме Яндекс-карт есть достаточно других каталогов с картами, откуда можно парсить организации. Зачастую даже с более качественным контентом.

Меня пугает сложность освоения данного парсера, но возможность попивать пиво с воблой, пока пыхтит крон и наполняется твой сайт, заставляет напрячься, сделать рывок, чтобы потом только заглядывать на сайт и смотреть что нового.
0
Авакадо Авакадо 7 лет назад #
2gis.ru после него вы забудете про яндекс, хотя там маленьких городов нет
0
ermakover ermakover 7 лет назад #
Спасибо за подсказку, попробую. А что касается маленьких городов - в них особо никто ничего по интернету не ищет, все и так знают где что находится. Сам в таком жил.
0
ermakover ermakover 7 лет назад #
C 2gis.ru не спарсишь, так как такового каталога нет, всё идёт через поиск.
0
dwd dwd 7 лет назад #
При желании можно парсить поисковую выдачу. Передаем URL с запросом получаем список нужных объектов.
0
Pocus Pocus 7 лет назад #
off top
Группе, к которой вы принадлежите, запрещено просматривать этот скрытый текст
0
Pocus Pocus 7 лет назад #
Извините, спойлер забыл.
0
482 482 7 лет назад #
ermakover:
Меня пугает сложность освоения данного парсера
Ничего сложного как оказалось в работе с этим парсером нет. Настраивается очень даже быстро, для этого в компоненте есть тестер стратегий.

У меня одна беда, cron. На тестовом сайте работает отлично, а на 2х других, на этом же хостинге, все задачи ручками запускаю
0
SE7EN SE7EN 7 лет назад #
все задачи ручками запускаю
есть такая беда, пока разработчика не донимал этим вопросом - может сам разберусь ))) наверно, может быть, не знаю
0
dwd dwd 7 лет назад #
В чем беда то? Зачем вы себя мучаете? Настройте крон на сайте и включите задачу в планировщике. Попросите техподдержку хостинга это сделать, там работы на 5 минут.
+1
Алексей Т Алексей Т 7 лет назад #
Дело в том что на хостах срабатывает, а на сайте нет
0
dwd dwd 7 лет назад #
Это исключено.
0
&$!#% &$!#% 7 лет назад #
У меня не работал крон на сайте, хотя на хостинге запускался по времени как положено. Но потом проблему решил. Когда устанавливал движок, на предпоследнем шаге было предложено создать команду такого вида

php -f /home/xxxxx/sites/site.com/cron.php site.com > /dev/null

Не работало ничего. И однажды я в компоненте ИнстантВидео (самая правая вкладка, не помню как называется, что-то типа конфигурации или отладки) подсмотрел, там команда для крона выглядела немного иначе

/usr/local/bin/php -f /home/xxxxx/sites/site.com/cron.php site.com > /dev/null

Я изменил команду на такую - всё заработало. С тех пор всегда добавляю при установке перед командой вот это

/usr/local/bin/

и проблем не наблюдаю.
0
Jestik Jestik 7 лет назад #
Такс..это что выходит, парсер для мапса?)
+4
dwd dwd 7 лет назад #
Выходит это парсер для всего, в том числе и для мапса.
0
Николай (asd43) Николай (asd43) 7 лет назад #
Ребята, кто то использует данный парсер для работы с кинопоиском???
0
Авакадо Авакадо 7 лет назад #
Ого-го! Как-то подверг критике за не способность работы с мапс. Респект )
0
Авакадо Авакадо 7 лет назад #
Будет ли он работать с 2гис теперь?
+2
dwd dwd 7 лет назад #
Дополнение использует геокодер Яндекса для определения координат, а для отображения используйте чего хотите, координаты у всех одинаковы.
0
Алексей Т Алексей Т 7 лет назад #
Все просто и доходчиво+
0
lezginka.ru lezginka.ru 7 лет назад #
+++
мечта, а не компонент :)
0
Bubble Gumoff Bubble Gumoff 7 лет назад #
Мощно !!!
0
Bubble Gumoff Bubble Gumoff 7 лет назад #
Наверно единственный компонент, где присутствие Ион Куба не напрягает!
0
Bubble Gumoff Bubble Gumoff 7 лет назад #
Что то мне подсказывает, что можно его еще расширить и использовать для импорта контента в компоненты,
тем самым облегчив работу разработчикам компонентов, в том числе премиум.
0
dwd dwd 7 лет назад #
Для этой цели существует поддержка плагинов. Плагин в несколько строк кода выполнит все, о чем вы сейчас говорите. Не знаю чем это может облегчить труд разработчикам, но писать компоненты, содержащие списки контента, не основанные на стандартных типах контента в двойке стало признаком дурного тона.
0
skewes skewes 2 года назад #

Здравствуйте.

Меня интересует парсинг 2гис одного или нескольких городов.
1. Я правильно понимаю, что ваш компонент парсит 2Гис ?
2. Требуется ли прокси для парсинга?
3. Вы помогаете в настройке? 

Еще от автора

Компонент «Продажа полей» для ICMS 2
Компонент для тотального управления продажей полей. Возможна оплата показа пользователями и самим автором. Масса типов продажи полей.
Компонент «Мотивация пользователей» для ICMS 2
Компонент предназначен для поощрения пользователей за систематическое посещение сайта.
Поле «Поддерживаю!» для ICMS 2
Поле «Поддерживаю!» предназначено для сбора голосов в решении какой-то задачи.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.