Пакет расширения для компонента «Парсер контента»

+26
3.76K
Иллюстрация
Пакет, значительно расширяющий возможности компонента «Парсер контента». Неограниченное количество полей, парсинг наборов изображений, гео-объектов и т.д. Поcтинг в instantMaps, поддержка плагинов.

Данный пакет не является самостоятельным компонентом и устанавливается "поверх" компонента «Парсер контента». Это дополнение, значительно расширяет возможности компонента «Парсер контента», делая его еще более гибким и универсальным. Установив данный пакет вы сможете создавать неограниченное число полей для парсинга и парсить одновременно множество параметров, помещая их в разные поля выбранного типа контента. Каждое поле имеет целый ряд настроек, позволяющих выполнить любые действия с полученным в него контентом — очистить от мусора, произвести замены в тексте и т.д.

Общий обзор дополнения:

Приятная новость для владельцев instantMaps. Данный пакет включает в себя поддержку парсинга гео-данных по адресу объекта и умеет постить полученный контент в компонент InstantMaps. Вам нужно лишь создать и настроить поле, отвечающее за выборку адреса из тела страницы-донора. Компонент автоматически найдет координаты объекта, поместит маркер на карту и выполнит все действия, необходимые для публикации записи в компоненте InstantMaps. Возможна как выборка данных на основе HTML-разметки страницы, так и автоматическое получение данных с сайтов, использующих разметку Schema.org.

Появилась возможность парсить все картинки со страницы или по ссылкам с этой страницы в единое поле типа "Набор изображений". Это позволит парсить галереи, статьи с множеством картинок, помещая все изображения из текста(галереи) в стандартное поле "Набор изображений" или галереи и слайдеры, работающие с использованием поля "Набор изображений"

Наборы изображений:

Данный пакет также включает в себя поддержку плагинов. Обладая базовыми знаниями PHP вы можете писать собственные обработчики. Причем однажды написанный обработчик можно подключить к любому полю просто щелкнув по его названию в списке. Один и тот же обработчик может применяться для обработки множества полей.

На стадии разработки находится опция "Скачивание архивных записей". но уже сейчас вы можете использовать ее для выкачивания старого контента.

Выкачивание старого контента(beta):

Дополнение приобретается вами единожды и доступно для использования на всех доменах, для которых вы приобрели компонент «Парсер контента». Привязка дополнения производится к тому же лицензионному ключу, что и привязка самого компонента «Парсер контента». Код дополнения закрыт IonCube.

Приобрести пакет можно на сайте icms2-docs.ru.

Спасибо всем, кто предлагал идеи и участвовал в обсуждении. Отдельное спасибо хочется сказать DK за предоставление доступа на сайт с установленным компонентом InstantMaps.

0
Alexprofi Alexprofi 4 года назад #
Отличная работа! +
+1
SE7EN SE7EN 4 года назад #
Хорошая новость!
Приобрету обязательно к парсеру!!!
Главное разработчик отвечает на любые вопросы быстро и оперативно!
+1
Alexprofi Alexprofi 4 года назад #
Да, это очень важно!
0
ermakover ermakover 4 года назад #
Ну вот, дождался! Аллилуя! Парсер Яндекс-карт.
0
ermakover ermakover 4 года назад #
С каталога организаций на карте Яндекса, как выяснилось, парсер не парсит, потому что там всё на ajax. Хитрые жулики эти яндексмены.

Но ведь кроме Яндекс-карт есть достаточно других каталогов с картами, откуда можно парсить организации. Зачастую даже с более качественным контентом.

Меня пугает сложность освоения данного парсера, но возможность попивать пиво с воблой, пока пыхтит крон и наполняется твой сайт, заставляет напрячься, сделать рывок, чтобы потом только заглядывать на сайт и смотреть что нового.
0
Авакадо Авакадо 4 года назад #
2gis.ru после него вы забудете про яндекс, хотя там маленьких городов нет
0
ermakover ermakover 4 года назад #
Спасибо за подсказку, попробую. А что касается маленьких городов - в них особо никто ничего по интернету не ищет, все и так знают где что находится. Сам в таком жил.
0
ermakover ermakover 4 года назад #
C 2gis.ru не спарсишь, так как такового каталога нет, всё идёт через поиск.
0
dwd dwd 4 года назад #
При желании можно парсить поисковую выдачу. Передаем URL с запросом получаем список нужных объектов.
0
Pocus Pocus 4 года назад #
off top
Группе, к которой вы принадлежите, запрещено просматривать этот скрытый текст
0
Pocus Pocus 4 года назад #
Извините, спойлер забыл.
0
482 482 4 года назад #
ermakover:
Меня пугает сложность освоения данного парсера
Ничего сложного как оказалось в работе с этим парсером нет. Настраивается очень даже быстро, для этого в компоненте есть тестер стратегий.

У меня одна беда, cron. На тестовом сайте работает отлично, а на 2х других, на этом же хостинге, все задачи ручками запускаю
0
SE7EN SE7EN 4 года назад #
все задачи ручками запускаю
есть такая беда, пока разработчика не донимал этим вопросом - может сам разберусь ))) наверно, может быть, не знаю
0
dwd dwd 4 года назад #
В чем беда то? Зачем вы себя мучаете? Настройте крон на сайте и включите задачу в планировщике. Попросите техподдержку хостинга это сделать, там работы на 5 минут.
+1
Алексей Т Алексей Т 4 года назад #
Дело в том что на хостах срабатывает, а на сайте нет
0
dwd dwd 4 года назад #
Это исключено.
Нифигаccе о-го-гошеньки Нифигаccе о-го-гошеньки 4 года назад #
Комментарий удален
0
Jestik Jestik 4 года назад #
Такс..это что выходит, парсер для мапса?)
+4
dwd dwd 4 года назад #
Выходит это парсер для всего, в том числе и для мапса.
0
Николай (asd43) Николай (asd43) 4 года назад #
Ребята, кто то использует данный парсер для работы с кинопоиском???
0
Авакадо Авакадо 4 года назад #
Ого-го! Как-то подверг критике за не способность работы с мапс. Респект )
0
Авакадо Авакадо 4 года назад #
Будет ли он работать с 2гис теперь?
+2
dwd dwd 4 года назад #
Дополнение использует геокодер Яндекса для определения координат, а для отображения используйте чего хотите, координаты у всех одинаковы.
0
Алексей Т Алексей Т 4 года назад #
Все просто и доходчиво+
0
lezginka.ru lezginka.ru 4 года назад #
+++
мечта, а не компонент :)
0
Bubble Gumoff Bubble Gumoff 4 года назад #
Мощно !!!
0
Bubble Gumoff Bubble Gumoff 4 года назад #
Наверно единственный компонент, где присутствие Ион Куба не напрягает!
0
Bubble Gumoff Bubble Gumoff 4 года назад #
Что то мне подсказывает, что можно его еще расширить и использовать для импорта контента в компоненты,
тем самым облегчив работу разработчикам компонентов, в том числе премиум.
0
dwd dwd 4 года назад #
Для этой цели существует поддержка плагинов. Плагин в несколько строк кода выполнит все, о чем вы сейчас говорите. Не знаю чем это может облегчить труд разработчикам, но писать компоненты, содержащие списки контента, не основанные на стандартных типах контента в двойке стало признаком дурного тона.
0
skewes skewes 5 месяцев назад #

Здравствуйте.

Меня интересует парсинг 2гис одного или нескольких городов.
1. Я правильно понимаю, что ваш компонент парсит 2Гис ?
2. Требуется ли прокси для парсинга?
3. Вы помогаете в настройке? 

Еще от автора

Компонент «Продажа полей» для ICMS 2
Компонент для тотального управления продажей полей. Возможна оплата показа пользователями и самим автором. Масса типов продажи полей.
Компонент «Мотивация пользователей» для ICMS 2
Компонент предназначен для поощрения пользователей за систематическое посещение сайта.
Поле «Поддерживаю!» для ICMS 2
Поле «Поддерживаю!» предназначено для сбора голосов в решении какой-то задачи.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.