Универсальный парсер публикатор для 1 и 2 ветки

3440
Доброго дня всем.

Сегодня мы выпускаем в свет универсальный парсер публикатор данных для Instantcms 1 и 2 ветки. Более полутора месяца мы его тестировали с пользователями сайта и вот решили уже остановить тестирование и запустить.

Универсальный парсер публикатор для 1 и 2 ветки

Основные возможности

- Любые источники данных для публикации на вашем сайте
- Настройка публикации по крону заданных материалов в заданный промежуток времени
- Авто создание пользователя автора
- Добавление текстовых данных, названия, короткого описания, группы фото, видео материалов со страниц
- Авто создание тегов
- Возможность получать материалы и редактировать перед публикацией

Возможностей много. В будущем мы планируем добавить ещё целый ряд улучшений, для тех кто купит все обновления в течении года бесплатно.

Условия покупки

Базовая лицензия 1 домен включает в себя 10 источников и 2 правила под API - цена составляет 1000 рублей. Срок лицензии 1 год.

При покупке на 5 доменов и до 10 доменов скидка 10%

При покупке от 10 доменов - скидка 20%

Покупка дополнительных правил и источников - по 50 рублей.
Составление правила источника - 200 рублей
Написание под заказ правила на API - 500 рублей.

Источники - любой сайт, который вы настраиваете сами, либо на заказ.
Правило - Готовые правила под API.

Продажа пока будет идти в ручном режиме, так как не успели подготовить сайт под него, поэтому желающие купить пишут в скайп чат: acsac_ Александр.

Дополнительно про составление правил

В компоненте есть поддержка экспорта и импорта правил источника. То есть вы можете составить правило и поделиться им с другими, просто переслав код правила. Можно делать и импорт и экспорт источников.

Также планируем после запуска сайта публикатора выпустить видео уроки по работе с ним.
Авто каталог для InstantCMS (авто наполнение) | Обновление парсера UPDS для InstantCMS 2 v 1.2.0
Комментарии (58)
GWK 3 ноября 2016 в 19:14 +1
Хотя бы пару скриншотов значительно улучшили понимание для данного компонента.
letsgo 3 ноября 2016 в 19:25 -1
Каждый покупатель или желающий понять для себя его возможности - может написать в скайп и получить полный доступ к админке компонента - там можно добавить правило и протестировать для себя.
WebMan 3 ноября 2016 в 19:30 +2
letsgo, опишите зачем нужен этот парсер и несколько примеров его использования, пожалуйста.
Zau4man 3 ноября 2016 в 20:25 +1
Присоединяюсь.
Поправьте пост, дабы не нарушать 3.3.1 http://instantcms.ru/rules.html

Я не придираюсь. Хотя мог бы.
letsgo 3 ноября 2016 в 20:54 0
Так написал же 25 минут назад ответ. В описании указаны все параметры, включая цену и срок обновления. Готов дать каждому демо доступ для тестирования и визуального знакомства, скоро запишется видео урок.
Старый балбес 3 ноября 2016 в 19:43 +4
Что может Ваш парсер , как серверный вариант. И сопоставить желательно на противовес десктопному парсеру Content Downloader X1
Копейки стоит, и пожизненное обновление. Шесть лет с ним работаю, каждые 7 дней обновление. Все могу спарсить, на локальную базу инстанта, и обновлять данные в реальном домене.
Dimas 3 ноября 2016 в 19:55 0
Я думаю Content Downloader X1 не умеет парсить по крону без вмешательства пользователя.
Старый балбес 3 ноября 2016 в 20:01 +1
Но умеет парсить по заданию заложенному в системное выполнение заданий системы.
Задание расписание парпсинга X1 , в окнах очень продвинута.
Не путайте понятия.
Dorimen 4 ноября 2016 в 18:37 +2
Крутая прога. Спасибо за подсказку.
letsgo 3 ноября 2016 в 20:00 +2
Да у меня этот парсер тоже валяется пару лет. К сожалению добиться внятности от разработчика относительно работы с Instantcms я так и не смог. Он для тех кто разбирается глубоко, разобраться в нём интуитивно просто не получится. Затем надо еще создать импорт в Инстант. Поэтому мне лично такой подход не понравился.

Почему пришлось разрабатывать именно отдельный компонент? Чтобы иметь возможность работать с данными без дополнительных костылей и каких то глубоких познаний. Легко создать правило публикации, оформить его в виде крон задачи и оно работает себе.

Webman ну вот например приведу пример для авто сайта. Что можно сделать этим публикатором?

- Каталог автомобилей с характеристиками, фото, видео (явно что уникализировать технические данные не будешь
- Каталог запчастей (тоже что и выше)
- Каталог СТО или любых других авто компаний и организаций
- Наполнить видео материалами с ютуба, добавив своё описание
- Настроить добавление новостей ежедневно по авто тематике (в будущем будет авто переводчик)
- Каталог авто товаров
- Создать разделы с фото слайдерами по теме (публикатор создаёт опционно слайдер из фото)

Это я так расписал что сразу в голову пришло. При фантазии можно и еще придумать.
WebMan 3 ноября 2016 в 20:23 +2
А откуда это всё брать? С чужих сайтов? Из баз данных? Пока не понятна технология.
letsgo 3 ноября 2016 в 20:24 +1
С любого сайта в интернете. С любого каталога, с любой страницы, которая открывается в интернете.

Webman приглашаю попробовать на тест сайте. Покупать не покупать дело ваше, но если интересно дам доступ потестировать.
WebMan 3 ноября 2016 в 20:54 +1
Спасибо за приглашение, я просто пока не пойму, зачем мне это может быть нужно. Брать контент с чужих сайтов я не предполагаю. Делать каталоги, повторяющие массу других существующих - тоже не интересно. Пока почитаю комментарии, может что-то интересное для себя замечу. smile
letsgo 3 ноября 2016 в 20:57 0
Это нормально. Если вы обратите внимание большинство разработок в том или ином виде рассчитаны на создание массива информации, которая уже где то есть, но более насыщеннее, удобнее, юзабельнее. В данном случае это такой вот подход.
Евгений 4 ноября 2016 в 19:05 +1
Тоже CD пользуюсь, но обновлять данные в реальном домене в ручную приходится. А тут вариант предлагается настроил и позабыл и сайт автоматом будет наполнятся. Спасибо Letsgo за замечательную разработку, однозначно приобрету.
Pocus 7 ноября 2016 в 19:17 +2
Просто добавлю Datacol, в котором уже есть публикатор для InstantCMS.
Старый балбес 3 ноября 2016 в 20:07 +1
Да у меня этот парсер тоже валяется пару лет. К сожалению добиться внятности от разработчика относительно работы с Instantcms я так и не смог
Больше вопросов по поводу соответстия CD нет.
И правда , для CD с нужны понятия , логика и интелект.
Чтобы иметь возможность работать с данными без дополнительных костылей и каких то глубоких познаний.
Парсер для деток?
letsgo 3 ноября 2016 в 20:19 +1
Геннадий Иванович, чтобы кушать хлеб, не обязательно уметь его печь или выращивать. Верно? А я знаю как хлеб выращивать, от посевной до уборки, знаю как сеять, как убирать, знаю этот запах земли и пыли в кабине комбайна. Но это мои личные ощущения и знания, которые не должен знать и понимать каждый. И уж тем более я не навязываю кому то знать это или разбираться в этом, пытаясь выдать за какую то исключительность.

Любые знания полезны, но не все знания хватает времени и сил освоить. Можно сказать и так: парсер очень просто и понятен и универсален как для деток. И мне это нравится в работе. Я трачу 10 минут на создание правила и больше не думаю об этом.
WebMan 3 ноября 2016 в 21:20 +1
Я не могу сказать про данный парсер. Но часто более простой в использовании продукт, делающий то же самое, что и сложный, будет иметь более широкую аудиторию. Не из-за лени людей. А из-за отсутствия у них необходимости изучать что-то лишнее. Так что и этот вариант может кому-то очень сильно пригодиться.
Murrkin 4 ноября 2016 в 01:02 +1
подожду видео) задумка мне нравится и уже есть пару идей как мог бы реализовать.
Василич 4 ноября 2016 в 02:04 +1
Из социалок тянет контент? Интересует фэйсбук и вк. Из рсс лент?
Наглядная графика не помешала бы, скрины и видео, не понимаю такую политику, вроде и продать хочется а оформить пост не хочется.
letsgo 4 ноября 2016 в 02:14 +1
Тянет любой контент, который есть в коде страницы. Контакт, фейсбук, майл, одноклассники.

Насчёт наглядной графики - публикатор анонсирован на тестирование более месяца назад. За это время многие попробовали, изучили как работать, но мы тоже не спали, был написан под 2 компонент, подправлены выявленные проблемы, добавлены новые опции и функции. Но вот с видео уроком и промо страницей есть такое дело, мы не успели.

Видео уроки на днях надеюсь сделать, как и промо сайт рассказывающий подробно. Спасибо за внимание.
Игорь ФИН 4 ноября 2016 в 02:32 0
А как с юридической точки зрения?
Alexneva 4 ноября 2016 в 03:14 +1
Ваш парсер умеет парсить с сайтов, на которых необходимо авторизовываться?
letsgo 4 ноября 2016 в 03:37 +1
Если контент открыт для чтения без регистрации обязательной, то спарсить можно. Если контент имеет закрытый доступ и его не видно без регистрации - то не спарсит. Но вторых вариантов очень мало.

Игорь. С юридической точки зрения, вы или я, как дееспособные лица, решаем что несёт ответственность, а что нет. В публикаторе есть возможность вставлять в материале полную ссылку на источник (опционно ставить или нет, активную или неактивную).
Murrkin 4 ноября 2016 в 04:21 +1
подскажите, а текст защищенный скриптом от копирования (ctr+c) вытянет?
letsgo 4 ноября 2016 в 04:56 0
Вытянет, если он имеет открытый вид и не требует регистрации для просмотра.
Игорь ФИН 4 ноября 2016 в 11:46 -3
letsgo - незнания закона не освобождает от ответственности ( профессия у меня такая-правовед ( по диплому)). Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
чебурек дохлэй мыш 4 ноября 2016 в 12:53 +3
Игорь ФИН:
Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
Про какой поиск Вы сейчас говорите? Может про Яндекс, Гугл и иже с ними? Ну предложите))) Они сразу бросят все дела и начнут вычислять сайты с парсером от letsgo, чтобы банить-банить-банить. rofl Вроде

Игорь ФИН:
Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
, взрослый человек, а рассуждения как у второклашки. Извините, не сочтите это за оскорбление.
чебурек дохлэй мыш 4 ноября 2016 в 12:54 +1
Извиняюсь, во второй цитате

Игорь ФИН:
профессия у меня такая-правовед ( по диплому)
Игорь ФИН 4 ноября 2016 в 12:10 -4
А теперь проф комментарий.
Когда вы парсете авито вы делаете хорошие дело , помогая людям ( увеличиваете аудиторию его объявления), когда вы парсете кино афишу , вы выступаете волонтерами по отношению к кино бизнесу , они в этом заинтересованы ( лишней реклама не бывает).
Но когда вы предлагаете парсеть уникальный контент - это уже батенька воровство.
Поэтому
letsgo:
В публикаторе есть возможность вставлять в материале полную ссылку на источник (опционно ставить или нет, активную или неактивную).
ссылка должна быть не опционально, а вот если купивший сделает ее опционально тогда ответственность уже на нем.
Как сложно все в этой песочнице.
Василич 4 ноября 2016 в 12:26 +4
Вам, простите, какое до этого дело? Оставьте демагогию в сторонке и оставьте разраба в покое, их и так по пальцам пересчитать.
Касательно закона, уникального контента и прочего, каждый сам будет решать что ему делать, не вам и никому другому, если сайтостроитель преступит закон то это его личные проблемы, не тс-а и не ваша, тс лишь создал инструмент, как в свое время был придуман нож, который, холодное оружие, чего же вы им пользуетесь? На любом движке можно поднять сайт с детской порнографией, что же теперь, давайте не писать цмс-ки?
Это не вопросы на который стоит отвечать, это рассуждение на тему того, что стоит или не стоит делать тс-у с неуместными советами.
vikont 4 ноября 2016 в 21:57 0
Категорически поддерживаю! Ставить ссылку на спарсерный контент или нет - это на совести того кто парсит!
Дело же разработчика дать такую возможность!

Если следовать логике Игорь ФИН, то всех производителей ножей топоров, вилок стамесок и пр. режуще-колющих предметов, надо привлекать к уголовной ответственности всякий раз как только какой то идиот его продукцией нанес кому либо увечие или убил.

Игорь ФИН вы же правовед и должны знать разницу между Преднамеренно не создал возможности выполнять закон и тем, что Портребитель сам игнорировал предоставленные ему возможности.
По большому счету, даже если бы парсер не имел возможности ставить ссылки на источник, то виноват был бы не разработчик, а пользователь! Так как именно он пользуясь такой программой должен следить за исполнением закона (например ставить ссылки вручную) или не пользоваться этой программой!
чебурек дохлэй мыш 4 ноября 2016 в 12:49 +3
Игорь ФИН:
Когда вы парсете авито вы делаете хорошие дело , помогая людям ( увеличиваете аудиторию его объявления), когда вы парсете кино афишу , вы выступаете волонтерами по отношению к кино бизнесу , они в этом заинтересованы ( лишней реклама не бывает).

Какой-то однобокий подход у Вас. Помогаете людям, бла-бла-бла. Когда Вы парсите Авито, Вы может и помогаете людям, но делаете это как Робин Гуд - воруете на одном сайте, чтобы опубликовать на другом.
Игорь ФИН 4 ноября 2016 в 14:50 -3
DK:
Когда Вы парсите Авито, Вы может и помогаете людям, но делаете это как Робин Гуд - воруете на одном сайте, чтобы опубликовать на другом.
вы не воруете а распространяете рекламу, а владельцами рекламы это только приветствуется (Иногда за это даже платят).
чебурек дохлэй мыш 4 ноября 2016 в 15:16 +3
Те, кто добавляет объявления, может и приветствуют это. Но владельцы сайта Авито вряд ли. Потому что они сделали свой сайт, вложились в его продвижение, люди приходят к ним и добавляют объявления. А вы ничего не вложили в то, что бы люди добавляли объявления на вашем сайте. И просто напросто их воруете с сайта Авито.

Начинаю сомневаться в том, что

Игорь ФИН:
профессия у меня такая-правовед ( по диплому)

Согласно Вашей логике Робин Гуда, фраза

Игорь ФИН:
Но когда вы предлагаете парсить уникальный контент - это уже батенька воровство

не имеет никакого значения. Потому что любая уникальная статья написана кем бы то ни было для того, чтобы донести до пользователя какую-то информацию. И если Вы ее возьмете, украдете и разместите на Вашем сайте, то Вы сделаете доброе дело, ведь эту информацию получит большее количество людей. И на планете наступит мир. Все будут улыбаться и дарить друг другу подарки... В вашем сообщении одно предложение противоречит другому. Вы бы определились, можно все-таки воровать, или нельзя - можно брать ЛЮБОЙ контент на чужих сайтах или нет.
Alexneva 4 ноября 2016 в 17:05 +2
Когда вы парсете авито вы делаете хорошие дело , помогая людям
Уже из этого понятно какой Вы "правовед".
Игорь ФИН 4 ноября 2016 в 18:30 -3
Проблемой закрытия ваших сайтов которые парсят с авито , пусть заниматься бизнес ( и юридическая служба авито), моя тема только авторский контент, и обижать авторов не нужно, и делать на маленьких свой бизнес тоже.
Игорь ФИН 4 ноября 2016 в 18:41 -3
а по поводу Авито и прсенга - будет ли это публичная порка и дополнительная защита , не знаю в ближайшее время мы об этом узнаем , инвесторы недовольны. значит будут действия.
Alexneva 4 ноября 2016 в 19:56 +3
Проблемой закрытия ваших сайтов которые парсят с авито , пусть заниматься бизнес ( и юридическая служба авито)

Авито уже закрывает сайты?

а по поводу Авито и прсенга - будет ли это публичная порка и дополнительная защита

Авито еще и наказывает?

Действительно у нас перебор юристов.
Lancelot 4 ноября 2016 в 16:52 +1
Здравствуйте. Спасибо за подобную разработку, интересное решение.
У меня вопрос: а модет ли выполняться парсинг, если контент подгружается дополнительно через "загрузить ещё".
Конкретнее, если взять профиль инстаграмма. В коде выводятся 4 записи, а потом в код подгружается ещё по кнопке "загрузить ещё"
letsgo 4 ноября 2016 в 17:05 +3
Большая просьба. Вопрос "а спарсит ли", если у вас есть желание проверить пишите сразу в скайп мне. Я дам демо аккаунт для вас, вы попробуете спарсить.

Некоторые сайты лучше брать по api - публикатор допускает это, написание правила под api стоит 500 рублей, есть экспорт и импорт правил, то есть раз написанное правило, можно добавить нажатием кнопки на любое количество сайтов и обмениваться друг с другом.

При написании публикатора, с учетом того, что мы давно работали в этом направлении, это 4 версия за 6 лет, но просто впервые вышла на публичность, так вот основное что было критерием: просто, универсально, максимально понятно каждому, возможность быстрого масштабирования.
Dorimen 4 ноября 2016 в 18:38 +1
В этом парсере можно как-то настраивать элементы, которые нужно парсить с каждого сайта или как? А если на сайте со временем поменялись элементы, то что?
Jestik 4 ноября 2016 в 19:15 +2
поменять элементы и все
letsgo 4 ноября 2016 в 19:46 +1
Если на сайте что то изменилось, вы просто редактируете правило, меняете название элемента и снова всё работает.
lezginka.ru 4 ноября 2016 в 19:38 +3
+
нужная вещь. когда будет видеоинсрукция может даже куплю :)
Pasechnik 5 ноября 2016 в 01:39 0
DK:
Те, кто добавляет объявления, может и приветствуют это. Но владельцы сайта Авито вряд ли. Потому что они сделали свой сайт, вложились в его продвижение, люди приходят к ним и добавляют объявления. А вы ничего не вложили в то, что бы люди добавляли объявления на вашем сайте. И просто напросто их воруете с сайта Авито.
Первоначально база объявлений Авито была наполнена парсером сворована. Шведы не побрезгали сэкономить на первоначальном наполнении, вложив сэкономленное в рекламу. Мораль и бизнес - вещи не совместимые.
чебурек дохлэй мыш 5 ноября 2016 в 09:50 +1
Да это не имеет никакого значения. Каждый делает так, как считает нужным. Суть в другом - человек начал рассказывать о том, что с одних сайтов можно парсить (это доброе дело), а с других нельзя (это воровство). Нужно как-то определяться - или везде можно, или нигде нельзя. Речь об этом была.
Pasechnik 6 ноября 2016 в 19:04 +1
DK:
Нужно как-то определяться - или везде можно, или нигде нельзя. Речь об этом была.
Это в Бога можно верить или нет, "немножко" неуместно. Здесь же не все черно-белое, больше серое. Имхо.
В противном случае ворами можно назвать создателей множества стартапов в Интернете, даже у мапса Яндекса замечал копипаст с 2ГИС. Если те же авитовцы позаимствовали "немного" объявлений на начальном этапе наполнения проекта, от этого они ворами не становятся, просто так делается бизнес в этой сфере и УК РФ это не противоречит(ло). Другое дело украсть и опубликовать авторскую статью с фотографиями, над которой человек корпел неделю, а Вася Пупкин копипастит парсером и публикует от своего имени. У кого воровали, тот поймет - это очень обидно и больно, и практически всегда оставалось безнаказанным. Сейчас за чужие фотки можно элементарно попасть на кругленькую сумму, это радовало бы, но этим стали злоупотреблять мошенники... Закон не совершенен.

Воровать плохо, с этим не спорю.
Alexprofi 6 ноября 2016 в 10:23 +2
К сожалению, без парсера сделать стартовое наполнение какой-либо доски объявлений не реально. Так что вещь нужная, но пока не совсем понятно как она работает. Я тоже подожду видеоинструкцию, потом буду принимать решение.
Pasechnik 6 ноября 2016 в 19:10 0
Alexprofi:
К сожалению, без парсера сделать стартовое наполнение какой-либо доски объявлений не реально.
Так же, как нереально раскрутить это доску без пары миллионов зеленых инвестиций. Так что пусть воруют, для Авито это ничем не угрожает, если в свое время шведские парни смогли обойти зажравшихся конкурентов, новички им не помеха. Поздно пить боржоми)
чебурек дохлэй мыш 12 ноября 2016 в 15:22 +2
Пара вопросов (парсер для двойки):

1. Можно ли к парсеру прикрутить Яндекс.Переводчик по их API - https://tech.yandex.ru/translate/ - результат парсинга сохраняется уже переведенным на выбранный язык. Также желательно настраивать перевод для полей - какие из них нужно переводить.

2. Можно ли парсить материалы в iMaps 2? Т.е., есть какая-то страница, которую нужно спарсить. На этой странице указан адрес и телефон. Нужно, чтобы эти данные записались в iMaps в разделе контакты. Проблема в том, что для того, чтобы маркер был установлен в нужном месте, нужно найти координаты по адресу. Если бы как-то автоматизировать этот процесс...

Спасибо.
letsgo 12 ноября 2016 в 20:50 +2
Доброго дня. парсить можно в любой тип контента, я не пробовал imaps 2, но парсер видит все типы контента.

Перевод и синонимайз запланированы.
чебурек дохлэй мыш 12 ноября 2016 в 23:35 +1
В тип контента - это понятно. Интересует именно поиск координат и установка маркера в нужном месте, когда известен только адрес. Понимаю, что это уже, скорее всего, не задача парсера. Да и вообще, это, скорее всего, из области фантастики. Но на всякий случай уточняю. Чудеса иногда бывают))

Перевод и синонимайз запланированы.
Не знаю, как это понимать. Т.е., всё понятно - запланированы. Сориентируйте пожалуйста хотя бы приблизительно, когда у Вас в планах подключить переводчик. Интересует только переводчик.
letsgo 13 ноября 2016 в 01:15 -1
После окончания всех пожеланий и деталей, думаю в течении месяца двух подключать будем доп функционал.
Pasechnik 15 ноября 2016 в 18:57 0
Присоединяюсь к просьбе DK, нужен Яндекс.Переводчик. Тема рабочая.
Jestik 11 февраля 2017 в 21:44 0
В imaps 2 есть встроенная функция, которая ищет координаты по адресу и ставит маркер
Авакадо 16 ноября 2016 в 07:48 0
Когда видео опубликуете?