Универсальный парсер публикатор для 1 и 2 ветки

+22
5.12K
Доброго дня всем.

Сегодня мы выпускаем в свет универсальный парсер публикатор данных для Instantcms 1 и 2 ветки. Более полутора месяца мы его тестировали с пользователями сайта и вот решили уже остановить тестирование и запустить.

Иллюстрация

Основные возможности

— Любые источники данных для публикации на вашем сайте
— Настройка публикации по крону заданных материалов в заданный промежуток времени
— Авто создание пользователя автора
— Добавление текстовых данных, названия, короткого описания, группы фото, видео материалов со страниц
— Авто создание тегов
— Возможность получать материалы и редактировать перед публикацией

Возможностей много. В будущем мы планируем добавить ещё целый ряд улучшений, для тех кто купит все обновления в течении года бесплатно.

Условия покупки

Базовая лицензия 1 домен включает в себя 10 источников и 2 правила под API — цена составляет 1000 рублей. Срок лицензии 1 год.

При покупке на 5 доменов и до 10 доменов скидка 10%

При покупке от 10 доменов — скидка 20%

Покупка дополнительных правил и источников — по 50 рублей.
Составление правила источника — 200 рублей
Написание под заказ правила на API — 500 рублей.

Источники — любой сайт, который вы настраиваете сами, либо на заказ.
Правило — Готовые правила под API.

Продажа пока будет идти в ручном режиме, так как не успели подготовить сайт под него, поэтому желающие купить пишут в скайп чат: acsac_ Александр.

Дополнительно про составление правил

В компоненте есть поддержка экспорта и импорта правил источника. То есть вы можете составить правило и поделиться им с другими, просто переслав код правила. Можно делать и импорт и экспорт источников.

Также планируем после запуска сайта публикатора выпустить видео уроки по работе с ним.
GWK GWK 7 лет назад #
Комментарий удален
-1
letsgo letsgo 7 лет назад #
Каждый покупатель или желающий понять для себя его возможности - может написать в скайп и получить полный доступ к админке компонента - там можно добавить правило и протестировать для себя.
+2
WebMan WebMan 7 лет назад #
letsgo, опишите зачем нужен этот парсер и несколько примеров его использования, пожалуйста.
+1
Zau4man Zau4man 7 лет назад #
Присоединяюсь.
Поправьте пост, дабы не нарушать 3.3.1 http://instantcms.ru/rules.html

Я не придираюсь. Хотя мог бы.
0
letsgo letsgo 7 лет назад #
Так написал же 25 минут назад ответ. В описании указаны все параметры, включая цену и срок обновления. Готов дать каждому демо доступ для тестирования и визуального знакомства, скоро запишется видео урок.
+4
Старый балбес Старый балбес 7 лет назад #
Что может Ваш парсер , как серверный вариант. И сопоставить желательно на противовес десктопному парсеру Content Downloader X1
Копейки стоит, и пожизненное обновление. Шесть лет с ним работаю, каждые 7 дней обновление. Все могу спарсить, на локальную базу инстанта, и обновлять данные в реальном домене.
0
Dimas Dimas 7 лет назад #
Я думаю Content Downloader X1 не умеет парсить по крону без вмешательства пользователя.
+1
Старый балбес Старый балбес 7 лет назад #
Но умеет парсить по заданию заложенному в системное выполнение заданий системы.
Задание расписание парпсинга X1 , в окнах очень продвинута.
Не путайте понятия.
+2
Dorimen Dorimen 7 лет назад #
Крутая прога. Спасибо за подсказку.
+2
letsgo letsgo 7 лет назад #
Да у меня этот парсер тоже валяется пару лет. К сожалению добиться внятности от разработчика относительно работы с Instantcms я так и не смог. Он для тех кто разбирается глубоко, разобраться в нём интуитивно просто не получится. Затем надо еще создать импорт в Инстант. Поэтому мне лично такой подход не понравился.

Почему пришлось разрабатывать именно отдельный компонент? Чтобы иметь возможность работать с данными без дополнительных костылей и каких то глубоких познаний. Легко создать правило публикации, оформить его в виде крон задачи и оно работает себе.

Webman ну вот например приведу пример для авто сайта. Что можно сделать этим публикатором?

- Каталог автомобилей с характеристиками, фото, видео (явно что уникализировать технические данные не будешь
- Каталог запчастей (тоже что и выше)
- Каталог СТО или любых других авто компаний и организаций
- Наполнить видео материалами с ютуба, добавив своё описание
- Настроить добавление новостей ежедневно по авто тематике (в будущем будет авто переводчик)
- Каталог авто товаров
- Создать разделы с фото слайдерами по теме (публикатор создаёт опционно слайдер из фото)

Это я так расписал что сразу в голову пришло. При фантазии можно и еще придумать.
+2
WebMan WebMan 7 лет назад #
А откуда это всё брать? С чужих сайтов? Из баз данных? Пока не понятна технология.
+1
letsgo letsgo 7 лет назад #
С любого сайта в интернете. С любого каталога, с любой страницы, которая открывается в интернете.

Webman приглашаю попробовать на тест сайте. Покупать не покупать дело ваше, но если интересно дам доступ потестировать.
+1
WebMan WebMan 7 лет назад #
Спасибо за приглашение, я просто пока не пойму, зачем мне это может быть нужно. Брать контент с чужих сайтов я не предполагаю. Делать каталоги, повторяющие массу других существующих - тоже не интересно. Пока почитаю комментарии, может что-то интересное для себя замечу. smile
0
letsgo letsgo 7 лет назад #
Это нормально. Если вы обратите внимание большинство разработок в том или ином виде рассчитаны на создание массива информации, которая уже где то есть, но более насыщеннее, удобнее, юзабельнее. В данном случае это такой вот подход.
+1
Евгений Евгений 7 лет назад #
Тоже CD пользуюсь, но обновлять данные в реальном домене в ручную приходится. А тут вариант предлагается настроил и позабыл и сайт автоматом будет наполнятся. Спасибо Letsgo за замечательную разработку, однозначно приобрету.
+2
Pocus Pocus 7 лет назад #
Просто добавлю Datacol, в котором уже есть публикатор для InstantCMS.
+1
Старый балбес Старый балбес 7 лет назад #
Да у меня этот парсер тоже валяется пару лет. К сожалению добиться внятности от разработчика относительно работы с Instantcms я так и не смог
Больше вопросов по поводу соответстия CD нет.
И правда , для CD с нужны понятия , логика и интелект.
Чтобы иметь возможность работать с данными без дополнительных костылей и каких то глубоких познаний.
Парсер для деток?
+1
letsgo letsgo 7 лет назад #
Геннадий Иванович, чтобы кушать хлеб, не обязательно уметь его печь или выращивать. Верно? А я знаю как хлеб выращивать, от посевной до уборки, знаю как сеять, как убирать, знаю этот запах земли и пыли в кабине комбайна. Но это мои личные ощущения и знания, которые не должен знать и понимать каждый. И уж тем более я не навязываю кому то знать это или разбираться в этом, пытаясь выдать за какую то исключительность.

Любые знания полезны, но не все знания хватает времени и сил освоить. Можно сказать и так: парсер очень просто и понятен и универсален как для деток. И мне это нравится в работе. Я трачу 10 минут на создание правила и больше не думаю об этом.
+1
WebMan WebMan 7 лет назад #
Я не могу сказать про данный парсер. Но часто более простой в использовании продукт, делающий то же самое, что и сложный, будет иметь более широкую аудиторию. Не из-за лени людей. А из-за отсутствия у них необходимости изучать что-то лишнее. Так что и этот вариант может кому-то очень сильно пригодиться.
+1
Murrkin Murrkin 7 лет назад #
подожду видео) задумка мне нравится и уже есть пару идей как мог бы реализовать.
+1
Василич Василич 7 лет назад #
Из социалок тянет контент? Интересует фэйсбук и вк. Из рсс лент?
Наглядная графика не помешала бы, скрины и видео, не понимаю такую политику, вроде и продать хочется а оформить пост не хочется.
+1
letsgo letsgo 7 лет назад #
Тянет любой контент, который есть в коде страницы. Контакт, фейсбук, майл, одноклассники.

Насчёт наглядной графики - публикатор анонсирован на тестирование более месяца назад. За это время многие попробовали, изучили как работать, но мы тоже не спали, был написан под 2 компонент, подправлены выявленные проблемы, добавлены новые опции и функции. Но вот с видео уроком и промо страницей есть такое дело, мы не успели.

Видео уроки на днях надеюсь сделать, как и промо сайт рассказывающий подробно. Спасибо за внимание.
0
Игорь ФИН Игорь ФИН 7 лет назад #
А как с юридической точки зрения?
+1
Alexneva Alexneva 7 лет назад #
Ваш парсер умеет парсить с сайтов, на которых необходимо авторизовываться?
+1
letsgo letsgo 7 лет назад #
Если контент открыт для чтения без регистрации обязательной, то спарсить можно. Если контент имеет закрытый доступ и его не видно без регистрации - то не спарсит. Но вторых вариантов очень мало.

Игорь. С юридической точки зрения, вы или я, как дееспособные лица, решаем что несёт ответственность, а что нет. В публикаторе есть возможность вставлять в материале полную ссылку на источник (опционно ставить или нет, активную или неактивную).
+1
Murrkin Murrkin 7 лет назад #
подскажите, а текст защищенный скриптом от копирования (ctr+c) вытянет?
0
letsgo letsgo 7 лет назад #
Вытянет, если он имеет открытый вид и не требует регистрации для просмотра.
-3
Игорь ФИН Игорь ФИН 7 лет назад #
letsgo - незнания закона не освобождает от ответственности ( профессия у меня такая-правовед ( по диплому)). Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
+3
&$!#% &$!#% 7 лет назад #
Игорь ФИН:
Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
Про какой поиск Вы сейчас говорите? Может про Яндекс, Гугл и иже с ними? Ну предложите))) Они сразу бросят все дела и начнут вычислять сайты с парсером от letsgo, чтобы банить-банить-банить. rofl Вроде

Игорь ФИН:
Надо предложить разработчикам поиска проверять вашу опционную ссылку , если ее нет то банить сайт в поиске.
, взрослый человек, а рассуждения как у второклашки. Извините, не сочтите это за оскорбление.
+1
&$!#% &$!#% 7 лет назад #
Извиняюсь, во второй цитате

Игорь ФИН:
профессия у меня такая-правовед ( по диплому)
-4
Игорь ФИН Игорь ФИН 7 лет назад #
А теперь проф комментарий.
Когда вы парсете авито вы делаете хорошие дело , помогая людям ( увеличиваете аудиторию его объявления), когда вы парсете кино афишу , вы выступаете волонтерами по отношению к кино бизнесу , они в этом заинтересованы ( лишней реклама не бывает).
Но когда вы предлагаете парсеть уникальный контент - это уже батенька воровство.
Поэтому
letsgo:
В публикаторе есть возможность вставлять в материале полную ссылку на источник (опционно ставить или нет, активную или неактивную).
ссылка должна быть не опционально, а вот если купивший сделает ее опционально тогда ответственность уже на нем.
Как сложно все в этой песочнице.
+4
Василич Василич 7 лет назад #
Вам, простите, какое до этого дело? Оставьте демагогию в сторонке и оставьте разраба в покое, их и так по пальцам пересчитать.
Касательно закона, уникального контента и прочего, каждый сам будет решать что ему делать, не вам и никому другому, если сайтостроитель преступит закон то это его личные проблемы, не тс-а и не ваша, тс лишь создал инструмент, как в свое время был придуман нож, который, холодное оружие, чего же вы им пользуетесь? На любом движке можно поднять сайт с детской порнографией, что же теперь, давайте не писать цмс-ки?
Это не вопросы на который стоит отвечать, это рассуждение на тему того, что стоит или не стоит делать тс-у с неуместными советами.
0
vikont vikont 7 лет назад #
Категорически поддерживаю! Ставить ссылку на спарсерный контент или нет - это на совести того кто парсит!
Дело же разработчика дать такую возможность!

Если следовать логике Игорь ФИН, то всех производителей ножей топоров, вилок стамесок и пр. режуще-колющих предметов, надо привлекать к уголовной ответственности всякий раз как только какой то идиот его продукцией нанес кому либо увечие или убил.

Игорь ФИН вы же правовед и должны знать разницу между Преднамеренно не создал возможности выполнять закон и тем, что Портребитель сам игнорировал предоставленные ему возможности.
По большому счету, даже если бы парсер не имел возможности ставить ссылки на источник, то виноват был бы не разработчик, а пользователь! Так как именно он пользуясь такой программой должен следить за исполнением закона (например ставить ссылки вручную) или не пользоваться этой программой!
+3
&$!#% &$!#% 7 лет назад #
Игорь ФИН:
Когда вы парсете авито вы делаете хорошие дело , помогая людям ( увеличиваете аудиторию его объявления), когда вы парсете кино афишу , вы выступаете волонтерами по отношению к кино бизнесу , они в этом заинтересованы ( лишней реклама не бывает).

Какой-то однобокий подход у Вас. Помогаете людям, бла-бла-бла. Когда Вы парсите Авито, Вы может и помогаете людям, но делаете это как Робин Гуд - воруете на одном сайте, чтобы опубликовать на другом.
-3
Игорь ФИН Игорь ФИН 7 лет назад #
DK:
Когда Вы парсите Авито, Вы может и помогаете людям, но делаете это как Робин Гуд - воруете на одном сайте, чтобы опубликовать на другом.
вы не воруете а распространяете рекламу, а владельцами рекламы это только приветствуется (Иногда за это даже платят).
+3
&$!#% &$!#% 7 лет назад #
Те, кто добавляет объявления, может и приветствуют это. Но владельцы сайта Авито вряд ли. Потому что они сделали свой сайт, вложились в его продвижение, люди приходят к ним и добавляют объявления. А вы ничего не вложили в то, что бы люди добавляли объявления на вашем сайте. И просто напросто их воруете с сайта Авито.

Начинаю сомневаться в том, что

Игорь ФИН:
профессия у меня такая-правовед ( по диплому)

Согласно Вашей логике Робин Гуда, фраза

Игорь ФИН:
Но когда вы предлагаете парсить уникальный контент - это уже батенька воровство

не имеет никакого значения. Потому что любая уникальная статья написана кем бы то ни было для того, чтобы донести до пользователя какую-то информацию. И если Вы ее возьмете, украдете и разместите на Вашем сайте, то Вы сделаете доброе дело, ведь эту информацию получит большее количество людей. И на планете наступит мир. Все будут улыбаться и дарить друг другу подарки... В вашем сообщении одно предложение противоречит другому. Вы бы определились, можно все-таки воровать, или нельзя - можно брать ЛЮБОЙ контент на чужих сайтах или нет.
+2
Alexneva Alexneva 7 лет назад #
Когда вы парсете авито вы делаете хорошие дело , помогая людям
Уже из этого понятно какой Вы "правовед".
-3
Игорь ФИН Игорь ФИН 7 лет назад #
Проблемой закрытия ваших сайтов которые парсят с авито , пусть заниматься бизнес ( и юридическая служба авито), моя тема только авторский контент, и обижать авторов не нужно, и делать на маленьких свой бизнес тоже.
-3
Игорь ФИН Игорь ФИН 7 лет назад #
а по поводу Авито и прсенга - будет ли это публичная порка и дополнительная защита , не знаю в ближайшее время мы об этом узнаем , инвесторы недовольны. значит будут действия.
+3
Alexneva Alexneva 7 лет назад #
Проблемой закрытия ваших сайтов которые парсят с авито , пусть заниматься бизнес ( и юридическая служба авито)

Авито уже закрывает сайты?

а по поводу Авито и прсенга - будет ли это публичная порка и дополнительная защита

Авито еще и наказывает?

Действительно у нас перебор юристов.
+1
Lancelot Lancelot 7 лет назад #
Здравствуйте. Спасибо за подобную разработку, интересное решение.
У меня вопрос: а модет ли выполняться парсинг, если контент подгружается дополнительно через "загрузить ещё".
Конкретнее, если взять профиль инстаграмма. В коде выводятся 4 записи, а потом в код подгружается ещё по кнопке "загрузить ещё"
+3
letsgo letsgo 7 лет назад #
Большая просьба. Вопрос "а спарсит ли", если у вас есть желание проверить пишите сразу в скайп мне. Я дам демо аккаунт для вас, вы попробуете спарсить.

Некоторые сайты лучше брать по api - публикатор допускает это, написание правила под api стоит 500 рублей, есть экспорт и импорт правил, то есть раз написанное правило, можно добавить нажатием кнопки на любое количество сайтов и обмениваться друг с другом.

При написании публикатора, с учетом того, что мы давно работали в этом направлении, это 4 версия за 6 лет, но просто впервые вышла на публичность, так вот основное что было критерием: просто, универсально, максимально понятно каждому, возможность быстрого масштабирования.
+1
Dorimen Dorimen 7 лет назад #
В этом парсере можно как-то настраивать элементы, которые нужно парсить с каждого сайта или как? А если на сайте со временем поменялись элементы, то что?
+2
Jestik Jestik 7 лет назад #
поменять элементы и все
+1
letsgo letsgo 7 лет назад #
Если на сайте что то изменилось, вы просто редактируете правило, меняете название элемента и снова всё работает.
+3
lezginka.ru lezginka.ru 7 лет назад #
+
нужная вещь. когда будет видеоинсрукция может даже куплю :)
0
Pasechnik Pasechnik 7 лет назад #
DK:
Те, кто добавляет объявления, может и приветствуют это. Но владельцы сайта Авито вряд ли. Потому что они сделали свой сайт, вложились в его продвижение, люди приходят к ним и добавляют объявления. А вы ничего не вложили в то, что бы люди добавляли объявления на вашем сайте. И просто напросто их воруете с сайта Авито.
Первоначально база объявлений Авито была наполнена парсером сворована. Шведы не побрезгали сэкономить на первоначальном наполнении, вложив сэкономленное в рекламу. Мораль и бизнес - вещи не совместимые.
+1
&$!#% &$!#% 7 лет назад #
Да это не имеет никакого значения. Каждый делает так, как считает нужным. Суть в другом - человек начал рассказывать о том, что с одних сайтов можно парсить (это доброе дело), а с других нельзя (это воровство). Нужно как-то определяться - или везде можно, или нигде нельзя. Речь об этом была.
+1
Pasechnik Pasechnik 7 лет назад #
DK:
Нужно как-то определяться - или везде можно, или нигде нельзя. Речь об этом была.
Это в Бога можно верить или нет, "немножко" неуместно. Здесь же не все черно-белое, больше серое. Имхо.
В противном случае ворами можно назвать создателей множества стартапов в Интернете, даже у мапса Яндекса замечал копипаст с 2ГИС. Если те же авитовцы позаимствовали "немного" объявлений на начальном этапе наполнения проекта, от этого они ворами не становятся, просто так делается бизнес в этой сфере и УК РФ это не противоречит(ло). Другое дело украсть и опубликовать авторскую статью с фотографиями, над которой человек корпел неделю, а Вася Пупкин копипастит парсером и публикует от своего имени. У кого воровали, тот поймет - это очень обидно и больно, и практически всегда оставалось безнаказанным. Сейчас за чужие фотки можно элементарно попасть на кругленькую сумму, это радовало бы, но этим стали злоупотреблять мошенники... Закон не совершенен.

Воровать плохо, с этим не спорю.
+2
Alexprofi Alexprofi 7 лет назад #
К сожалению, без парсера сделать стартовое наполнение какой-либо доски объявлений не реально. Так что вещь нужная, но пока не совсем понятно как она работает. Я тоже подожду видеоинструкцию, потом буду принимать решение.
0
Pasechnik Pasechnik 7 лет назад #
Alexprofi:
К сожалению, без парсера сделать стартовое наполнение какой-либо доски объявлений не реально.
Так же, как нереально раскрутить это доску без пары миллионов зеленых инвестиций. Так что пусть воруют, для Авито это ничем не угрожает, если в свое время шведские парни смогли обойти зажравшихся конкурентов, новички им не помеха. Поздно пить боржоми)
+2
&$!#% &$!#% 7 лет назад #
Пара вопросов (парсер для двойки):

1. Можно ли к парсеру прикрутить Яндекс.Переводчик по их API - https://tech.yandex.ru/translate/ - результат парсинга сохраняется уже переведенным на выбранный язык. Также желательно настраивать перевод для полей - какие из них нужно переводить.

2. Можно ли парсить материалы в iMaps 2? Т.е., есть какая-то страница, которую нужно спарсить. На этой странице указан адрес и телефон. Нужно, чтобы эти данные записались в iMaps в разделе контакты. Проблема в том, что для того, чтобы маркер был установлен в нужном месте, нужно найти координаты по адресу. Если бы как-то автоматизировать этот процесс...

Спасибо.
+2
letsgo letsgo 7 лет назад #
Доброго дня. парсить можно в любой тип контента, я не пробовал imaps 2, но парсер видит все типы контента.

Перевод и синонимайз запланированы.
+1
&$!#% &$!#% 7 лет назад #
В тип контента - это понятно. Интересует именно поиск координат и установка маркера в нужном месте, когда известен только адрес. Понимаю, что это уже, скорее всего, не задача парсера. Да и вообще, это, скорее всего, из области фантастики. Но на всякий случай уточняю. Чудеса иногда бывают))

Перевод и синонимайз запланированы.
Не знаю, как это понимать. Т.е., всё понятно - запланированы. Сориентируйте пожалуйста хотя бы приблизительно, когда у Вас в планах подключить переводчик. Интересует только переводчик.
-1
letsgo letsgo 7 лет назад #
После окончания всех пожеланий и деталей, думаю в течении месяца двух подключать будем доп функционал.
0
Pasechnik Pasechnik 7 лет назад #
Присоединяюсь к просьбе DK, нужен Яндекс.Переводчик. Тема рабочая.
0
Jestik Jestik 7 лет назад #
В imaps 2 есть встроенная функция, которая ищет координаты по адресу и ставит маркер
0
Авакадо Авакадо 7 лет назад #
Когда видео опубликуете?

Еще от автора

UPDS универсальный парсер - полный безлимит
Итак господа, пришло время изменить политику работы с универсальным парсером UPDS.
Обновление UPDS 1.2.6 (автоперевод, авто гео кодирование и другое)
Доброго дня. Мы снова обновили универсальный парсер UPDS. Изменения коснулись обоих версий, как для 1, так и для 2 ветки.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.