Парсер контента с RSS лент

#1 16 июня 2016 в 23:28
Приветствую,

Представляю вашему вниманию компонент для ICMS 2.x версии, который собирает контент с RSS лент и добавляет к Вам на сайт.

Особенности:
Имеется ЧПУ. То есть адрес новости будет вида: example.com/news/213-kazahskie-siloviki-raportovali-o-zaderzhanii-vseh-terroristov-iz-aktobe.html
Возможно автоматизировать, активировав задание для CRON
Имеется возможность добавления нескольких источников. Запускаться они будут по очереди.
С донора берутся картинки, краткое описание, заголовок ну и сам текст статьи.
Возможно выбрать тип контента, то есть страницы/новости/фотоальбомы/статьи/посты/объявления.
Возможность выбора категории.

Так же я учитываю все пожелания, которые Вы можете написать в комментариях.

Для каждого сайта требуется обработчик, то есть индивидуальная настройка.

Для 1 сайта обработчик пишу бесплатно (при покупке компонента). Далее каждый обработчик стоит 350 рублей.

Стоимость этого незаменимого в хозяйстве компонента 500 руб.




Жду Ваших предложений!
#2 16 июня 2016 в 23:42
Админку скрины сделайте и оформите новость как следует.
#3 19 июня 2016 в 11:49

Жду Ваших предложений!

QBASIC
Интересует и очень! А как бы взглянуть на этого "кота в мешке"
Очень важно, что буду иметь в итоге работы парсера! Есть ли возможность выбора статей для парсинга или все подряд?
#4 20 июня 2016 в 17:11


Жду Ваших предложений!

QBASIC
Интересует и очень! А как бы взглянуть на этого "кота в мешке"
Очень важно, что буду иметь в итоге работы парсера! Есть ли возможность выбора статей для парсинга или все подряд?

vikont

На данный момент возможности выбрать статьи нет. Но это всегда можно сделать.Как Вы себе это представляете?
#5 20 июня 2016 в 19:17

На данный момент возможности выбрать статьи нет. Но это всегда можно сделать.Как Вы себе это представляете?

QBASIC
1. Встраивается переключатель автомат — ручная работа
2. Сканируются RSS ленты и получаем список статей в виде заголовок с активной ссылкой с разбивкой по каждому каналу
3. Просматривается список и отмечаются нужные статьи Желательно тут же отмечать в какую категорию отправить статью.
4. Список отправляется в задание и начинается парсинг
Приблизительно так.

Есть еще вопрос как парсятся галереи и видео! У меня используется компонент Video и Гуд галерея.
#6 20 июня 2016 в 20:36
Компонент допиливался по моей просьбе, работай доволен…
#7 22 июня 2016 в 21:47

Компонент допиливался по моей просьбе, работай доволен...

MaKo
Мне так не повезло! Несмотря на предварительные договоренности разработчик на ровном месте полез на конфликт… Бог ему судья!

Посмотрел парсинг… Ребята, если хотите загнать свой сайт в АГС, вперед, пользуйтесь этим парсером! В противном случае вам придется много работать ручками!
В общем парсер работает не плохо, выдает красивую публикацию, НО:
1. Первая картинка уходит в системное поле, а в Тело статьи не парсится
2. Все ссылки на фото смотрят на сайт источник! Фактически парсятся не фотки, а ссылки на них! Верная смерть сайту.
3. Логика обработчика страниц усложнена и для самостоятельного их создания нужен мануал, но разработчик его категорически не дает, надеясь на этом подзаработать! Если у вас 2-3 сайта источника — еще терпимо, а если 30-40??? Да по 150 р за каждый .....
В общем для меня выброшенные 500 р. Гладко начинал стелить, но твердо оказалось спать! Как то так.
Что удивительно, так и не понял какого лешего разраб полез на конфликт? Ведь предполагалась доработка (за деньги), а парсер брался до доработки для предварительного ознакомления! Единственная просьба была дать мануал по обработчику… в общем какой то не адекват!
#8 23 июня 2016 в 19:51


Компонент допиливался по моей просьбе, работай доволен...

MaKo
Мне так не повезло! Несмотря на предварительные договоренности разработчик на ровном месте полез на конфликт… Бог ему судья!

Посмотрел парсинг… Ребята, если хотите загнать свой сайт в АГС, вперед, пользуйтесь этим парсером! В противном случае вам придется много работать ручками!
В общем парсер работает не плохо, выдает красивую публикацию, НО:
1. Первая картинка уходит в системное поле, а в Тело статьи не парсится
2. Все ссылки на фото смотрят на сайт источник! Фактически парсятся не фотки, а ссылки на них! Верная смерть сайту.
3. Логика обработчика страниц усложнена и для самостоятельного их создания нужен мануал, но разработчик его категорически не дает, надеясь на этом подзаработать! Если у вас 2-3 сайта источника — еще терпимо, а если 30-40??? Да по 150 р за каждый .....
В общем для меня выброшенные 500 р. Гладко начинал стелить, но твердо оказалось спать! Как то так.
Что удивительно, так и не понял какого лешего разраб полез на конфликт? Ведь предполагалась доработка (за деньги), а парсер брался до доработки для предварительного ознакомления! Единственная просьба была дать мануал по обработчику… в общем какой то не адекват!

vikont

Если просят, то просят вежливо. Мне это не понравилось, вот я описывать и не захотел.

Сообщение, которое мне не понравилось:

Напишите, что за что отвечает в обработчике или будете держать в секрете?
Я предпочитаю ясность с самого начала! Чтоб потом ни на кого не обижаться!
Или я сам пишу остальные обработчики или не стоит строить наши отношения.
Ваш ответ ДА — описываете логику обработчика, НЕТ — возвращаете деньги


Для меня — дерзко.

И не надо больше писать Ваше мнение в ответ.
#9 23 июня 2016 в 21:44

Для меня — дерзко, для.
И не надо больше писать Ваше мнение в ответ.

vikont

Я предложил варианты отношений еще до того как вы прислали мне обработчик!
А когда прислали обработчик начался цирк с надуванием губ! Детский сад! Вы не понимаете нормальный человеческий язык!
А сюсюкаются в детском саду!
По большому счету вы меня просто кинули! Ведь я с самого начала предупреждал, что в том виде как есть ваш парсер меня не интересует! И попросил его для ознакомления, а не для использования! Вы выставили условие оплаты, я честно оплатил… С таким как вы нельзя вести никакого сотрудничества! В любой момент пробьет какая то шиза! Так что теперь я окончательно отказываюсь от каких либо доработок вашего парсера!
Надеюсь моих 500 рублей вам хватило на мороженное?!!! laugh
#10 25 июня 2016 в 09:11
Подскажите пожалуйста, чем Ваш компонент отличается от RSS Poster от kreator? Судя по скринам точная копия…
Я к тому что, есть смысл покупать компонент или просто заказать обработчики?
Сколько будут стоить обработчики для 10 сайтов?
#11 25 июня 2016 в 21:13


Подскажите пожалуйста, чем Ваш компонент отличается от RSS Poster от kreator? Судя по скринам точная копия…
Я к тому что, есть смысл покупать компонент или просто заказать обработчики?
Сколько будут стоить обработчики для 10 сайтов?

Александр Сергеевич

Этот парсер изначально писался, из-за нехватки возможностей парсера от креатора.

Отличия:
ЧПУ. У меня урл: example.com/news/213-kazahskie-siloviki-raportovali-o-zaderzhanii-vseh-terroristov-iz-aktobe.html
Урл у креатора: example.com/news/37c34e8efe8805e38a0f839dcecad0e3.html

Человеко понятный урл дает огромные преимущества в поисковиках.


Более продвинутые обработчики, поэтому у каждого модуля свои обработчики.
Это дает больше возможностей по обработке страниц. У креатора мы можем только взять со страницы контент и всё.
У меня сколько угодно можно заменять, вырезать, добавлять контент.

У креатора компонент не умеет брать картинки, то есть новости получаются без превью. (Вместо картинки — серый фон — очень не красиво!)
У меня, соответственно, берет.

Так же я в любой момент могу доработать компонент по Вашему желанию.

Для 10 доноров, 1 обработчик будет стоить 150 рублей.
#12 25 июня 2016 в 21:44
Все картинки из тела статьи парсятся?

Для 10 доноров, 1 обработчик будет стоить 150 рублей.

QBASIC
Можно подробнее, если до десяти доноров сколько стоит один обработчик? Если больше десяти? Есть ли мануал?
Могут ли главные две социалки быть донорами?
#13 25 июня 2016 в 21:53

Все картинки из тела статьи парсятся?

Иван Васильевич
Реально парсится только одна картинка, которая попадает в системное поле Изображения, а остальные просто ссылки на чужой сайт. Реально эти картинки у вас на сервере отсутствуют. То есть куча ссылок на внешний контент…
#14 25 июня 2016 в 23:32

Реально парсится только одна картинка, которая попадает в системное поле Изображения, а остальные просто ссылки на чужой сайт. Реально эти картинки у вас на сервере отсутствуют. То есть куча ссылок на внешний контент...

vikont
Вот это вот все грустно, ни одного парсера доведенного до ума.
#15 26 июня 2016 в 08:48


Реально парсится только одна картинка, которая попадает в системное поле Изображения, а остальные просто ссылки на чужой сайт. Реально эти картинки у вас на сервере отсутствуют. То есть куча ссылок на внешний контент...

vikont
Вот это вот все грустно, ни одного парсера доведенного до ума.

Иван Васильевич

Но компонент всегда можно дописать!

За доработку возьму 500 руб, так как на это требуется время, можете вместе эти деньги платить.


Для 10 доноров, 1 обработчик будет стоить 150 рублей.

QBASIC
Можно подробнее, если до десяти доноров сколько стоит один обработчик? Если больше десяти? Есть ли мануал?
Могут ли главные две социалки быть донорами?

Иван Васильевич

Социалки донорами быть не смогут, там защита. Там надо через API, а это уже другая история.

По обработчикам:
1 или 2 штуки — 350 руб
от 3 до 9 штук — 250 руб.
от 10 штук — 150 рублей за штуку.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.