RSS-агрегатор с парсингом и нейросетью

RSS-агрегатор с парсингом и нейросетью

Компонент, открытый исходный код

Контент InstantCMS 2.X

Автоматизируйте наполнение вашего сайта свежими новостями без ручного участия!

Этот мощный RSS-агрегатор для InstantCMS не просто собирает заголовки и анонсы, но и полностью парсит оригинальные статьи, загружая их на ваш сайт в полном объеме. Больше никаких «читать далее» с переходом на другой ресурс — ваши посетители получают весь текст сразу!

🔥 Ключевые возможности:
✔ Полный парсинг новостей – загрузка не только анонса, но и всего текста статьи с оригинального сайта.
✔ AI-обработка контента – уникальный функционал с использованием нейросетей для перефразирования, сокращения или адаптации текста под стиль вашего сайта.
✔ Автоматическая публикация – работает через Cron, добавляя новости по расписанию без вашего участия.
✔ Гибкие настройки – выбор источников, фильтрация по ключевым словам, настройка частоты обновлений.
✔ Поддержка изображений – загрузка и вставка картинок из оригинальных статей.

💡 Кому пригодится?
✅ Администраторам сайтов – больше не нужно вручную копировать новости, система сделает всё за вас.
✅ Контент-проектам – поддержание активной ленты публикаций без лишних затрат времени.
✅ Новостным порталам – автоматическое наполнение разделов актуальными материалами.

Сэкономьте время и усилия – позвольте плагину работать на вас!

Видео

Компонент RSS агрегатор с нейрос​етью для InstantCMS

[часть 2] Компонент RSS агр​егатор с нейросетью для InstantCMS

0
akokna akokna 9 дней назад #

Здравствуйте. Подскажите пожалуйста, в видео к компоненту показанно как гибко можно настроить автоматическую публикацию и разнос новостей по категориям. А возможно ли, также гибко, реализовать распределение материалов по полям ТК, в частности по полям местоположения. Хотя бы как то в полуавтомате.

Я имею ввиду, что большинство новостей имеют конкретную географическую привязку. Нет ли возможности реализовать привязку конкретного спарсенного материала, к значению компонента География?

Хотя бы на уровне предустановки По Умолчанию, вида Источник>>Регион.

0
My-InstantCMS.Ru My-InstantCMS.Ru 9 дней назад #

Здравствуйте, у вас есть пример такой rss ленты? попробую сначала парсить координаты, потом подумает как их сохранить

0
akokna akokna 9 дней назад #

Я не много не о том спросил, а может не так спросил. Нет, такой rss ленты, в которой есть поля с координатами и их можно было парсить в аналогичные поля на своем сайте, я незнаю.

Я про возможность привязки определенного регионального Источника новостей, к значению компонента География.

То есть, если беру новости с какого то ресурса Дагестана, например, то все новости с этого ресурса должны привязываться географически к Дагестану в компоненте География. И после публикации уже, эта привязка отображаеся на сайте, и доступна для фильтрации.

Покажу на примере своего сайта.

Источники новостей:Изображение

На сайте:Изображение

0
My-InstantCMS.Ru My-InstantCMS.Ru 9 дней назад #

Привязка к компоненту География — это когда добавлено поле Местоположение и при добавление новости выбирается город?

0
akokna akokna 9 дней назад #

В целом верно. Но наверное даже для ИИ, будет сложно автоматически распознать географическую принадлежность материала, и привязать новость к определенному городу.

Поэтому хотелось бы при настройке определенного источника, иметь возможность привязать все спарсенные материалы с данного источника к одной стране, региону, городу.

0
My-InstantCMS.Ru My-InstantCMS.Ru 9 дней назад #

Понял, возможно попозже попробую реализовать смену типа контента (сейчас в news парситься) и выбор полей из этого ТК

0
akokna akokna 9 дней назад #

Спасибо. В целом шикарная работа, особенно рерайт ИИ.

0
Николаич Николаич 7 дней назад #

А от имени какого пользователя будут размещаться новости? Кто будет прописываться в поле автор?

0
My-InstantCMS.Ru My-InstantCMS.Ru 7 дней назад #

Пользователь с ID=1

Попробую в следующих версиях сделать выбор автора или несколько авторов, при парсинге случайно выберется один

0
Николаич Николаич 6 дней назад #

Дело в том, что когда парсинг и рерайт контента происходит в автоматическом режиме, очень логично подключить функцию модерации. Потому как процесс наполнения надо контролировать. Соответственно, необходимо всех возможных авторов материалов поместить в отдельную группу, которой будет запрещена публикация без модерации.

То есть в идеале должна быть опция, которая определяет группу пользователей, а компонент уже например рандомно выберет автора из этой группы.

0
IamB IamB 6 дней назад #

То есть в идеале должна быть опция, которая определяет группу пользователей, а компонент уже например рандомно выберет автора из этой группы.

Слишком муторно в плане реализации. Список id пользователей, кто может публиковать — всё.

0
Николаич Николаич 6 дней назад #

Ну или так. 

0
SamsonovSP SamsonovSP 6 дней назад #

Да, с таким компонентом прямая дорога в бан поисковых систем, нейросети робот уже давно научился распознавать, такие сайты быстро исчезают из поиска, да что там говорить, они даже и не появляются ))

0
Zau4man Zau4man 6 дней назад #

Зависит от сайта. Есть 100500 сайтов, которые занимаются тем же самым. Если обеспечите трафик, хорошие поведенческие, репосты, закладки, юзабилити, будет счастье. 

+1
Николаич Николаич 6 дней назад #

Я думаю, рерайт от нейросети и рерайт сделанный в ручном режиме не сильно отличаются. По крайней мере не настолько, чтобы робот смог их различить.

+1
TOPg TOPg 5 дней назад #

изучаю компонент с момента выхода, проверяю тексты на ИИ в специальных сервисах, обнаруживает от 0 до 40% ИИ, в целом не плохо

0
Nikolay Nikolay 5 дней назад #

Можно хотя бы парочку примеров таких сайтов, что исчезли с поиска. Проводил эксперимент с ИИ, уникальность рерайта от 70% и выше, читаемость статьи лучше чем оригинал, когда его хорошо попросить, ИИ выдает сео заголовок, описание, мета теги и про H1 не забывает. Не для рекламы.

+4
maxisoft maxisoft 4 дня назад #

Вы немного не правы, не яндекс не гугл ничего не имеют против ИИ генерации текста, есть просто определенные набор критериев по которым данные тексты считаются мусорными и вот если текст попал под эти правила, тогда они и вылетают из поисковой выдачи. На текущий момент все зависит от качества заданного промта и модели ИИ которая пишет текст, я сейчас работаю с большими моделями тот же DS R1 и аналогичные (с GPT 4 пока жаба душит 200$ отдавать за 1М токенов) и все тексты которые генерирую проходят тесты по определению творчества ИИ. Скажу более рассказ на 50к символов написанный на DS R1 и после 10 итерации улучшении, прошел модерацию на. конкурсе Литреса (дальше не стал его продвигать так как не считаю что это честно), но это показатель того что пока нет 100% детекторов на ИИ тексты (все зависит от промтов и того кто их пишет)

Поэтому данному компоненту есть место быть а вот использовать его или нет, это выбор каждого. Парвизу респект что он пишет новые разработки на инстант.

0
TOPg TOPg 4 дня назад #

более того детекторы ИИ на один текст дают 40%, на другие 0%

0
pupsik pupsik 4 дня назад #

Google сам использует AI при запросах в поиске. Эт чтож он работает по принципу «Инспектор Гаи» — «Мне можно, а ей Нельзя!»?

+1
SamsonovSP SamsonovSP 4 дня назад #

Конечно, гугл это Америка, а как всем известно именно по такому принципу они действуют, мне можно а всем нельзя. Возможно в скором времени все поменяется, хотелось бы верить)

0
pupsik pupsik 4 дня назад #

Логично, так оно и есть, даже не поспоришь...

0
SamsonovSP SamsonovSP 4 дня назад #

Вы в интернете почитайте, как поисковые роботы борятся с текстами ИИ

0
TOPg TOPg 4 дня назад #

Изображениепример работы парсера в течении 5 дней, сайту 1 месяц

0
pupsik pupsik 4 дня назад #

А чем этот плагин связан с посещаемостью? За 5 дней поиск только думать начнет индексировать ли или нет.

0
TOPg TOPg 3 дня назад #

переходы на статьи опубликованные по ключам идут из поиска

0
RSN RSN 4 дня назад #

Да, с таким компонентом прямая дорога в бан поисковых систем, нейросети робот уже давно научился распознавать, такие сайты быстро исчезают из поиска, да что там говорить, они даже и не появляются ))

Посмотрите на ситуацию, немного под другим углом. Хорошо, что пока ещё с этим, как то пытаются бороться, а значит в цене труд по созданию контента и качественных сайтов.

А все генераторы контента, как и раньше нужны для определенных целей и задач.

Кого то  устраивает, а кого то нет… А кому то просто интересно, что получится).

+1
My-InstantCMS.Ru My-InstantCMS.Ru 20 часов назад #

Обновил компонент.

Что нового?

  • Выбор автора публикации
  • Поддержка php 8.4
  • Мальтиязычные поля игнорируется
  • Исправление багов
  • Другие мелкие доработки

Изображение

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.