Универсальный парсер публикатор для Instantcms 1 тестирование

Кто хочет тестировать:

Как только будет на двойку лично я не задержусь.

Я считаю лучше самому пробовать, чем читать что другие напишут.

Здесь абсолютно с вами согласен…

Даг талант, может быть и не удивит, но сделает все возможное.

Он умеет любую мысль превращать в код.

Первый день тестирования. Из деталей:

— Ютуб и контакт не указывают язык, поправлено
— Один сайт имеет очень запутанную структуру, разбираемся
— Опробованные 12 сайтов за сегодня — все парсились через 10 минут настроек, кроме указанного выше.

Кто тестирует пишите моменты, которые сделают работу скрипта удобнее и понятнее. Спасибо!

Кто тестирует пишите моменты, которые сделают работу скрипта удобнее и понятнее. Спасибо!

1. При настройке задания выяснилось, что вызов категорий может быть многократным и дубли не убираются
2. Все настройки заданий связаны с выделением необходимых тегов, что для неподготовленного человека вызывает серьезные затруднения.
3. Существует ручной режим парсинга отдельных статей, но нет возможности набрать список по всем источникам и отправить парсить по крону. Зачем? Чтобы на сайтах, где показывается дата и время публикации такой парсинг не выглядел свалившейся ниоткуда кучей. Актуально для Новостных сайтов
4. Неплохо бы иметь возможность редактировать статью до ее публикации
5. Пока не решен вопрос как создавать краткое описание статьи если его нет в исходной. Важно для сайтов где используется краткое описани в различных списках
6. Как стало известно, парсер будет не некой один раз купленной программой, а будет работать по подписке типа антивирусов и с учетом количества источников. Чем больше источников тем дороже. Конечно интересно знать сколько будет стоить один источник в год

2. Все настройки заданий связаны с выделением необходимых тегов, что для неподготовленного человека вызывает серьезные затруднения.

Я думаю разработчик видео инструкцию сделает, по другому они не смогут решить проблему иначе это удорожает разработку.

3. Существует ручной режим парсинга отдельных статей, но нет возможности набрать список по всем источникам и отправить парсить по крону. Зачем? Чтобы на сайтах, где показывается дата и время публикации такой парсинг не выглядел свалившейся ниоткуда кучей. Актуально для Новостных сайтов

НАсколько тестил, вроде по крону задачи увидел, там же и условия есть куда что складывать. Ручной режим может подправить время, брать с сайта(источника) или указывать свое. про это Вы имеете ввиду?

4. Неплохо бы иметь возможность редактировать статью до ее публикации

Да это было бы прекрасно, и гибче.

5. Пока не решен вопрос как создавать краткое описание статьи если его нет в исходной. Важно для сайтов где используется краткое описани в различных списках

Я думаю надо добавить функцию брать первые символы с обрезанием до целых слов, а лучше до точки. Как один из вариантов.

6. Как стало известно, парсер будет не некой один раз купленной программой, а будет работать по подписке типа антивирусов и с учетом количества источников. Чем больше источников тем дороже. Конечно интересно знать сколько будет стоить один источник в год

Это смущает, так как источники могут меняться, может только если нужна поддержка?

Как стало известно, парсер будет не некой один раз купленной программой, а будет работать по подписке типа антивирусов и с учетом количества источников. Чем больше источников тем дороже. Конечно интересно знать сколько будет стоить один источник в год

Как известно мне:

— Будет годовая подписка с ограничением количества и безлимит
— Будет доделываться доп функционал, авто перевод и синонимайз + все пожелания в будущем

Все пожелания будут учтены.

Существует ручной режим парсинга отдельных статей, но нет возможности набрать список по всем источникам и отправить парсить по крону.

Вы ошибаетесь. Любое количество источников и на каждый своя задача крон с полными настройками.

1. При настройке задания выяснилось, что вызов категорий может быть многократным и дубли не убираются

Вы не поняли суть. Правило настраивается 1 раз. Вы его настраиваете, добавляете и работаете уже не трогая его. Если вы тыкнете 5 раз кнопку получить категории то 5 раз их и получите. Просьба не писать не понимая сути, а сначала изучить. Не надо поверхностно ошибочных суждений.

Пока не решен вопрос как создавать краткое описание статьи если его нет в исходной

Для меня он например решен. Надо что делать? Думать и знать движок чуть чуть. Вы ставите ограничение на короткое описание в выводе, так что мешает туда поставить сам контент, ведь он все равно обрежется?) Повторюсь, надо думать и изучать.

vikont:
Существует ручной режим парсинга отдельных статей, но нет возможности набрать список по всем источникам и отправить парсить по крону.

Вы ошибаетесь. Любое количество источников и на каждый своя задача крон с полными настройками.

Немного не о том… Крон работает для всего источника, но как из всего источника выбрать отдельные статьи и только их парсить? Почему не натыкать ручками я уже писал. Еще конечно не помешают, а многим облегчат жизнь ФИЛЬТРЫ для статей и обрабатывать их кроном.

Для меня было бы важным в ручном режиме менять название статьи, но тогда я понимаю, что на дубликат не проверится? или адрес импортной статьи записывается и проверяется по нему?

ручном режиме менять название статьи, но тогда я понимаю, что на дубликат не проверится?

адрес статьи, там выбор проверки дублей — по названию и идентификатору.

letsgo, Тогда завтра еще 3 источника проверю, хочется еще на 2 версию.

Он умеет любую мысль превращать в код.

Первый день тестирования. Из деталей:

Проблема пожалуй в том, что пока не найду применения, но не сомневаюсь штука полезная, и как минимум буду знать где её найти...

На первой пытался сделать сайт, но при условии поднять нужно 50-80 притормозил…

но при условии поднять нужно 50-80

Что поднять?

Что поднять?

Вложить денег 50-80к, пока этот проект оставил....

orenza.ru/

По текущим вопросам.

1. Если нет названия или краткого описания будет добавлено truncate с количеством знаков. Это позволит например из самого текста создать название нужного размера и краткое описание нужного размера.

2. На 2 Инстант почти дописан, но после тестирования полного на 1 версии мы сразу все исправленные моменты перенесем на 2 и запустим его тестирование.

3. Будет добавлено редактирование материалы при добавлении вручную.

4. Синонимайзер и переводчик будут добавлены чуть позже.

5. Будет добавлен экспорт и импорт правил.

Тестируйте больше, это позволит создать совершенный компонент. Спасибо всем кто помогает, каждому кто протестирует более 10 источников — 50% скидка на первый год подписки.

По текущим вопросам.

Реакция на пожелания впечатляет! И это радует! Спасибо!

Много вопросов по цене.

Цена будет начинаться от 1000 рублей в год, зависеть цена будет от количества источников и правил. Источники включают в себя работу с API при необходимости, правила создаются на любой сайт.

Будет годовая подписка с бесплатными обновлениями и поддержкой. Также будет просто разовая покупка на количество источников с платной покупкой обновлений и доп функционала, то есть будет выбор.

Вопросы по контенту в материалах:

— Берет все фото и видео в материалах.
— Берёт другие страницы, то есть берёт с учетом пагинации страниц
— Будет и текстовое описание работы и видео уроки

Из вышенаписанного уже сделано:

— Можно формировать название из любой части контента с помощью truncate
— Возле кнопки настройки правило добавлено "Экспорт правила" вы можете даже тестовые потом к себе переносить или в будущем обмениваться правилами.

Сейчас идет работа над страницами подгружаемыми по аяксу.