maxisoft

maxisoft

И снова здравствуйте, instantcms.dev — будет интересно
+1939
Репутация
12112
Рейтинг
#1 "iGraber" - грабер контента. Складчина от maxisoft 23 мая 2014 в 17:43

Только вот бывает что ни ID ни классов не бывает в блоке.

PolarOne
Покажите пример сайта, который вы считаете сложным и который попадает под определение данное вами. Просто чтобы сразу учесть такой момент.
Приведенный мной пример носит только информативный характер, все возможности описания селекторов будет в документации. Если что не будет получаться будем думать как это реализовать.
#2 "iGraber" - грабер контента. Складчина от maxisoft 23 мая 2014 в 15:44

"заткнись и подожди коммюнике" — перестану вас отвлекать от дел)

PolarOne
Так я точно не скажу :)

если в двух словах, каждый провайдер будет иметь некоторые специфичные настройки, например перечень разделов из которых можно будет парсить, второй момент это (регулярка) ссылок на статьи, (регулярка) пагинации. исходя из это парсер получает массив ссылок на статьи, и получает массив ссылок на страницы раздела. дальше все парсится.

Регулярка в скобках по причине того что это не та регулярка которая есть в понимании страшных кракозябр и прочих замудренных символов. Для наглядность приведу пример таких регулярок для news.liga.net/all/politics/

регулярка для получения ссылок на статьи: .last_news_list .title > a
регулярка для получения страниц пагинации: .navigation a

Думаю не сложно?

ну и для полного понимая регулярка для парсинга новости: news.liga.net/news/politics/1849732-v_artemovske_separatisty_dnr_zakhvatili_gorodskoy_sovet.htm

заголовок: .news_detail > h1
дата: .news_detail > .date.left
анонс: .news_detail > .annotation
фото: .news_detail > .img img
новость: .news_detail > .text _ga1_on_
автор: .news_detail > .author

Вот так будет все выглядеть.
#3 "iGraber" - грабер контента. Складчина от maxisoft 23 мая 2014 в 13:59

Еще вопросик (хотябы намекните) как будут ссылки конечных страниц-статей и раздела определяться? Для меня это вечная проблема с парсингом ссылок.

PolarOne
не совсем понял вопрос.
#4 "iGraber" - грабер контента. Складчина от maxisoft 23 мая 2014 в 09:05

Предложение.
Сверка идентичности по названию.
Сверка идентичности по содержанию.

PolarOne

Предложение не совсем удобное, изначально хотели сделать проверку только по титлу, но отказались, так как есть вероятность использовать синонимайзер, для псевдо уникальности контента, то такая проверка не даст результата, поэтому скорее всего мы будем делать небольшую избыточность базы а точнее будет таблица типа лога где будет информация, источник + названия первоисточника (может быть еще какой то уникальный id для контента), таблица будет очищаться по крону чтобы не захламлять сильно систему. Примерно так.
#5 Новостной шаблон городского типа для инстант 20 мая 2014 в 18:00

Андрей5, Попробуйте тут посмотреть — сайт/admin/index.php?view=components&do=config&link=content

rdimrs
так а какой смысл там ему смотреть, проще исправить шаблон модуля, он исправит размер превью и на сайте все поползет в других местах.
#6 Новостной шаблон городского типа для инстант 20 мая 2014 в 17:46

установил это дополнение — themeinstant.ru/shop/dorabotki/mnozhestvennyi-vybor-kategorii-dlja-stat-38.html

Андрей5
могу сказать что данное дополнение не как не относится к файлам шаблона в части модуля, вот скрин вашего шаблона Иллюстрация
вместо small должно стоять medium проверьте файл mod_latest.tpl в папке со шаблоном. косяк будет именно в нем.
#7 Как обновить Jquery? 20 мая 2014 в 10:12
Обновить можно любую версию, для 1.9 самый быстрый вариант озвучил SJen, это заменить саму библиотеку добавить еще либо в шаблоне либо в ядре jquery-migrate.min.js, исправить пару файлов системы js, ну и конечно же лучше всего обновить плагины которые используется, например лайтбокс (хотя это уже не принципиальная задача). Если система перепиленная нужно просто внимательно посмотреть на совместимость используемые плагины, и по возможности обновиться до актуальных версии. Могу сказать по опыту что каким бы не был перепиленный проект обновить jquery займет не больше 2-3 часов.
#8 Помогите с вопросом 19 мая 2014 в 18:23
А чего надеяться то? суть ошибки же уже написали вам в отладочной информации, ваш хостер скорее всего обновил php при этом библиотеки для работы с mysql остались старыми, поэтому и ругается что версии клиентской части и серверной отличаются "minor version mismatch". Дергайте хостера, обычно за такое можно попросить компенсацию за моральный ущерб.
#9 "iGraber" - грабер контента. Складчина от maxisoft 19 мая 2014 в 16:26

(provider) будут в виде бесплатных дополнений или их нужно будет покупать дополнительно? и хотелось бы знать есть ли ограничения складчины по времени(когда закончится)?

malanas

провайдеры будут все открыты, их можно будет писать самим, сложного думаю там будет не много, хотя все будет зависить от сайта который будет им обрабатываться, платы за них не будет.
Срок складчины ограничен только готовностью компонента, как только он будет готов складчина будет закрыта.
#10 "iGraber" - грабер контента. Складчина от maxisoft 19 мая 2014 в 14:19

К тому же если у компонента еще будет свой закрытый форум, вполне можно там делится своими наработками, советами и тд.

PolarOne

Это будет само собой, без этого смысла нет писать компонент, все делается по уровню iVideo. Свои форум, свой баг трекер и все остальные дела.
#11 "iGraber" - грабер контента. Складчина от maxisoft 19 мая 2014 в 13:22

Я не настаиваю конечно же, но хотелось бы знать к чему, в данном вопросе, вы склоняетесь.

PolarOne
Мы склоняемся к тому что нужно сделать максимальный бонус тем кто участвовал в складчине, поэтому для складчиков компонент будет без ограничении, версия для продажи будет иметь ограничение на 3 домена. Мы посчитали это самым лучшим вариантом, чтобы те кто участвовал в складичине получили максимальный комфорт и удовлетворение. :)

Хотел бы затронуть тему источников, ждем от вас предложении по сайтам которые с вашей точки зрения стоит включить в первую очередь.
#12 СРОЧНО - как понизить нагрузку на сайт 19 мая 2014 в 13:18
На эту тему можно долго дискутировать.
#13 "iGraber" - грабер контента. Складчина от maxisoft 19 мая 2014 в 11:18

т.е. источники самостоятельно настраивать нельзя будет?

Alexander
Можно будет делать полностью свои provider для парсинга, для статей будет скорее универсальный для простоты настройки, не продвинутыми пользователя.
#14 "iGraber" - грабер контента. Складчина от maxisoft 19 мая 2014 в 10:48

Грабер контента с какими компонентами будет работать(куда можно загрузить информацию)?

malanas
Отвечал на аналогичный вопрос выше, в первой версии будет только статьи, но система будет построена для работы со всеми компонентами, так как все части будут вынесены в файлы (provider) которые будут реализовывать механизмы парсинга, и записи данных. Пример если будет provider Яндекс карты, то логично что он будет работать с instantmaps.

Не могу гарантировать на 100% что это будет в первой версии, но постараемся сделать это будет парсинг 2gis в инстантмапс.
#15 СРОЧНО - как понизить нагрузку на сайт 19 мая 2014 в 10:45

Черт все равно сайт иногда часто зависает, незнаю движок виноват или сервер.

Alon

Alon я уже вам писал чтобы решить проблему нужно полностью провести анализ нагрузки mysql и переписать все тяжелые запросы. Все остальное это просто баловство, ну конечно если не поставите себе VDS с 16ГБ оперативки и будет крутить там один сайт.
🍪Мы используем файлы cookie для работы сайта. Читать подробнее.