"iGraber" - грабер контента. Складчина от maxisoft

iGraber - Универсальный грабер

#16 17 мая 2014 в 17:30
1. Макс, я так понял писать компонент ты будешь? или есть команда-исполнитель?
2. ограничение в сайтах и открытость кода?
#17 18 мая 2014 в 00:10
А сколько будет стоить грабер на неограниченное число доменов, или это невозможно?
#18 18 мая 2014 в 15:19

А сколько будет стоить грабер на неограниченное число доменов, или это невозможно?

Keep
все обсуждаемо лично с каждым :)

1. Макс, я так понял писать компонент ты будешь? или есть команда-исполнитель?
2. ограничение в сайтах и открытость кода?

Blackman-st

1. Я технический координатор и постановщик задачи, в команде есть новые люди они будут заниматься чистым кодингом.
2. планировали сделать ограничение на 3 сайта, но как открытость кода и количество доступных доменов, всегда готовы обсудить персонально.
#19 18 мая 2014 в 15:21

Если честно, то не понимаю смысла каких-либо грабберов.

Николаич
Сколько людей столько и мнений, то что Вам кажется не нужным многим нужно, поэтому это личное дело каждого использовать граберы или нет. Я не буду никого убеждать в правильности или в обратном.
#20 18 мая 2014 в 15:48
Грабер контента с какими компонентами будет работать(куда можно загрузить информацию)?
#21 19 мая 2014 в 10:48

Грабер контента с какими компонентами будет работать(куда можно загрузить информацию)?

malanas
Отвечал на аналогичный вопрос выше, в первой версии будет только статьи, но система будет построена для работы со всеми компонентами, так как все части будут вынесены в файлы (provider) которые будут реализовывать механизмы парсинга, и записи данных. Пример если будет provider Яндекс карты, то логично что он будет работать с instantmaps.

Не могу гарантировать на 100% что это будет в первой версии, но постараемся сделать это будет парсинг 2gis в инстантмапс.
#22 19 мая 2014 в 10:58
т.е. источники самостоятельно настраивать нельзя будет?
#23 19 мая 2014 в 11:18

т.е. источники самостоятельно настраивать нельзя будет?

Alexander
Можно будет делать полностью свои provider для парсинга, для статей будет скорее универсальный для простоты настройки, не продвинутыми пользователя.
#24 19 мая 2014 в 12:55
maxisoft, все же хотелось бы видеть компонент без ограничений для своих сайтов, по возможности конечно.
Ключ лицензии будет, уверен, но чтобы подходил для любого моего сайта. А для предотвращения распространения от нерадивых, возможность заблочить ключ автором, тоесть вами. Конечно, если есть такая возможность.
Вчера прочитал сообщения на site-stroi.ru что кто-то слил компонент… то есть по индивидуальным ключам можно было бы отслеживать кто слил инфу в сеть (преднамеренно или нет — показало бы следствие).
Но наверное такое бы усложнило бы разработку.
Как вариант — личный кабинет для избранных с возможностью генерации ключей для своих доменов по аналогии с iVideo.
Почему спрашиваю — думаю делать сайты сателиты для продвижения основного сайта, и слишком дорого на каждый ставить ваш парсер) Хоть и можно наполнять на локальном сервере и переносить затем, но тоже мороки тут...
Я не настаиваю конечно же, но хотелось бы знать к чему, в данном вопросе, вы склоняетесь.
#25 19 мая 2014 в 13:22

Я не настаиваю конечно же, но хотелось бы знать к чему, в данном вопросе, вы склоняетесь.

PolarOne
Мы склоняемся к тому что нужно сделать максимальный бонус тем кто участвовал в складчине, поэтому для складчиков компонент будет без ограничении, версия для продажи будет иметь ограничение на 3 домена. Мы посчитали это самым лучшим вариантом, чтобы те кто участвовал в складичине получили максимальный комфорт и удовлетворение. :)

Хотел бы затронуть тему источников, ждем от вас предложении по сайтам которые с вашей точки зрения стоит включить в первую очередь.
#26 19 мая 2014 в 13:38
maxisoft, очень порадовали своим сообщением (так как я в складчине))
Предложение по источника, которыми пользуюсь я в качестве новостных по России и Украине
Но, мне кажется, если будет конструктор делать свои provider, то можно включить несколько базовых только. В том же грабере от CozaNostra волей не волей, но пришлось немного освоить регулярку и наклепать себе обработчиков различных, а с инструкцией или полуавтоматическим помощником особой сложности это не составит. (Под "помощником" имею в виду выставления условий парсинга как в приложении content downloader — мне кажется, там вполне удобно сделано). К тому же если у компонента еще будет свой закрытый форум, вполне можно там делится своими наработками, советами и тд.
#27 19 мая 2014 в 14:19

К тому же если у компонента еще будет свой закрытый форум, вполне можно там делится своими наработками, советами и тд.

PolarOne

Это будет само собой, без этого смысла нет писать компонент, все делается по уровню iVideo. Свои форум, свой баг трекер и все остальные дела.
#28 19 мая 2014 в 16:14

(provider) которые будут реализовывать механизмы парсинга

maxisoft
(provider) будут в виде бесплатных дополнений или их нужно будет покупать дополнительно? и хотелось бы знать есть ли ограничения складчины по времени(когда закончится)?
#29 19 мая 2014 в 16:26

(provider) будут в виде бесплатных дополнений или их нужно будет покупать дополнительно? и хотелось бы знать есть ли ограничения складчины по времени(когда закончится)?

malanas

провайдеры будут все открыты, их можно будет писать самим, сложного думаю там будет не много, хотя все будет зависить от сайта который будет им обрабатываться, платы за них не будет.
Срок складчины ограничен только готовностью компонента, как только он будет готов складчина будет закрыта.
#30 21 мая 2014 в 10:13
а кто складчину делает и по какой сумме?
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.