"iGraber" - грабер контента. Складчина от maxisoft

iGraber - Универсальный грабер

 
Посетитель
small user social cms
МедальКубок зрительских симпатийПочетный донор проекта
Сообщений: 820
По мотивам темы на форуме решил создать встречную тему на форуме а точнее организовать складчину на разработку универсального грабера контента под инстант 1.10.3

Функционал, который будет реализован:

1. Гибка поддержка провайдеров (источников) контента.
2. Управление и настройка прокси серверов.
3. Настройка и управление USER AGENT заголовками.
4. Чекер доступности прокси серверов перед началом парсинга.
5. Многопоточность, настройка кол-ва потоков для грабинга.
6. Крон задачи на проверку прокси серверов, и грабинг контента.
7. Настройка кол-во материалов для грабинга.
8. Заложена возможность использовать базу синонимайзеров, для попытки сделать более менее уникальный контент.
9. Настройки провайдеров - категории сайта источника, и т.д.
10. Настройка своего провайдера - быстрое создание правил грабинга, для своего источника. (пока не приоритетно)
11. Привязка категории провайдера к категориям сайта.
12. проверка наличия статьи по названию оригинала.

Стоимость разработки: 35 000 рублей.

Условия участия:
Стоимость компонента для участников складчины -

45$ по курсу ЦБ РФ на момент оплаты.

Стоимость компонента при условии покупки -

80$ по курсу ЦБ РФ на момент покупки.

Для перевода денежных средств:
WEBMONEY:
Z217208573771
R397639624315

Yandex Money:
41001675222473

Qiwi:
+380675592178

VISA CARD
4149437821657036 ПриватБанк Украина

в комментарии указать email, от кого и за что. Для тех кто делал оплату в терминалах, следует отписаться на почту [email protected] с указанием реквизитов оплаты.


По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно. Компонент будет поддерживаться, как премиум, со своим багтрекером. Также будут разрабатываться правила для грабинга, по запросу тех пользователей кто уже купил или участвовал в складчине.

P.S> Чтобы снять вопросы про 2.x, сразу отвечу все будет но не раньше, того как разработчики а в частности R2, не опубликует хотя бы минимальную документацию для разработчиков, чтобы можно было делать компоненты и прочие вещи удовлетворяющим будущим требованиям, которые будут предъявлены разработчикам, чтобы быть опубликованными в офф каталоге дополнении, а пока не вижу смысла кричать о компонентах на 2 ветку.
Редактировалось: 5 раз (Последний: 16 мая 2014 в 21:50)
Компоненты, модули, шаблоны, разработка на заказ - широкий выбор всего
Посетитель
small user social cms
МедальКубок зрительских симпатий
Сообщений: 557
maxisoft:
По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно.
Хотелось бы уточнить по сколько складываемся?
Как и где будет проходить сбор денег?
Редактировалось: 1 раз (Последний: 16 мая 2014 в 14:02)
Реклама
cms
Посетитель
small user social cms
МедальКубок зрительских симпатийПочетный донор проекта
Сообщений: 820
Вся информация добавлена в начале темы.
Компоненты, модули, шаблоны, разработка на заказ - широкий выбор всего
Посетитель
small user social cms
Медаль
Сообщений: 479
Буду участвовать, во вторник переведу денюжку))
Посетитель
small user social cms
МедальКубок зрительских симпатий
Сообщений: 557
maxisoft, Можешь еще к пунктам добавить проверку статей? что бы одно и тоже не парсилось повторно.
Посетитель
small user social cms
Медаль
Сообщений: 471
maxisoft, ориентировочно по срокам разработки можете сказать?
Посетитель
small user social cms
Медаль
Сообщений: 446
Пара-тройка вопросов...
1. Грабер не по RSS?
2. Для каких категорий можно грабить (статьи, УК, объявления.. не стандартные компоненты, к примеру объявления от site-stroi)
3. Для какого количества сайтов (интересует для 2-3 своих сайтов, так как на заказ не делаю),
Просто так...
Посетитель
small user social cms
Медаль
Сообщений: 446
Ramin, в каком-то грабере встречал проверку уникальности статьи выставляется в процентах. Если совпадает на 80% контент, то не бралась такая статья.
Просто так...
Посетитель
small user social cms
МедальКубок зрительских симпатийПочетный донор проекта
Сообщений: 820
PolarOne:
ара-тройка вопросов...
1. Грабер не по RSS?
2. Для каких категорий можно грабить (статьи, УК, объявления.. не стандартные компоненты, к примеру объявления от site-stroi)
3. Для какого количества сайтов (интересует для 2-3 своих сайтов, так как на заказ не делаю),

1. грабер постараемся сделать универсальным, но изначально будем отказываться от RSS так как это не всегда возможно, и порой в RSS ленте может быть все свалено в кучу.
2. В начале будет только контент, но будет заложена возможность настройки провайдеров на другие компоненты.
3. Изначально планировали до 3 собственных сайтов, но всегда все обсуждаемо. - последнее касается только тех кто участвует в складчине, доп. бонус.

PolarOne:
Ramin, в каком-то грабере встречал проверку уникальности статьи выставляется в процентах. Если совпадает на 80% контент, то не бралась такая статья.

не совсем понятно что и где вы будете проверять ? просто любой текст если он проидексирован в сервисах проверки уже не будет уникальным так как вы его просто тупо грабите.? Если кто то сможет объяснить логически для чего данная проверка то будем смотреть.
Редактировалось: 1 раз (Последний: 16 мая 2014 в 21:48)
Компоненты, модули, шаблоны, разработка на заказ - широкий выбор всего
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4296
мне интересно, если намечается грабеж парсинг объявлений с популярных площадок
такое будет ?
Посетитель
small user social cms
Медаль
Сообщений: 181
maxisoft:
10. Настройка своего провайдера - быстрое создание правил грабинга, для своего источника. (пока не приоритетно)
По моему это как раз самое приоритетное, а то все будут парсить одно и тоже.
Настройки для граббинга лучше делать с возможностью регулярок - универсальнее будет

И присоединюсь к вопросу по срокам
Продай свой сайт | Купи себе сайт!
Рутина на аутсорс...
Посетитель
small user social cms
Медаль
Сообщений: 471
maxisoft:
Если кто то сможет объяснить логически для чего данная проверка то будем смотреть.
Например, наполняем категорию из разных источников новостями на региональную тематику или просто на какую то узкую тематику, новости специфические и разные источники могут заимствовать друг у друга новости, и чтобы избежать повторов, чтобы не получалось так что в одной категории появилось сразу несколько идентичных материалов - вот для этого очень пригодилась бы такая проверка.

Вы проигнорировали вопрос по срокам, я здесь отписался не просто так, готов участвовать в складчине, но нужно больше информации.
Посетитель
small user social cms
Медаль
Сообщений: 181
Плюсом будет возможность генерации "предложений" по шаблону, а далее сгенерированное можно вставить и в метатеги и в тайтл и просто как доп абзац
Плюс еще нужна возможность настройки вывода html вида спарсенного, т.к. в базу то грузится сразу текст с разметкой
Продай свой сайт | Купи себе сайт!
Рутина на аутсорс...
Посетитель
small user social cms
МедальКубок зрительских симпатийПочетный донор проекта
Сообщений: 820
По срокам разработки, отвечу обобщенно. Исходя из того что есть по факту, это некому не нужно, все и так круты и все имеют. Всем кто оплатил, компонент будет доступен а также поддержка как я и обещал. Примерные сроки будут всем сообщены на емейлы указанные в платежах.
Компоненты, модули, шаблоны, разработка на заказ - широкий выбор всего
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 3419
Лично я понял, что пытается донести maxisoft изначально, по этому вступил в складчину без заговорочно, и буду поддерживать дальнейшие разработки Макса, да и других разработчиков в развитии именно 1.10,3 ветки
Дизайн для Инстант = Я зарабатываю тут =
= Уроки для Конструктора тем =
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.