"iGraber" - грабер контента. Складчина от maxisoft

По мотивам темы на форуме решил создать встречную тему на форуме а точнее организовать складчину на разработку универсального грабера контента под инстант 1.10.3

Функционал, который будет реализован:

1. Гибка поддержка провайдеров (источников) контента.
2. Управление и настройка прокси серверов.
3. Настройка и управление USER AGENT заголовками.
4. Чекер доступности прокси серверов перед началом парсинга.
5. Многопоточность, настройка кол-ва потоков для грабинга.
6. Крон задачи на проверку прокси серверов, и грабинг контента.
7. Настройка кол-во материалов для грабинга.
8. Заложена возможность использовать базу синонимайзеров, для попытки сделать более менее уникальный контент.
9. Настройки провайдеров — категории сайта источника, и т.д.
10. Настройка своего провайдера — быстрое создание правил грабинга, для своего источника. (пока не приоритетно)
11. Привязка категории провайдера к категориям сайта.
12. проверка наличия статьи по названию оригинала.

Стоимость разработки: 35 000 рублей.

Условия участия:
Стоимость компонента для участников складчины -

45$ по курсу ЦБ РФ на момент оплаты.

Стоимость компонента при условии покупки -

80$ по курсу ЦБ РФ на момент покупки.

Для перевода денежных средств:
WEBMONEY:
Z217208573771
R397639624315

Yandex Money:
41001675222473

Qiwi:
+380675592178

VISA CARD
4149437821657036 ПриватБанк Украина

в комментарии указать email, от кого и за что. Для тех кто делал оплату в терминалах, следует отписаться на почту support@themeinstant.ru с указанием реквизитов оплаты.

По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно. Компонент будет поддерживаться, как премиум, со своим багтрекером. Также будут разрабатываться правила для грабинга, по запросу тех пользователей кто уже купил или участвовал в складчине.

P.S> Чтобы снять вопросы про 2.x, сразу отвечу все будет но не раньше, того как разработчики а в частности R2, не опубликует хотя бы минимальную документацию для разработчиков, чтобы можно было делать компоненты и прочие вещи удовлетворяющим будущим требованиям, которые будут предъявлены разработчикам, чтобы быть опубликованными в офф каталоге дополнении, а пока не вижу смысла кричать о компонентах на 2 ветку.

По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно.

Хотелось бы уточнить по сколько складываемся?
Как и где будет проходить сбор денег?

Вся информация добавлена в начале темы.

Буду участвовать, во вторник переведу денюжку))

maxisoft, Можешь еще к пунктам добавить проверку статей? что бы одно и тоже не парсилось повторно.

maxisoft, ориентировочно по срокам разработки можете сказать?

Пара-тройка вопросов...
1. Грабер не по RSS?
2. Для каких категорий можно грабить (статьи, УК, объявления… не стандартные компоненты, к примеру объявления от site-stroi)
3. Для какого количества сайтов (интересует для 2-3 своих сайтов, так как на заказ не делаю),

Ramin, в каком-то грабере встречал проверку уникальности статьи выставляется в процентах. Если совпадает на 80% контент, то не бралась такая статья.

ара-тройка вопросов...
1. Грабер не по RSS?
2. Для каких категорий можно грабить (статьи, УК, объявления… не стандартные компоненты, к примеру объявления от site-stroi)
3. Для какого количества сайтов (интересует для 2-3 своих сайтов, так как на заказ не делаю),

1. грабер постараемся сделать универсальным, но изначально будем отказываться от RSS так как это не всегда возможно, и порой в RSS ленте может быть все свалено в кучу.
2. В начале будет только контент, но будет заложена возможность настройки провайдеров на другие компоненты.
3. Изначально планировали до 3 собственных сайтов, но всегда все обсуждаемо. — последнее касается только тех кто участвует в складчине, доп. бонус.

Ramin, в каком-то грабере встречал проверку уникальности статьи выставляется в процентах. Если совпадает на 80% контент, то не бралась такая статья.

не совсем понятно что и где вы будете проверять? просто любой текст если он проидексирован в сервисах проверки уже не будет уникальным так как вы его просто тупо грабите.? Если кто то сможет объяснить логически для чего данная проверка то будем смотреть.

мне интересно, если намечается грабеж парсинг объявлений с популярных площадок
такое будет?

10. Настройка своего провайдера — быстрое создание правил грабинга, для своего источника. (пока не приоритетно)

По моему это как раз самое приоритетное, а то все будут парсить одно и тоже.
Настройки для граббинга лучше делать с возможностью регулярок — универсальнее будет

И присоединюсь к вопросу по срокам

Если кто то сможет объяснить логически для чего данная проверка то будем смотреть.

Например, наполняем категорию из разных источников новостями на региональную тематику или просто на какую то узкую тематику, новости специфические и разные источники могут заимствовать друг у друга новости, и чтобы избежать повторов, чтобы не получалось так что в одной категории появилось сразу несколько идентичных материалов — вот для этого очень пригодилась бы такая проверка.

Вы проигнорировали вопрос по срокам, я здесь отписался не просто так, готов участвовать в складчине, но нужно больше информации.

Плюсом будет возможность генерации "предложений" по шаблону, а далее сгенерированное можно вставить и в метатеги и в тайтл и просто как доп абзац
Плюс еще нужна возможность настройки вывода html вида спарсенного, т.к. в базу то грузится сразу текст с разметкой

По срокам разработки, отвечу обобщенно. Исходя из того что есть по факту, это некому не нужно, все и так круты и все имеют. Всем кто оплатил, компонент будет доступен а также поддержка как я и обещал. Примерные сроки будут всем сообщены на емейлы указанные в платежах.

Лично я понял, что пытается донести maxisoft изначально, по этому вступил в складчину без заговорочно, и буду поддерживать дальнейшие разработки Макса, да и других разработчиков в развитии именно 1.10,3 ветки