Сколько людей столько и мнений, то что Вам кажется не нужным многим нужно, поэтому это личное дело каждого использовать граберы или нет. Я не буду никого убеждать в правильности или в обратном.Если честно, то не понимаю смысла каких-либо грабберов.
maxisoft
И снова здравствуйте, instantcms.dev — будет интересно
+1939
Репутация
12112
Рейтинг
все обсуждаемо лично с каждым :)А сколько будет стоить грабер на неограниченное число доменов, или это невозможно?
1. Макс, я так понял писать компонент ты будешь? или есть команда-исполнитель?
2. ограничение в сайтах и открытость кода?
1. Я технический координатор и постановщик задачи, в команде есть новые люди они будут заниматься чистым кодингом.
2. планировали сделать ограничение на 3 сайта, но как открытость кода и количество доступных доменов, всегда готовы обсудить персонально.
По срокам разработки, отвечу обобщенно. Исходя из того что есть по факту, это некому не нужно, все и так круты и все имеют. Всем кто оплатил, компонент будет доступен а также поддержка как я и обещал. Примерные сроки будут всем сообщены на емейлы указанные в платежах.
ара-тройка вопросов...
1. Грабер не по RSS?
2. Для каких категорий можно грабить (статьи, УК, объявления… не стандартные компоненты, к примеру объявления от site-stroi)
3. Для какого количества сайтов (интересует для 2-3 своих сайтов, так как на заказ не делаю),
1. грабер постараемся сделать универсальным, но изначально будем отказываться от RSS так как это не всегда возможно, и порой в RSS ленте может быть все свалено в кучу.
2. В начале будет только контент, но будет заложена возможность настройки провайдеров на другие компоненты.
3. Изначально планировали до 3 собственных сайтов, но всегда все обсуждаемо. — последнее касается только тех кто участвует в складчине, доп. бонус.
Ramin, в каком-то грабере встречал проверку уникальности статьи выставляется в процентах. Если совпадает на 80% контент, то не бралась такая статья.
не совсем понятно что и где вы будете проверять? просто любой текст если он проидексирован в сервисах проверки уже не будет уникальным так как вы его просто тупо грабите.? Если кто то сможет объяснить логически для чего данная проверка то будем смотреть.
Для чего и что проверять?
Вся информация добавлена в начале темы.
отписался в теме складчины от меня.
По мотивам темы на форуме решил создать встречную тему на форуме а точнее организовать складчину на разработку универсального грабера контента под инстант 1.10.3
2. Управление и настройка прокси серверов.
3. Настройка и управление USER AGENT заголовками.
4. Чекер доступности прокси серверов перед началом парсинга.
5. Многопоточность, настройка кол-ва потоков для грабинга.
6. Крон задачи на проверку прокси серверов, и грабинг контента.
7. Настройка кол-во материалов для грабинга.
8. Заложена возможность использовать базу синонимайзеров, для попытки сделать более менее уникальный контент.
9. Настройки провайдеров — категории сайта источника, и т.д.
10. Настройка своего провайдера — быстрое создание правил грабинга, для своего источника. (пока не приоритетно)
11. Привязка категории провайдера к категориям сайта.
12. проверка наличия статьи по названию оригинала.
Стоимость компонента для участников складчины -
WEBMONEY:
Z217208573771
R397639624315
Yandex Money:
41001675222473
Qiwi:
+380675592178
VISA CARD
4149437821657036 ПриватБанк Украина
По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно. Компонент будет поддерживаться, как премиум, со своим багтрекером. Также будут разрабатываться правила для грабинга, по запросу тех пользователей кто уже купил или участвовал в складчине.
P.S> Чтобы снять вопросы про 2.x, сразу отвечу все будет но не раньше, того как разработчики а в частности R2, не опубликует хотя бы минимальную документацию для разработчиков, чтобы можно было делать компоненты и прочие вещи удовлетворяющим будущим требованиям, которые будут предъявлены разработчикам, чтобы быть опубликованными в офф каталоге дополнении, а пока не вижу смысла кричать о компонентах на 2 ветку.
Функционал, который будет реализован:
1. Гибка поддержка провайдеров (источников) контента.2. Управление и настройка прокси серверов.
3. Настройка и управление USER AGENT заголовками.
4. Чекер доступности прокси серверов перед началом парсинга.
5. Многопоточность, настройка кол-ва потоков для грабинга.
6. Крон задачи на проверку прокси серверов, и грабинг контента.
7. Настройка кол-во материалов для грабинга.
8. Заложена возможность использовать базу синонимайзеров, для попытки сделать более менее уникальный контент.
9. Настройки провайдеров — категории сайта источника, и т.д.
10. Настройка своего провайдера — быстрое создание правил грабинга, для своего источника. (пока не приоритетно)
11. Привязка категории провайдера к категориям сайта.
12. проверка наличия статьи по названию оригинала.
Стоимость разработки: 35 000 рублей.
Условия участия:Стоимость компонента для участников складчины -
45$ по курсу ЦБ РФ на момент оплаты.
Стоимость компонента при условии покупки -80$ по курсу ЦБ РФ на момент покупки.
Для перевода денежных средств:WEBMONEY:
Z217208573771
R397639624315
Yandex Money:
41001675222473
Qiwi:
+380675592178
VISA CARD
4149437821657036 ПриватБанк Украина
в комментарии указать email, от кого и за что. Для тех кто делал оплату в терминалах, следует отписаться на почту support@themeinstant.ru с указанием реквизитов оплаты.
По факту разработки все кто участвовал в складчине будут получать обновления в рамках ветки 1.10.х бесплатно. Компонент будет поддерживаться, как премиум, со своим багтрекером. Также будут разрабатываться правила для грабинга, по запросу тех пользователей кто уже купил или участвовал в складчине.
P.S> Чтобы снять вопросы про 2.x, сразу отвечу все будет но не раньше, того как разработчики а в частности R2, не опубликует хотя бы минимальную документацию для разработчиков, чтобы можно было делать компоненты и прочие вещи удовлетворяющим будущим требованиям, которые будут предъявлены разработчикам, чтобы быть опубликованными в офф каталоге дополнении, а пока не вижу смысла кричать о компонентах на 2 ветку.
сомнительное утверждение.
самые лучшие доки — открыть код и посмотреть где и что.
Ну не все такие гении как ВЫ. Если сможете дайте мне информацию по манифесту для инсталятора! а то это просто треп словесный.
Уважаемый Kir реально уже поднадоедает что в каждой теме гадят, по существу что нибудь скажите, а лучше всего сделали бы тему и описали все возможности двойки, если все просто так почему форум полон тем с вопросами как сделать что то на 2.0? Если считаете себя мега экспертом, просто не нужно гонять ветер словами, сделайте простой компонент и выложите тут. а фраза "печально если по вашему "Ms дело говорит" " от вас это вообще полный бред.
Отписался Ramin в личку, народ не гоните коней, никто не будет ничего делать пока не будет доков для разработчиков. О каких складчинах сейчас можно вести речь, если кроме R2 никто не знает системы.
Как ответил R2 если убрать логи и не обращать на деприкеты то будет работать, но если под шаманить малек, то 1.9 прекрасно работает и на 5.5 проверено на рабочих сайтах клиентов.😊 тут все зависит от вас, можете найти хостера на 5.2 и поставить туда сайты, но пройдет полгода будете снова бегать искать, куда их перенести. второй вариант обновить, но не думаю что это будет дешево да и скорее всего будут возникать проблемы которые нужно будет решать. 3 вариант просто проапдейти именно системы, просто убрать деприкейт функции и на этом все, и тогда сможете жить на любом хостинге.вопрос: будет ли работать версия 1.9?
Алексей может быть стоило заменить шрифты? а то как то не красиво выглядит особенно меню, страх и ужас :(
Народ прекращайте уже создавать подобные темы, просто реально по поперек горла уже стоит это или Вы создав тему думаете что Фуз бросит все и побежит Вам отчитываться? Будет компонет, будет и запись на сайте об этом.
из практики такое было только на 10% забугорных хостингах и то не особо распространненыхallow_url_fopen = Off
из моего примера есть ошибка я просто не так понял изначально
вот правильный код
Посмотрел код Фуза все рабочее на 100% опять вы просто тупо скопипастили код, нужно в $destination иметь не просто папку а еще и имя файла.
file_put_contents($move_dir, file_get_contents($url));