Парсер досок объявлений

Для OLX(slando) и AVITO

#1 16 января 2015 в 16:40
Предлагаю вашему вниманию парсер досок объявлений OLX (бывший SLANDO) и AVITO.

Парсер выполнен в качестве standalone-приложения на базе фреймворка CodeIgnitter. Что он умеет:

-парсить объявления из выбранных рубрик и городов (регионов)
-парсить цену, валюту, фотографии
-накладывать вашу вотермарку на фото
-работать по CRON или в ручном режиме, в том числе и с локалхоста

Что он НЕ умеет:

-Работает только с поддомена и на него же складывает картинки. Вариантов 2 — либо вы вручную переносите картинки в папку /image/board, либо делаете несложный хак компонента Доска объявлений.
-В базовой версии он не парсит номера телефонов, т.к., во-первых, эта функция может быть использована не совсем в тех целях, и во-вторых, сложность написания парсера номеров не сравнима с ценой на базовую версию.

Номера телефонов парсер генерирует рандомные, в зависимости от страны.

Демо парсера http://demo.on-se.ru/start/cron/123, парсит по 3 объявления в категории автомобили сюда (123 — это токен безопасности выставляемый в конфигурации, если что).

Требования к хостингу: Для базовой версии — PHP > 5.2 и CURL. Для расширенной — PHP > 5.2 + CURL + IonCube Loader.

Цена: базовая версия — $ 10, расширенная — $ 30.

Для обеих версий не накладываются ограничения на использование и количество доменов, кроме распространения конечно.

По вопросам приобретения писать в личку или seo(котейка)on-se.ru

Благодарю за внимание smile
#2 16 января 2015 в 16:50
А вы разрешения на продажу у instantcms.ru/users/Letsgo спросили? По-моему, он делал парсер объявлений сам и цена была порядком выше? Нет мне просто интересно-купишь, а потом в топку( чистое любопытство( может я ошибся)
#3 16 января 2015 в 16:57

А вы разрешения на продажу у instantcms.ru/users/Letsgo спросили? По-моему, он делал парсер объявлений сам и цена была порядком выше? Нет мне просто интересно-купишь, а потом в топку( чистое любопытство( может я ошибся)

Петрмаг
Не понял. Это мой, лично мной написанный парсер, в чем проблемы?
#4 16 января 2015 в 17:12
Да нет, просто подумал-раньше когда просили сильно никто не хотел написать- сейчас вдруг смотрю появился-Приятно так-то) + в карму, о покупке подумаю)
#5 16 января 2015 в 18:14
addon25, парсер работает с хостинга ?
и не совсем понял про телефоны… объявления парсит без телефонов ?
и почему цена в вражеских рублях?
#6 16 января 2015 в 18:24
lezginka.ruкончай войнушку разводить — мы за персер
#7 16 января 2015 в 18:29
Нафига парсить объявление и потом вносить телефон рандомный, там же картинка телефона, ну картинку телефона и парсите. И будет усе ок. Нафига чей-то телефон подставлять под объявы. Потом доказывай, что ты не олень.
#8 16 января 2015 в 18:47

Нафига парсить объявление и потом вносить телефон рандомный, там же картинка телефона, ну картинку телефона и парсите. И будет усе ок. Нафига чей-то телефон подставлять под объявы. Потом доказывай, что ты не олень.

kirkr
Это отключаемая опция.

addon25, парсер работает с хостинга ?

lezginka.ru
Да, с хостинга отвечающего требованиям или с локального хоста, с установленным веб-сервером.
#9 16 января 2015 в 19:34
Сколько штук за день можно спарсить, на каком обьявлении наступает бан?
#10 16 января 2015 в 19:56

Сколько штук за день можно спарсить, на каком обьявлении наступает бан?

letsgo

Если и наступит — бесплатно подкину компонент для парсинга проксей и запросов через них из одного из своих проектов.
#11 17 января 2015 в 08:56

Если и наступит

addon25

Через сколько будет бан? Я не спрашивал про прокси, спросил именно про бан, сколько обьявлений спарсится до момента блокирования со стороны Авито? Думаю ответ вы знаете, потому обошли его чуть стороной)
#12 17 января 2015 в 16:30

Через сколько будет бан?

letsgo
Без понятия, без малейшего причем.

Насчет обхода ограничений и банов: вы считаете что дописать в коде
  1. curl_setopt($curl, CURLOPT_PROXY, "");
слишком сложно или просто пытаетесь с конкуренцией так бороться? В том смысле, что вы прекрасно понимаете что функционал работы через прокси — это пара строк кода.
#13 18 января 2015 в 06:57

В том смысле, что вы прекрасно понимаете что функционал работы через прокси — это пара строк кода.

addon25

Мне интересно узнать, сколько объявлений парсится до бана и причём тут прокси? 3 раз спросил, трудно замерить разве?
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.