Парсер Avito "AviPars" для двойки

+47
7.57K
Иллюстрация
Предлагаю вам парсер Авито с гибкими настройками, сбором телефонов и удалением ватемарков.

Вот пример работы на дефолтном типе объявлений (номер телефона я скрыл немного):
Иллюстрация
Все поля, заголовки — всё вы можете настроить под свои нужды.

Парсер работает по крону и проверяет появление новых объявлений.

В настройках можно указать задержку между запросами и список прокси, если нужно. Прокси нужны в основном при парсинге номеров телефонов.

При настройке обработчиков, условий и полей, есть информеры, чтобы воочию увидеть, что будет находится в поле в тот или иной момент при обработке:
Иллюстрация
Также я записал видео по настройке.

Лучше всего удаляются ватемарки с неоднородного тона:
Иллюстрация
Но в любом случае вы можете закрыть это своей полупрозрачной ватемаркой и ничего не будет заметно.

Видео обзор

Что спарсить, как заполнить, какими значениями, в какие типы полей — всё это вы можете настроить, тем самым повысив уникальность объявления в глазах поисковика.
Поскольку при добавлении используются стандартные хуки для типов контента, вы можете обработать поля сторонними скриптами для решения каких то задач.
Вовсе необязательно наполнять каталог объявлений, используя различные правила, замену и склейку, можно составлять тексты для наполнения демо контентом с фотографиями например.

Компонент платный, цена: 1500р или 33$ — вебмани, яндекс деньги. Без привязки к домену, но модель закрыта товарищем Fuze-ом — бэкдоров нет.

Связаться со мной можно через личку, скайп (ник такой же) и аську (она в профиле).

0
Реклама Реклама #
0
DeeMon DeeMon 6 лет назад #
По конкретному городу парсит?
+2
lokanaft lokanaft 6 лет назад #
Конечно, по любой ссылке на категорию, например: avito.ru/ivanovo/avtomobili/audi?i=1&f=188_894b13978
0
DeeMon DeeMon 6 лет назад #
Вы привели пример авито/город/категория/ключевой запрос.
Меня же интересует авито/город. И как далее идёт раскидка парсинга по категориям. Категории автоматом создаются или нужно создавать и далее для каждой настраивать отдельно парсер?
Просто в описании не совсем понятна суть и принцип работы...
+5
lokanaft lokanaft 6 лет назад #
Вы хотите для каждого города кинуть по одной ссылке и чтобы оно там автоматом разобралось? Нет - по категориям он не раскидывает. Нужно вручную выбрать категорию для каждого задания.
С такой ссылкой он конечно может работать, но смысл?
-2
DeeMon DeeMon 6 лет назад #
Вы хотите для каждого города кинуть по одной ссылке и чтобы оно там автоматом разобралось?
Для одного города. То есть для каждой ссылки нужно отдельное задание делать?
+4
lokanaft lokanaft 6 лет назад #
Для каждой категории отдельное задание с настройками. Вы же не будете назначать недвижимости автомобильные характеристики.
-2
MegaRostov MegaRostov 6 лет назад #
Как то не очень! Смысл! Мне в ручную заносить нормально! Одно дело ХОТЯ БЫ авито/город/категория/ категорий много, а вот
авито/город/категория/ауди/бежевый/ и прочее ну не очень! За такое ДОРОГО! Но идея хорошая!
+3
lokanaft lokanaft 6 лет назад #
Если у вас на сайте все автомобили в одной категории, то и задание нужно только одно. В крайнем случае, если есть категории моделей, клонируете задания, изменяя категорию контента. Клонирование одной кнопкой делается.
+1
Melon Melon 6 лет назад #
Основной вопрос - если у авито что-то поменяется, обновление будет бесплатным, ну и под новые версии системы обновления будут?
+7
lokanaft lokanaft 6 лет назад #
Да, обновления бесплатно. На новых версиях парсер должен работать стабильно.
0
Melon Melon 6 лет назад #
Сделайте уже видимым кто минусы ставит налево и направо, тем более автору разработки
+1
Ingvarruss Ingvarruss 6 лет назад #
Я считаю что для двойки очень нужное дополнение, да и цена не критическая, так что +
-3
letsgo letsgo 6 лет назад #
Цена на 1 домен? Разработка хорошая, но на 1 домен дороговато выйдет.
+5
lokanaft lokanaft 6 лет назад #
Там же ясно написано:
Без привязки к домену
facepalm
+3
Melon Melon 6 лет назад #
Первый компонент, которого очень не хватает в ветке 1.10.х и ради которого можно помучиться с двойкой smile
0
Петрмаг Петрмаг 6 лет назад #
Согласен,но это траты снова.
+1
letsgo letsgo 6 лет назад #
Согласен Melon. надо уговорить Локи сделать его на 1 ветку и все будет хорошо)
0
Олег Васильевич я Олег Васильевич я 6 лет назад #
Лучше уговорите его компонент доски сделать. Пользы точно больше будет (ему в том числе)
-2
Петрмаг Петрмаг 6 лет назад #
да,видимо верно . Сижу и думаю какую пользу из инстанта выжать,крутил вертел, с юга объявления насмотрел с севера тоже они ,с запада опять объявления и с востока они самые,это возможных типах контента, в общем сайт -то год один стоит с объявлениями ,вернее понемногу работает в самостоятельном режиме, но направляется статьями тематическими.

Кстати сегодня с знакомы общался-товарищем у работает в большой фирме крутым спецом - сам известен не только по области,зоо занимается,они наловчились на авито по одному товару как в магазине выставлять по оптовым ценам и таким образом экономить на рекламе 100 процентов,жадная фирма сильно,но по объявлениям с авито звонят активно- умом россию не понять,аршином общим не измерить в Россию можно только верить! Бизнес по- Русски энономия на всем даже на прибыли, но факт бизнеса и объявлений на лицо
+1
Нил™ Нил™ 6 лет назад #
да ладно. у меня вот уже говядину по 350 рублей за кг в объявлениях продают. Если кому надо обращайтесь, номерок дам rofl Кстати тема, в условиях кризиса, доска объявлений - раздел "Еда"
+1
Евгений Евгений 6 лет назад #
Приобрел. Буду разбираться с настройками
+8
Loadырь Loadырь 6 лет назад #
Мне свезло больше. Я был выбран одним из тестеров этого компонента. Компонент действительно получился отличным. За эти две недели тестов мне на демо сайт накидало около тысячи объявлений с авито. В нём есть всё, что необходимо для парсинга, включая замену и склеивание слов для простой уникализации текстов. Конечно с настройкой шаблонов и карты заданий придётся повозиться. С нуля их настроить "не быстро". Благо есть несколько готовых настроек и возможность копировать. С ними настройка гораздо быстрее происходит. Хотя сложностей в настройках я не увидел. Посидеть, внимательно один раз настроить и забыть про него. Недостатки в работе какие находил, были устранены. Остался лишь один, на мой взгляд недостаток(моя хотелка). Это привязка к Avito. Я конечно понимаю, что есть сложности при парсинге картинок и недоступных полей типа "номер телефона", которые на других сайтах будут работать некорректно. Но всё же для работы с Avito и с любым текстовым контентом этот компонент продуман и сделан на отлично. Поэтому меня не отпускает желание стырнетить что-то и с других сайтов smile
0
AVPRT AVPRT 6 лет назад #
Стырнетьте пожалуйста с olx.ua и craigslist.org
0
Alexprofi Alexprofi 6 лет назад #
Работает только с Авито, или можно приспособить к другим сайтам?
0
Gudan Gudan 6 лет назад #
Жаль, что только под авито. Для Украины не актуально. sad
+5
ermakover ermakover 6 лет назад #
Я прикупил себе. Сначала понял насколько я бесконечно туп, потом пришлось напрячь мозги, попытаться понять принцип и система оказалась не столь уж сложной.
Да приходится настраивать каждую подкатегорию авито для парсинга, а их там сотни, но ведь один раз только настроить. И к тому же есть клонирование.
Автор парсера мне помог разобраться, теперь я доволен. Возможностей много, даже с перебором, главное понять как со всем этим работать. Есть вполне доходчивое видео.
Сейчас хочется включить парсер на полную мощь - пусть качает объявления, да нельзя, пресловутый поведенческий фактор. Сразу яндексплатоны заподозрят неладное.
0
Евгений Евгений 6 лет назад #
извиняюсь за отступление от темы, а сколько можно качать объявлений чтобы все было как надо с "яндексплатонами", ну и под блокировку не попасть со стороны Авито?
0
Luxin Luxin 6 лет назад #
Где-то на просторах интернета попадалась информация, что ограничиваю на 800 страницах, но как обстоят дела на сегодняшний день не могу сказать.
-1
MegaRostov MegaRostov 6 лет назад #
Час Всем добрый! Сразу не кричите! подскажите парсер может любую категорию отработать? не важно Транспорт, Личные вещи, Недвижимость, Услуги, Для дома и дачи, Бытовая электроника, Хобби и отдых, Для бизнеса, Работа, Животные... Верно!? Главное его правильно настроить так же? И еще вопрос, его так же можно настроить на определенный регион-город!?
+3
lokanaft lokanaft 6 лет назад #
Берёте ссылку на список объявлений: avito.ru/ivanovo/avtomobili?i=1&f=188_893b13978 , вставляете в задание, настраиваете поля и всё, компонент будет следить за появлением новых объявлений и добавлять их.

Я специально не делал много готовых настроек, чтобы каждый для себя сделал по своему - уникально.
-1
DeeMon DeeMon 6 лет назад #
Берёте ссылку на список объявлений: avito.ru/ivanovo/avtomobili?i=1&f=188_893b13978
По идее ссылки то выглядят к примеру так: https://www.avito.ru/chelyabinsk/avtomobili
+3
lokanaft lokanaft 6 лет назад #
Так выглядит голая ссылка без фильтров. Я дал понять, что и по более сложным урлам работает без проблем, если что.
0
DeeMon DeeMon 6 лет назад #
Я думаю кто будет использовать данный модуль будет работать именно с ссылками такого типа как я указал, а использовать типа как указали Вы и создавать под каждый тип фильтр это можно месяц просидеть. Сколько моделей авто? Ну и т.д.
Мне кажется Вам нужно выложить видео с показом как это работает на примере категорий без учёта фильтра и с фильтром, так как людям не совсем понятно как я вижу...
+1
Loadырь Loadырь 6 лет назад #
DeeMon:
Я думаю кто будет использовать данный модуль будет работать именно с ссылками такого типа как я указал
Всё зависит исходя из потребностей. Если мне нужно на сайте сделать тип контента автомобили, без всяких вложенных категорий с фильтрацией по полям и свойствам, то ваша ссылка как раз подходит для этих целей. Мне накидает туда все объявления которые есть и будут появляться по этой ссылке. Но если мне надо вывести в отдельные категории ВАЗы и Мерсы, то я просто делаю два отдельных задания для этих целей и беру ссылки с авито уже с фильтром для каждой модели. Если у меня 300 разных категорий на сайте, я делаю 300 заданий для парсинга и 300 ссылок с авито с применёными фильтрами.
DeeMon:
создавать под каждый тип фильтр это можно месяц просидеть
Можно и месяц просидеть, можно и больше. Всё зависит от ваших потребностей и способностей. Мне чтобы "въехать" в работу компонента с нуля и вывести четыре поля (заголовок, описание, картинки и телефон) потребовалось несколько минут. Потом я усложнял задачи и на составление карты задания с нуля уходило больше времени. С первым заданием, если не копировать дефолтный вариант, придётся повозится - это факт. Все остальные 299 заданий для категории автомобили создаются в несколько кликов мышкой путём копирования задания и заменой в нём названия задания и ссылки на сайт авито с примнёнными там фильтрами для каждой категории на моём сайте.
0
s21 s21 6 лет назад #
хотел бы купить... но инфы мало.. я просто запутался.. я понимаю что вам понятно как он работает.. а я вот в этих делах чайник...

если бы все было расписано.. со скриншотами.. типа страница донора.. потом страница на истант спарсенная.. и пару примеро.. про разделы.. города итд.
0
MegaRostov MegaRostov 6 лет назад #
Абсолютно поддерживаю! Я тоже запутался! Но очень хочется пощупать! А вопрос разберусь ли?
+4
Loadырь Loadырь 6 лет назад #
Так для примера могу показать
После обработки
0
Алексей Т Алексей Т 6 лет назад #
Loadырь Давайте делать доску... joke я за
+2
Loadырь Loadырь 6 лет назад #
увы пока занят до конца мая примерно, потом хочу расширить функционал конструктора форм, но вот аж потом вполне возможно (если доживём и выживем) smile .
-2
s21 s21 6 лет назад #
ну вот.. уже картинка в голове лучше прорисовалась)
-1
MegaRostov MegaRostov 6 лет назад #
У меня сразу встречный вопрос! avito:566176991 это можно будет убрать на своем сайте? или оно так и остается???? Зная что объявление именно с авито?
0
Loadырь Loadырь 6 лет назад #
Можно и не показывать. Для этого надо убрать галочки со стандартных настроек поля:
Показывать в списке
Показывать в записи
-1
MegaRostov MegaRostov 6 лет назад #
Обязательно возьму! +++ Спасибо за ответы.
0
nmsk nmsk 6 лет назад #
ТС, будет ли такой компонент для Украины?
0
lokanaft lokanaft 6 лет назад #
Сами понимаете, что ради одной продажи делать другой компонент нерентабельно.
0
nmsk nmsk 6 лет назад #
... "одной?") laugh Хозяин барин...)))
0
Алексей Т Алексей Т 6 лет назад #
Поверьте продаж на Инстанте крайне мало
+6
Melon Melon 6 лет назад #
Тут нужно отметить, что в вашем случае это не удивительно smile
Я не думаю, что тот же Dezerit подтвердит вашу версию, или разработчики премиум-компонентов
-6
Алексей Т Алексей Т 6 лет назад #
Melon вы не в курсе и не говорите
-1
s21 s21 6 лет назад #
я бы для украины тоже взял бы... olx в украине популярен... да и в росии.. он имеет вес)
+3
Андрей Андрей 6 лет назад #
а как насчет 1.10.6?
планируется?
+2
lokanaft lokanaft 6 лет назад #
И в какой компонент добавлять напарсеные объявления?
+2
Melon Melon 6 лет назад #
Стандартная доска объявлений
0
letsgo letsgo 6 лет назад #
В раздел статей выбранный. Я бы на разделе сделал обьявления.
0
MegaRostov MegaRostov 6 лет назад #
Я понял, я разобрался! Компонент просто СУПЕР! +++ Жду всяких интересных обновлений! (если будут) !
+1
lezginka.ru lezginka.ru 6 лет назад #
народ, кто может поделиться/продать шаблон "вакансии/резюме"?
0
MegaRostov MegaRostov 6 лет назад #
Чем Вам помочь?
+1
lezginka.ru lezginka.ru 6 лет назад #
нужен был шаблон(настройка) для парсига "вакансии/резюме"
0
MegaRostov MegaRostov 6 лет назад #
Я ва его дал! Вопросы в личку!
+1
lezginka.ru lezginka.ru 6 лет назад #
что означает сообщение:
Не удалось получить ответ с '3' раз
Пустой ответ: 'https://www.avi...
Очередь заданий пуста
Выход
+1
Yossarian Yossarian 6 лет назад #
Добрый день!
Ваш сайт aviro работает на Instantcms какая версия?
+1
lezginka.ru lezginka.ru 6 лет назад #
это вы у меня спрашиваете ?
+1
ermakover ermakover 6 лет назад #
Компонент незаменимый для городского портала.
Экономит времени кучу для создателя сайта и создаёт у пользователей иллюзию популярности доски объявлений на сайте, привлекает новых пользователей.

Да, в настройках придётся покопаться, но оно того стоит. Один раз настроил и забыл. Можно и не делать объявления по всякому барахлу, только недвижимость, авто, работа, услуги - самое популярное.

У меня пошло дело кое-как http://pushkinoplus.ru/

Есть, конечно, кое-что, что я бы поправил, например возможность как-то менять авитовские заголовки на свои, пока у меня не срабатывает, хотя обработчик такой есть. И привязка объявлений о недвижимости к карте тоже нужна. Иначе в нынешних реалиях никак.
+2
Melon Melon 6 лет назад #
Спасибо за ссылку, как раз на вашем портале и посмотрим словит АГС или нет smile
+1
ermakover ermakover 6 лет назад #
Да, согласен с Вами, вот поэтому и решил рискнуть не на рабочем сайте, хотя и в этот сайт на данный момент труда вкладывается немало. Пока индексирует нормально.
+1
Петрмаг Петрмаг 6 лет назад #
как он что-то словит? или не словит,объявления-это ничто ,в заголовках даже города нет, как индексировать будет? где ключи? или вы в каждом объявлении прописываете сео вручную? тогда дело другое,данное дело хорошо,если после того как напарсите хотя-бы в группам раскидайте,чтобы люди в реале знали портал - от поисковика в данном случае чего-то существенного ждать смысла нет.хоть за,хоть против -либо объявления без конкретики и несут однотипным миллион.
Парсер нужная вещь, но и сео нужно учитывать хотя-бы часть ручками править для псов
+1
ermakover ermakover 6 лет назад #
В заголовках есть название города в конце - посмотрите любую страницу.
Для СЕО достаточно вручную прописать всё, что нужно только в категориях.
Естественно, кое-какие объявления я правлю вручную тоже, чтобы не было точной копии авито.
И уникальные статьи у меня кроном добавляются каждый день.
Но риск всё равно есть, потому я пока временно закрою сайт от посетителей, а то у меня метрика показала +3000% посетителей, а это уже не есть хорошо - можно словить АГС уже на первом этапе.
0
MegaRostov MegaRostov 6 лет назад #
А сколько вообще желательно кидать объявлений на сайт, что бы не словить АГС!??
0
s21 s21 6 лет назад #
ну если у вас пустой сайт... то не советую вообще копипастом заниматься... ведь данный парсер это скорее просто дополнение к сайту.. то есть сайт имеет трафик... новости... блоги.. обсуждение... большинство материала уникальная... а объявления как дополнения... то есть они не состовляют львиную долю контента на сайте...
+1
ermakover ermakover 6 лет назад #
Согласен с Вами, но я начал именно с пустого сайта и без фанатизма по капле добавляю на сайт объявления наряду с другим контентом. Риск того, что сайт так и останется на задворках поиска есть, но автор парсера продумал и изменение заголовков, и добавление объявлений не сразу скопом.
Я ещё от себя сделал на каждое задание парсера своего пользователя. Всё же риски уменьшаются.
+1
Александр Kreator Александр Kreator 6 лет назад #
Пару вопросов по работе дополнения:

Как записывает в базу парсер? С какой датой? От какого пользователя? Можно ли устанавливать срок окончания публикации?
+2
lokanaft lokanaft 6 лет назад #
Спарсенные ид вносятся в отдельную таблицу.
Итемы добавляются с текущей датой.
Для каждого задания можно выбрать автора и срок публикации.
+3
ph3no ph3no 6 лет назад #
Кто-нибудь может продать все фильтры на все категории?
0
Nsk Nsk 6 лет назад #
Присоединяюсь, настроика просто смерть......
Готово заплатить понимающему за насроику парсера
+3
Александр Kreator Александр Kreator 6 лет назад #
Не рассматривали вариант бесплатной лицензии с ограниченным функционалом? Например ограничение: не больше трех задач в парсере ...
Хотелось бы конечно такой компонент, но еще больше перед покупкой пощупать в живую.
+3
Sashkoff Sashkoff 6 лет назад #
Отличный парсер, очень гибкий. Автору спасибо, что помог настроить и все объяснил.
+3
Dimas Dimas 6 лет назад #
Для первой ветки такое чудо бы cry
0
Birles Birles 6 лет назад #
Подскажите пожалуйста, этот парсер работает только в зоне ru или в других зонах тоже, например в зоне kz, avito.kz
+1
lokanaft lokanaft 6 лет назад #
avito.kz - это совсем другой сайт. Скоро будет универсальный парсер, он сможет и эту доску парсить.
0
vgorode vgorode 6 лет назад #
Что нового в ави парс 3?
+3
lokanaft lokanaft 6 лет назад #
Код TXT:
  1. Демо тип контента с демо заданиями под все категории
  2. Вывод списка ожидающих парсинга объявлений (задач)
  3. Запуск заданий и задач из админки
  4. Выключенные задания теперь не стопорят очередь
  5. Правильный вывод подсказок в повторяющихся полях
  6. Подсветка повторяющихся полей в задании
  7. Условия в дополнительных обработчиках
  8. Фотографии складываются по папкам по 1000 штук
  9. Другие мелкие улучшения и доработки
0
lokanaft lokanaft 6 лет назад #
Ещё поле с картой
+1
lezginka.ru lezginka.ru 6 лет назад #
пользуюсь 3 версией...доволен как паровоз ))
0
vgorode vgorode 5 лет назад #
Для 2.4.0 нужно обновление?
0
lokanaft lokanaft 5 лет назад #
Нет
0
vgorode vgorode 5 лет назад #
Приветствую, lokanaft!
А, для 2.5.0?
0
stealthdebuger stealthdebuger 5 лет назад #
lokanaft:
модель закрыта товарищем Fuze-ом
Хотелось бы взглянуть на этот бинарный код перед сном.
+1
myrddin myrddin 3 года назад #
Ох не знаю, что и у кого тут экономит время и работает, а я этим компонентом ровно 2 недели пользовался нормально, в остальное время - либо авито виноваты оказывалось, либо другие причины находились, например на вопрос почему не работает крон,мне ответили - проблема у хостера, а хостер всю вину на разработчика валит, короче во всем остался я виноват.

Да и вообще у instant CMS, так понимаю, поддержка многих компонентов уже прекращена, так например по каталогу предприятий - второй месяц тех. поддержка не отвечает. Но не об этом суть в этом комментарии, а об авитопарсере - что 1500 руб стоит и пока еще в продаже.

Заработает - напишу - Все работает.
Пока не убежусь, что все нормально работает - Не рекомендую к приобретению! Выкинете деньги на воздух, а когда помощь нужна будет - скажут:
у вас руки кривые, или потребуют логин и пароль от админки
0
lokanaft lokanaft 3 года назад #
у вас руки кривые, или потребуют логин и пароль от админки

Без второго первому не помочь laugh
+1
myrddin myrddin 3 года назад #
Ну а я чего сделаю, начальство мозги *б*т, требует чтобы работало, а оно не пашет. Вспоминают еще через пол года, блин
+1
Олег Васильевич я Олег Васильевич я 3 года назад #
или потребуют логин и пароль от админки
начальство мозги
Так начальству и дайте пароль от админки, раз разработчику нельзя.
0
myrddin myrddin 3 года назад #
год назад дал rofl лучше бы не давал)))) laugh
0
ermakover ermakover 3 года назад #
Вот Вы прямо по больному.
У меня тоже авипарс то работает, то нет.
На новый сайт ставил - не парсит объявления, хоть что делай.
Прислал мне товарищ другой установщик - всё заработало.
То есть был баг в моём установщике.
О чём Вы говорите? Какая поддержка?
Премиум компоненты не поддерживаются.
Отписка - одна, как Вы и написали - у вас руки кривые, у нас всё работает.
А уж что говорить о разработчиках дополнений. Большая часть после обновления движка вообще работать перестают.
А вот вам @SmartControl - появился, наделал кучу дополнений и исчез.
0
myrddin myrddin 3 года назад #
lokanaft, спасибо, Вам, огромное, все заработало вроде как))))
dance

Еще от автора

Ajax подгрузка контента для двойки
Ну что, товарищи, сегодня вы своими руками сможете сделать ajax подгрузку записей контента.
AJAX подгрузка комментов для двойки
Как следует из названия, дополнение ограничивает полный вывод всех комментов записи и позволяет пользователю при необходимости посмотреть следующие. А также уменьшает длительность загрузки и прорисовки страницы.
ContentWatch - проверка уникальности добавляемого контента для icms2
Компонент позволяет проверять уникальность текста с помощью сервиса Content-Watch.ru в любом поле и для любого пользователя, благодаря гибкой настройке правил.
Обновление парсера Авито для icms2 - AviPars 3
Что нового?Поскольку с настройкой многим пришлось туго, в этой версии устанавливается демо тип контента с заданиями, которые сразу готовы к работе. Вам остаётся лишь скопировать в свой тип контента свойства категорий и склонировать задания.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.