Обновление парсера Авито для icms2 - AviPars 3

12979
""

Что нового?

Поскольку с настройкой многим пришлось туго, в этой версии устанавливается демо тип контента с заданиями, которые сразу готовы к работе. Вам остаётся лишь скопировать в свой тип контента свойства категорий и склонировать задания.
Сразу в заданиях настроено поле карты, которое выводит координаты из объявления на Авито.
Появился вывод очереди задач на парсинг и возможно вручную запустить как задание, так и задачу.
Фотографии теперь складываются в разные папки по 1000шт.
В дополнительных обработчиках теперь есть условия, благодаря чему можно сократить некоторые операции.

Видео

Как обновить?

Обновления были высланы всем в начале недели.
Стандартным способ устанавливается через админку, ваши прежние задания при этом не пострадают, все остальные инструкции содержатся в архиве.
Работает на версии движка как 2.2.1, так и на 2.3.0.

Как купить?

Связаться со мной можно через личку, скайп (ник такой же) и аську (она в профиле).

Чистильщик для двойки | ContentWatch - проверка уникальности добавляемого контента для icms2
Комментарии (186)
Авакадо 8 ноября 2015 в 19:04 +3
Высококвалифицированный разработчик smile
GoodMade.ru 12 ноября 2015 в 17:19 0
Да, да..
Ознакомившись с работой подобных разработчиков, осознаешь свою бездарность в этом плане ;)
MegaRostov 8 ноября 2015 в 21:23 -1
Вещь отличная!! Пользуюсь с удовольствием! Все работает шаблоны супер++++ Спасибо!
lezginka.ru 8 ноября 2015 в 21:38 -1
выше всяческих похвал!
letsgo 8 ноября 2015 в 21:46 0
Lokanaft как всегда молодец. Если делает то качественно. Спасибо! жаль на 1 ветку такого нет.
Alexprofi 9 ноября 2015 в 00:58 -1
Для Украины можно как-то приспособить?
lokanaft 9 ноября 2015 в 08:27 +8
Скоро будет универсальный парсер. Настраивать чуть сложнее, но зато парсить будет что угодно.
solntsev 9 ноября 2015 в 09:44 0
Это на замену данного компонента или будет распространяться отдельно?
lokanaft 9 ноября 2015 в 09:45 0
Отдельно. Этот сразу под авито заточен, а тот нет.
Alexprofi 9 ноября 2015 в 12:09 0
Это хорошая новость, будем ждать...
stealthdebuger 12 ноября 2015 в 14:06 0
Хотелось бы посмотреть на реализацию
Loadырь 12 ноября 2015 в 14:14 0
Мне тоже бы хотелось взглянуть на неё.
bastabastilio 21 ноября 2015 в 11:46 0
А когда ждать? Я такую вещь (готовую, коробочную версию) жду уже года два :)
Jestik 11 июня 2016 в 15:24 0
Скоро это когда? zst
aznakay 16 ноября 2015 в 18:09 +1
Можете посмотреть на моём сайте aznakay.ru , доволен парсер работает замечательно !
Андрей 3 декабря 2015 в 19:08 +1
AviPars - супер!!!
работает как часики...
томлюсь в ожидании следующего чуда - универсального парсера...
sindoyun 5 декабря 2015 в 07:01 0
под 1 ветку стоит ожидать?
Сергей 25 декабря 2015 в 15:36 0
В instantmaps не получается настроить вывод координат на карту, ну и конечно выдаёт:
Warning: array_shift() expects parameter 1 to be array, boolean given in путь/шаблон/content/places_item.tpl.php on line 62
Снимок настройки бы, посмотреть?
В остальном всё ОК, компонент отличный, рубит авито как капусту.
lokanaft , грамотно всё устроил даже не могу представить что дальше, товары к подъезду парсить можно будет? laugh
rudnin 15 февраля 2016 в 13:38 0
парни посоветуйте прокси нормальные по этот компонент, кто где добывает?
Сергей 6 марта 2016 в 18:59 0
За месяц 28000 с 24 городов нарубил, без прокси. Настройте чтобы брал только с фото, и текст от 500 символов. Зачем Вам ( продам туфлю срочно, Маша) ?
rudnin 14 марта 2016 в 12:41 0
телефон без проксей не парсит, а про настройки это понятно..
Сергей 14 марта 2016 в 12:58 0
Видимо не влюбил Вас AviPars laugh
AndroS 22 февраля 2016 в 19:32 0
Несколько вопросов:
Как работает с текущей 2.4.1?
Не увидел где в настройках выбора города для парсинга?
Возможно ли, чтобы компонент парсил в базовый тип компонента с урл /board?
Остается ли у пользователей возможность добавления своих объявлений?
Можно ли указать, чтоб парсер брал в качестве авторов объявлений рандомно юзеров из определенной группы?
Сергей 6 марта 2016 в 17:06 0
2.4.0 чистая система, задания не сохраняются, настроить можно а редактировать нечего, всё пусто в админке, после сохранения? Как это победить, подскажите? Демо задания после установки тоже как бы не заполнились?
На обновлённом сайте 2.3.0 - 2.4.0 всё в порядке, может от AviPars 2 какие файлы загрузить надо?
lokanaft 6 марта 2016 в 18:18 +1
Шаблон дефолтный?
Сергей 6 марта 2016 в 18:38 0
Шаблоны везде не дефолт, послал в Личку ссылки.
Сергей 6 марта 2016 в 23:25 +2
2.4.0 полёт нормальный, косяк в шаблоне, lokanaft благодарю за консультацию и разработки !!! dance
AndroS 7 марта 2016 в 00:30 0
Была таже проблема - решили. Не хватало файлов jquery, верно?
Сергей 7 марта 2016 в 01:19 0
Да точно.
MegaRostov 8 марта 2016 в 09:30 0
Заметил что при долгом парсинге с авито, на моем сайте с объявлениями выдает ошибку сервера 500 в чем может быть проблема?
lokanaft 8 марта 2016 в 11:17 +1
Где именно эта ошибка?
rudnin 14 марта 2016 в 12:42 0
а следующую версию парсера кода ожидать? который всемогущий, или уже вышел?
rudnin 14 апреля 2016 в 17:35 0
При настройках парсинга, где вставляется Ссылка на объявление у кого нибудь происходит ошибка? вот такая - "Ошибки в настройках путей!" при этом все парсится нормально, единственно при настройке парсера не очень удобно...
скорее всего это после обновления instantcms поседнего
Сергей 18 апреля 2016 в 14:01 0
Задания
Карта - Ссылка на объявление:
Вставляем : https://www.avito.ru/sankt-peterburg/vakansii/promouter_rasprostranitel_219688560
Срезает до: sankt-peterburg/vakansii/promouter_rasprostranitel_219688560
и ничего не происходит.
При настройке Шаблонов объявлений пишет: Ошибки в настройках путей! и тоже ничего не происходит.
В Шаблоны объявлений был добавлен блок метро div.clearfix:nth-child(5) > div:nth-child(4) но сейчас парсит без того что было добавлено мною ранее.
Сайт на стадии сборки, так что это не критично.
Уважаемый lokanaft, надеюсь на поддержку.
lokanaft 18 апреля 2016 в 14:04 +2
В файле /system/controllers/lavipars/backend/actions/ajax_will_be.php заменить:
Код PHP:
  1.  
  2. $data['map'] = $this->request->get('map', '');
  3. }
  4. if($data['_what']==='cat_item'){
  5. $data['paths'] = $this->request->get('paths', '');
  6.  
на:
Код PHP:
  1.  
  2. $data['map'] = $this->request->get('map', array());
  3. }
  4. if($data['_what']==='cat_item'){
  5. $data['paths'] = $this->request->get('paths', array());
  6.  
Сергей 18 апреля 2016 в 17:21 +1
Благодарю, всё заработало.
Для вновь прибывших на instantcms, ответственно заявляю - компонент отлично работает на последней версии движка , поддержка как видите оказывается как (скорая помощь), в течении трёх минут.
AndroS 23 апреля 2016 в 01:33 0
Полностью подтверждаю!
Beavis 19 апреля 2016 в 17:53 0
Ватермарки у всех удаляются?
rudnin 20 апреля 2016 в 23:20 0
кто как парсит москву? как успеть за всеми обьявлениями которые добавляются по москве?
Pasechnik 23 апреля 2016 в 01:31 0
lokanaft, на 2.5.1 парсер работает?
ermakover 23 апреля 2016 в 17:51 0
У меня отлично работает на нескольких сайтах с 2.5.1.
Сергей 23 апреля 2016 в 19:23 0
Работает
myrddin 24 мая 2016 в 19:41 0
кто ставил на хостинге от Jino? как полет, у меня демо работают, а клонированные задания ошибку выдают.
Сергей 8 июня 2016 в 14:29 0
Добавил новый тип контента, хотел настроить а там таблица стилей пропала, видимо после обновления 2.5.1

Где порыть, что до грузить, как поправить сие чудо?
Сергей 8 июня 2016 в 14:36 0
Это происходит только в созданных мною ранее заданиях. В демо заданиях (α Транспорт / Автомобили), всё клонируется и открывается?
Сергей 8 июня 2016 в 15:15 0
Прошу прощения, сам натворил, сам поправил, мои извинения. Проблема как всегда, в установленных дополнениях от других авторов.
Авипарс работает отлично, спасибо lokanaft .
Capitan 11 июня 2016 в 11:26 0
А можно ли сделать парсинг из авито в инстант мэпс?
Capitan 11 июня 2016 в 11:28 0
кстати компоненту уже год. С днем :)
MegaRostov 2 ноября 2016 в 17:25 0
У меня перестал работать парсер АВИТО! В чем может быть дело???
lokanaft 2 ноября 2016 в 17:28 +1
Зайти на авито и увидеть, что там новая вёрстка. После этого либо самому исправить пути в разделе шаблонов парсинга, либо подождать обновление.
MegaRostov 2 ноября 2016 в 17:49 0
Можно в ЛК по подробнее! Я так понял что с 1.11.2016 авито поменял у себя на сайте верстку поэтому сейчас не работает.
И Вопрос когда ждать обновление?
Спасибо за быстрый и понятный ответ..
MegaRostov 4 ноября 2016 в 10:21 0
Когда ждать обновление??
Андрей 8 ноября 2016 в 08:48 0
+1
lokanaft 10 ноября 2016 в 22:21 +1
Обновление всем отправлено, если нет, то ищите в спаме.
Андрей 10 ноября 2016 в 22:30 0
Большое спасибо!
Получено...
Def 10 ноября 2016 в 23:50 0
Добрый день. не могу до вас достучаться по мылу. хотел купить парсер уже как пол года и попросить вас настроить. вы писали что делаете за доп.плату. можем списаться в лс или на почте?
MegaRostov 15 ноября 2016 в 19:12 0
Час Добрый! Подскажите как в объявлениях карту прописать. Переустановил Парсер забыл настройки скопировать! Помню что там ни чего сложного вот только что и куда вписывать забыл. Просьба пришлите скриншот..
На письма не отвечаете, в инстанте тоже, на видео не увидел. Решил опубликовать здесь может хоть скрин выложите.
Спасибо.
Андрей 15 ноября 2016 в 19:49 +2
В демо заданиях должна быть карта...
MegaRostov 15 ноября 2016 в 20:25 +1
Вот спасибо! В "Дома / Продам" Есть, нашел, буду тестировать.. Раньше в авто было вроде бы.
Сергей 1 декабря 2016 в 19:17 0
Обновился ничего страшного, всё работает, версия instantcms 2.6.0 - Авипарс последний.
rudnin 5 декабря 2016 в 00:28 0
подскажите как парсить телефон, в демо заданиях парсить телефон не хочет, подскжите пожалуйста...((( прокси свежые, все остальное парсит на ура
lokanaft 5 декабря 2016 в 08:15 +3
rudnin 7 января 2017 в 19:21 0
спасибо
а подскажи как в задании работа, парсить номера телефонов резюме, авито требует авторизации для того что бы просматривать номер телефона в резюме
lokanaft 8 февраля 2017 в 00:23 +1
Не могу найти город, в котором авито не требовал бы оплату за просмотр номера. А платить по 50р за каждый спарсенный номерок вы готовы?)
MegaRostov 8 января 2017 в 13:09 0
Огромная просьба к lokanaftу Если есть возможность в будущем обновлении сделать возможность передвигать или переставлять местами задания для парсинга. Этого очень не хватает.
lokanaft 8 января 2017 в 14:41 +2
Это и резюме сделаю в след обновлении
MegaRostov 8 января 2017 в 18:15 0
Спасибо за ответ! Жду обновлений.
ermakover 14 апреля 2017 в 23:11 0
Карта авипарса не работает с https только с http. Если сайт https то вместо карты белое поле.
MegaRostov 15 апреля 2017 в 07:41 0
У меня все работает!
lokanaft 6 июня 2017 в 18:08 +2
Если у кого то после первого июня перестали парситься объявления, то надо во всех шаблонах парсинга категорий убрать лишний символ:

Андрей 6 июня 2017 в 23:30 +1
у меня перестало парситься 1 июня, до этого работало как часики...
отредактировал строку до вида как на картинке:
.item > .description .title > a
все заработало...
Большое спасибо!
Capitan 6 июня 2017 в 22:10 0
У меня уже месяц ничего не парсится и решения проблемы как я понял не придвидится
lokanaft 6 июня 2017 в 22:21 +1
Вы хоть где это напишите, но я в сотый раз не буду повторять в чём заключается эта конкретно ваша проблема.
MegaRostov 10 июня 2017 в 00:58 0
Опять ошибка! Авито видимо специально рубит парсер..
lokanaft 10 июня 2017 в 16:14 +1
Только что проверил - список спарсился, объявления тоже.
MegaRostov 10 июня 2017 в 20:51 0

Вот так по всем заданиям! Что может быть?
Capitan 11 июня 2017 в 14:04 +1
у вас тоже самое что и у меня. Разработчик говорит что авито забанил ваш адрес и нужны прокси.
Как прокси не понятно, т.к я этот путь уже пробовал и он не помогает
MegaRostov 12 июня 2017 в 09:22 0
Просьба lokanaftу объяснить как работать с прокси?
Подскажите что именно нужно делать?
MegaRostov 18 июня 2017 в 11:24 0
Объясните как работать с прокси? Дайте хоть несколько примеров..
lokanaft 18 июня 2017 в 11:51 +1
Находите где то нормальные прокси, проверяете их во встроенном прокси чекере, в поле "и телефон" после проверки будут подходящие прокси без бана в авито. Берёте их и сохраняете в настройках.
MegaRostov 18 июня 2017 в 15:56 0
Не работает! И что значит ("и телефон" после проверки будут подходящие прокси без бана в авито) Вы скрин сделайте, что куда и как.
lezginka.ru 16 июля 2017 в 12:31 0
кто подскажет, почему у AviPars 6 проблемы при парсинге ?
http://skrinshoter.ru/s/150717/4Lp5Gs
проблема в том, что при одних и тех же настройках какие-то объявления парсит, а большинство пустышки...
Андрей 16 июля 2017 в 22:22 0
Если парсит с ошибками с одной ссылки, то лучше обратиться к разработчику.
Но сначала советую еще раз проверить всё настройки...
lokanaft 22 августа 2017 в 14:15 +2
К сожалению не мог ответить несколько дней. Все паникёры записаны и обновление не получат hoho
ermakover 31 августа 2017 в 13:16 -2
И это вместо того, чтобы извиниться.
Это уже супернаглость.
Что касается "обновление не получат" - я платил за сам компонент и как следствие за обновления.
lokanaft 31 августа 2017 в 13:21 +1
Сколько лет прошло с момента покупки? Вообще то у многих разработчиков платные обновления. Это я вас тут разбаловал.
ermakover 23 сентября 2017 в 15:38 0
Лично для меня не большая проблема заплатить за обновление.
Но у кого из разработчиков будут платные обновления, у того их никто не будет покупать.
По тому как обновления, это по сути исправление допущенных ранее ошибок.
Почему я должен платить за чужие ошибки?
lokanaft 23 сентября 2017 в 15:44 +3
Обновление - это адаптация к новым версиям движка и внесение новых фитч. По крайне мере у меня так.
lokanaft 22 августа 2017 в 15:10 +1
Чтобы крон работал с 2.8.0, надо в файле /cron_l_avipars.php после строчки:

Код PHP:
  1. 7 require_once 'bootstrap.php';
Добавить:

Код PHP:
  1. cmsCore::startTimer();
ermakover 26 октября 2017 в 16:37 0
Опять парсер перестал работать. Не парсит объявления.
@alnikkuzmin 27 октября 2017 в 11:31 0
Не решили проблему? Тоже самое со вчерашнего дня. Добавляются объявления только с картинками и телефоном , но без заголовков, текста и цены. В разных категориях по разному.
lokanaft 27 октября 2017 в 12:00 +3
Хочу напомнить пользователям, что компонент полностью настраиваемый и даже через 10 лет с совсем другим авито вы сможете его парсить.
Сейчас требуется совсем небольшая правка, даже не надо разбираться в вёрстке авито.

Для начала следует выяснить, что задание на Автомобили всё таки работает. Заметить, что в этом задании при настройке в предпросмотре строк появляются данные, а в других заданиях - нет. Из этого следует, что надо проверить Шаблон парсинга объявления этого конкретного задания. Выяснить, что у него в предпросмотре тоже нет данных. После этого сравнить, чем же отличаются шаблон на Автомобили и на другие категории и внести необходимые правки.
MegaRostov 27 октября 2017 в 12:42 0
Подскажите как быть с ЭТИМ
Что только не делал ошибка!
lokanaft 27 октября 2017 в 13:07 +1
В том и проблема, что ничего не делали
MegaRostov 27 октября 2017 в 13:47 0
А что нужно делать?
MegaRostov 27 октября 2017 в 14:06 +1
Находите где то нормальные прокси, проверяете их во встроенном прокси чекере, в поле "и телефон" после проверки будут подходящие прокси без бана в авито. Берёте их и сохраняете в настройках.

Искал не подходят.
Дайте или найдите список и выложите ПРЯМ ЗДЕСЬ пускай люди пользуются.
Так как ГДЕ ТО искать не зная даже место это глупо...

Дайте ссылку где есть рабочие или как написано выше выложите список ДЛЯ ВСЕХ.
lokanaft 27 октября 2017 в 14:17 +4
Когда о нормальных прокси знает больше одного человека - это уже плохие прокси facepalm
ermakover 27 октября 2017 в 14:38 0
Я вот тут покупаю прокси https://proxy-sale.com
Они проверяют прокси, ну было пару раз, что из 10-ти не работало пара штук, а так каждый месяц беру разные.
Сейчас не беру правда, парсю с IP сайта.
Что касается работоспособности парсера, то пока не работает.
Проверяю чекером - поле объявление и телефон парсятся успешно, но сами объявления перестали. Попробую пройти заново настройки шаблона.
Я парсю-то только с раздела "Собаки".
ermakover 27 октября 2017 в 15:55 +2
Автомобили тоже не работают. По крайней мере на моём сайте.

Я проверил div class в шаблонах авипарс и на сайте авито - они не изменились.

Вот путь к контейнеру изменился - вместо .l-content.clearfix надо написать .l-content.js-l-content

У меня заработало. Тоже они на авито как могут защищаются от парсинга.
skewes 31 октября 2017 в 14:41 0
Здравствуйте!
Может где на видео пропустил или не понял, но можно ли спарсить с категории Авито в любую категорию у себя на сайте, не в ту, как на Авито.
То есть из категории "Квартиры" в "Продажа квартир" на своем сайте, далее уже свойствами выставляем 1,2-х и т.д.
Андрей 31 октября 2017 в 14:50 0
В любую нужную категорию...
@alnikkuzmin 1 ноября 2017 в 01:34 0
Что-то так и не получается настроить "Личные вещи" и "Личные вещи / Одежда", объявления добавляются полностью пустые, хотя другие категории все настроил.
Может кто подскажет, какие данные нужно прописать в пути к контейнеру и к полям? Или я вообще не в той стороне ищу?
MegaRostov 1 ноября 2017 в 06:32 +1
Да бросьте Вы эту затею! От lokanaft хрен чего добьешся. Я парсер удалил и живу спокойно.
Если ваш сайт интересен, люди будут без парсера объявления на вашем сайте писать.
А парсер это так не нужное приложение (мусора-сборник)
lokanaft 1 ноября 2017 в 09:55 0
Быстро же у вас за 3 дня (с прошлого вашего комментария) сайт стал интересен людям laugh
MegaRostov 1 ноября 2017 в 12:10 +1
Да мне лучше его удалить нежели ждать от вас решения моих проблем!
Я попользовался и понял что это фигня. Пускай другие к тому же решению придут немного по позже.
Я пишу не про свой сайт, это мое хобби, увлечение, это так для души.
А парсер на самом деле мусора-сборник Так для привлечения мусора на свой сайт- rofl
lokanaft 1 ноября 2017 в 17:09 0
Ваши проблемы - это лично ваши проблемы. У парсера проблем нет.
Нужен парсер или нет - каждый решает для себя сам.
MegaRostov 1 ноября 2017 в 17:30 +1
Есть! И большие!
Поэтому я здесь и пишу.. От вас помощи ждать не стоит Вы как Фигаро!
А конкретного решения дать не можете..
Вам люди писали сделайте подробное видео всех настроек.
Ждали обновление неделями.
В итоге просто мусора-сборник. rofl
Проблема ЕСТЬ вы что говорите ИЩИТЕ прокси.. Гэ дэ покупать что ли?
lokanaft 1 ноября 2017 в 17:41 +1
Ну вообще то да. Все нормальные люди покупают прокси, если хотят надёжности.
MegaRostov 1 ноября 2017 в 17:47 0
Я думал все надежность в разработке компонента, а не в прокси.
Ну да ладно! Каждому свое..
А для пользователей сделайте видео КАК, ЧТО и Куда!
Они будут благодарны.
lokanaft 1 ноября 2017 в 17:59 +2
Как связаны надёжность компонента и надёжность прокси?
letsgo 1 ноября 2017 в 22:22 0
Парсер Локанафта хорошая штука. Но чтобы что то использовать надо понимать обстоятельства. Купили машину - заправьте бензин чтобы ездить. Претензии к авито кстати не отправляли почему они блокируют парсинг с их сайта? Это было бы более корректно.

Всё надо использовать правильно, иначе действие не сработает. Парсить - понимая, что и как сделать, чтобы это сработало.
Олег Васильевич я 1 ноября 2017 в 21:47 0
Я парсер удалил и живу спокойно.
Мудрый поступок!
А парсер это так не нужное приложение (мусора-сборник)
Сомнительное утверждение.
От lokanaft хрен чего добьешся.
Имхо, не так.
@alnikkuzmin 2 ноября 2017 в 08:23 0
Уважаемые, хватит ругаться, всё равно каждый останется при своём мнении. Подскажите лучше, что я не так делаю?
По поводу прокси, вопросы действительно не к автору парсера и отношения к работе компонента прокси имеет только косвенное. Вполне можно обойтись без них, если ограничить глубину парсинга и поиграться со временем запуска разных категорий. Это вполне компромиссный вариант. Если в вашем городе большое количество объявлений, то и перетаскивая всё на свой сайт, вы делаете сами мусоросборник. Если же брать ограниченное количество, то не потребуется прокси (как в моём случае) и доска будет поддерживаться.
skewes 16 ноября 2017 в 06:21 0
Ребята, а кто нибудь настраивал парсинг для региона?
Вот не могу понять как правильно настроить для региона и чтобы город указывал при парсинге в списке и записи объявления)
Подскажите если есть у кого решение данного вопроса)
skewes 17 ноября 2017 в 03:33 0
Всем привет!
Подскажите, пожалуйста, кто знает.
1. Почему публикуя объявления с Авипарса время публикации не изменяется?
То есть пишет 6 часов назад и все, а на следующий день вообще 2-4 часа назад.
Может дело в Кроне?

2. Настроил Крон на хостинге, но что-то он не работает или я "туплю".
Надо ли какие настройки делать в админской панели?
В "Планировщике" может быть, так как у меня там нет задания.

Спасибо за внимание!
ermakover 27 ноября 2017 в 11:11 0
У меня на одном сайте парсер работает, на другом с такими же настройками не работает.
В общем, "волшебная" штука.
Я рад, что хотя бы на одном работает. И на том спасибо.
skewes 28 декабря 2017 в 08:09 0
Всем привет!
Вообще этот парсер очень хорош и дает возможность реально экономить время!
Вопрос такого плана, кто сколько напарсил объявлений и как публиковал?
Делали рерайт объявлений или просто копипаст оставляли?
Были ли наложены санкции от поисковиков?

ВСЕХ С НАСТУПАЮЩИМ НОВЫМ ГОДОМ !!! dance
Сергей 2 июля 2018 в 16:11 0
2.10.0 Полёт нормальный, поставил на дефолт и на свой шаблон, демо задания работают как часы. Настройка парсера в свои типы контента, это уже мои проблемы, которые решились в течении часа. Для областного городка с доской объявлений, чтобы от крыть не пустой сайт, нужный, качественный, простой инструмент. Адекватная поддержка от lokanaft была и есть, ключевое слово здесь, адекватная - то есть ответы на АДЕКВАТНЫЕ вопросы.
lezginka.ru 2 июля 2018 в 20:48 0
жаль что слово "АДЕКВАТНЫЕ" имеет широкое толкование ))
skewes 15 августа 2018 в 03:51 0
Приветствую, уважаемые)))
Подскажите пожалуйста, как правильно настроить прокси?
Что у вас написано в самих настройках прокси?
Может кто нибудь скинуть скриншот или что то подобное)))
Объясните пожалуйста на пальцах, что и как надо сделать, что бы парсер заработал вновь)))
Rainbow 15 августа 2018 в 10:34 +1
Может кто нибудь скинуть скриншот или что то подобное)))

Сомневаюсь что кто то скинет)) Прокси на то они и прокси, что бы никому не показывать)
Там же дан пример маски под полем:

Формат: socks5://username:[email protected]:port

Что в нем не понятного? Вместо username - ставите username, вместо password - ставите пароль, вместо ip:port ставите IP и порт в указанном формате

В итоге получите строку примерно такого вида:

socks5://ssjfdgtr: [email protected]:8400

Разработчик правильно делает что не встревает в это.
Инструмент он дал. Подсказки в нем есть.

А уж воровать учить, в его обязанности не просто не входит, а даже несколько ... не законны))..
Rainbow 15 августа 2018 в 10:36 +1
ЗЫ: а сами прокси надо покупать... и платить за них каждый месяц.
Например здесь: proxy6.net
Сергей 15 августа 2018 в 22:07 0
Я думал помогаю гражданам, распространить информацию о товарах и услугах на просторах интернет laugh
skewes 16 августа 2018 в 19:49 0
Спасибо всем за ответы и советы)))
В общем я нашел и решил данную задачу следующим образом, но сразу скажу, что теперь у меня выскакивает капча на некоторых сайтах от Гугла, потому что я теперь ВЬЕТНАМЕЦ))) rofl

Но давайте к делу.

1. Идем на этот сайт -http://nntime.com/ - под всеми айпишниками находим ссылку - Select All Proxies - и жмем на нее.
Далее у нас окошечко ниже, в котором все эти айпишники будут, копируем их.

2. Идем сюдой - https://hidemyna.me/ru/proxy-checker/ - все скопированные айпишники вставляем в чекер лист и проверяем.
Файл с нормальными, рабочими айпишниками будет доступен для скачивания там же, в Результат проверки:скачать в .txt или таблицей в .csv или открыть в новом окне

3. Мчим на этот сайт - https://2ip.ru/ - он сразу определит ваш айпи, браузер, страну и так далее.

4. Если вы используете Гугл Хром, то вам надо зайти в Настройки браузера и в поиске написать "прокси".
Для других браузеров не знаю как, но суть думаю ясна.
Или идете в Панель управления - Свойства обозревателя - Подключения.
Что с хрома, что с браузера другого, что с панели управления, вам надо сюдой - Свойства обозревателя - Подключения.
Там внизу жмем - Настройка сети и видим прокси-сервер.
Вводите адрес и порт из текстового документа, который получили в пункте 2.
Порт после двоеточия в текстовом документе.

5. Проверяем свою работу. Заходим на сайт https://2ip.ru/ и обновляем страничку)))
Вуаля))) Если все правильно сделали, то страну и айпишник поменяете)))
Не знаю сколько будет жить данный сервак, но это бесплатно абсолютно)))
У меня на сайте 2ip почему то пишет что прокси не используется, но это и не важно, главное что парсер снова в строю)))
В самом компоненте я не смог настроить правильно прокси, поэтому пошел на такие меры)))
skewes 10 октября 2018 в 03:44 0
Всем привет)))
У меня перестал парсить телефон в сайта и из-за этого не добавляются объявления)))
Если убираю телефон, то все в порядке, парсинг работает)))
У кого как? Как бороться с этим недоразумением?
Def 10 октября 2018 в 09:11 0
а автор что говорит?) без телефонов вообще же смысл пропадает, т.к обратиться к пчеловеку будет невозможно.
skewes 10 октября 2018 в 11:20 0
Написал ему, пока молчит))) может уже ищет решение)))
ermakover 10 октября 2018 в 13:17 0
Да, есть такое дело - перестал парситься телефон, видимо на авито какие-то изменения с шаблоном объявления произошли.

И самостоятельно не поправить, потому что в шаблонах заданий телефон не прописан. Остаётся только ждать помощи от Локанавта.
Rainbow 11 октября 2018 в 14:48 +2
Написал ему, пока молчит))) может уже ищет решение)))
Ответил... Что "на днях".
Так что будем подождать).
skewes 11 октября 2018 в 15:13 +2
Подтверждаю)))
ermakover 14 октября 2018 в 14:03 0
Ну, что дорогие друзья, "на днях" уже прошло, я, как понимаю, решения проблемы нет.
@SmartControl 14 октября 2018 в 17:48 0
На авито сейчас телефона в текстовом виде больше нет. Он выводится только в виде картинки, которая возвращается сервером. Не знаю как работало раньше, но сейчас они придумали нормальный вариант, чтобы пресечь парсинг..
ermakover 14 октября 2018 в 21:18 0
Да, Вы правы, я уже посмотрел код. И у меня сложилось ощущение, что парсер авито можно похоронить. Оставался у меня только один сайт на instantcms и его придётся закрыть...
lokanaft 14 октября 2018 в 21:30 +5
Вы таким, даже не знаю, как это назвать, никак не ускорите выход обновления. Номер я уже спарсил в тот же день. Но надо ещё некоторый функционал дополнительный прикрутить.
ermakover 15 октября 2018 в 13:22 0
Ну, вот это всё, что Вы написали вчера, мне кажется и можно было бы и написать "в тот же день", когда парсер перестал работать, потому что на мой взгляд это является правильным подходам к своим клиентам и покупателем Вашего продукта.
Потому что сидеть в неведении тоже не хорошо - резкое такое падение количества контента на сайте поисковики замечают, да и пользователи тоже.
И что касается обновления, то естественно, не Ваша вина в том, что парсер перестал работать, Вы потратили своё время я готов перечислить Вам некоторую сумму, чтобы дело двинулось быстрее.
Много дать не могу - лучшие времена у меня пока ещё не настали scratch
skewes 15 октября 2018 в 08:06 +1
@SmartControl, да вроде он и до этого выводился как картинка, но lokanaft как-то его спарсил)))
ermakover, думаю не стоит торопить события, так как у всех имеются свои личные нужды, а сам парсер не 15 000 рублей стоит, поэтому думаю критичного уж точно ничего в этом нет, подождать, думаю, стоит, тем более выбор то у нас совсем не велик)))
Терпение, главное терпение)))
Сергей 18 октября 2018 в 16:05 +1
ermakover
Ну, вот это всё, что Вы написали вчера, мне кажется и можно было бы и написать "в тот же день"
Как писать, не разобравшись, не поняв, можно или нет? Проявите терпение. Позволю себе предположить, что для lokanaft, забросить разработку в которую положено столько времени и сил. Тоже наверное, не горелую спичку выбросить.
Rainbow 18 октября 2018 в 16:54 0
Связывался сегодня с разработчиком, парсером он занимается.
Как я понял обновление скоро будет готово.

Тревожит (несколько) другое, что бы на авито закончилась модернизация.
Смотрю там на днях появились новые модули, стили.

Как бы не получилось после этого обновления что потребовалось новое.
Так что как бы нам всем не хотелось, что бы было все скорее, возможно все к лучшему, пусть все идет своим чередом...
Андрей 19 октября 2018 в 10:36 0
Поддерживаю, что нужно набраться терпения...

Уважаемый lokanaft, т.к. занимаетесь доработкой парсера, можете ли добавить небольшую функцию?
Чтобы при удалении объявления из контента, удалялся бы из базы avipars авитовский id объявления...
Дело в том, что объявления показываются на авито какой-то срок...
У админов авипарса установлен свой срок показа объявлений...
Если настроено, чтобы объявление удалялось из контента после окончания срока публикации, объявление удаляется, но в авипарсе остаются следы - остается авитовский id в БД...
Таким образом, если объявление на авито вновь активируется, авипарс его не парсит...
lokanaft 19 октября 2018 в 11:24 +1
Сделал
Андрей 19 октября 2018 в 11:26 0
ОГРОМНОЕ СПАСИБО!!!
lokanaft 19 октября 2018 в 13:43 +1
Обновление всем разослано
skewes 19 октября 2018 в 13:46 0
Да, получил только что, но скажите, пожалуйста, обновляться также из папки package?
skewes 19 октября 2018 в 13:53 +1
У lokanaftа сайт огонь))) crazy
Ничего лишнего))) smoke
lokanaft.ru - не реклама разумеется)))
@elv3327 19 октября 2018 в 15:49 0
Суть сайта не ясна...
lokanaft 19 октября 2018 в 14:00 0
Прочитать файл update.txt
skewes 19 октября 2018 в 14:12 0
shock shock shock
Понятно...
А удалять с админки сайта?
lokanaft 19 октября 2018 в 14:24 0
Да
skewes 19 октября 2018 в 14:50 0
Хм...
А мне ключ не пришел никакой на почту по активации...
Старый если ввожу, пишет ошибку - Error 2...
skewes 19 октября 2018 в 14:51 0
Вернее ключ лицензии...
Старый ввожу, пишет ошибку))))
lokanaft 19 октября 2018 в 15:23 0
Да, почему то не всем ключ подставился. Отправил ещё раз всем ключ отдельно.
skewes 19 октября 2018 в 15:28 0
Спасибо, теперь все нормали стало)))
Лицензия пришла)))
skewes 19 октября 2018 в 15:41 0
Я не знаю, может что-то не то сделал, но вот что пишет в поле телефон у меня:
https://m.avito.ru/profile/login?next=/nahodka/vakansii/prodavets_-_konsultant_g._nahodka_1306194350

Или вот:
https://m.avito.ru/profile/login?next=/nahodka/vakansii/trebuetsya_elektrik_641396775
lokanaft 19 октября 2018 в 15:49 0
Ну наверное для начала стоит посмотреть через браузер, в чём именно проблема:

skewes 19 октября 2018 в 16:12 0
Хм...
Понятно, раньше только для резюме это было, сейчас и для вакансий...
Жесть))))
ermakover 19 октября 2018 в 17:05 +5
Слава-слава Локанафту, слава добрым докторам!
А ворчливым занудам, таким, как я - стыд и срам, стыд и срам!
skewes 29 октября 2018 в 13:44 +1
Здравствуйте.
Подскажите, пожалуйста, как сделать постинг контента не 5, а, допустим, 2 минуты?
*/2 * * * * - выставляем 2 минуты.
Постинг в соцсети - выставляем 2 минуты.

Есть строка в кроне задач самого компонента:
Код PHP:
  1. $tasks = $model->getPendingTasks((int)($model->getTime() / ($front->options['pause'] + $na_odno) + 3));
Может здесь надо 0 поставить?
Что значит цифра 3? Пауза какая-то?
Или еще где надо что сделать? Подскажите пожалуйста)))
skewes 30 октября 2018 в 05:24 0
Ой, простите ребята, это же в постинг надо писать))) crazy facepalm facepalm

Что-то я совсем уже))) stuk
Rainbow 20 ноября 2018 в 13:19 +1
У всех все нормально?
Перестал парсить...
ermakover 20 ноября 2018 в 14:40 0
Да, так и есть.
Парсит только у skewes.
У меня умерло всё вчера 19.11.2018 в 16.00. И странно - поначалу проверял IP сайтов - объявление успешно! Телефон - успешно! Теперь телефон -ошибка.
Не парсятся объявления - висят Time Out - время вышло, три попытки - пустое объявление.
Слава Богу не у меня одного сломалось, а то я с утра сижу и думаю - как могли все два сайта помереть дружно в одно и то же время?

Сложная задача у Локанафта. Они там всё время мудрят что-то, чтобы предотвратить парсинг. Но нас не победишь!
Rainbow 20 ноября 2018 в 23:07 0
Изменился шаблон вывода категорий на авито для мобильного (так думаю).
Пока разработчика нет, нашел временное решение, так как не смог разобраться какие контейнеры теперь используются в мобильном.
Спойлер
lokanaft 20 ноября 2018 в 23:07 0
Изменилась вёрстка категорий. Надо изменить шаблон парсинга категорий. Смотреть на мобильной версии.
Rainbow 20 ноября 2018 в 23:21 0
Надо изменить шаблон парсинга категорий. Смотреть на мобильной версии.

Пробовал, трудно угадать, что на что изменилось (где что было и чем стало)... в общем не получилось.
lokanaft 20 ноября 2018 в 23:24 +1
Там же всего 2 поля - контейнер и ссылки на объявы. Не надо искать, как было, надо просто заново написать новое по атрибутам, классы сейчас динамические.
ermakover 21 ноября 2018 в 02:44 +2
Путь к списку объявлений [data-marker="items/list"]

Путь от списка к ссылке на объявление [itemprop="url"]

Вот, как-то так scratch
ermakover 21 ноября 2018 в 03:50 0
Рано обрадовался. Некоторое время поработали эти настройки на двух сайтах, парсер поставил объявления в очередь задач и несколько выставил на сайт. И всё заглохло. Стала выдаваться ошибка.
ermakover 21 ноября 2018 в 04:00 0
Наспамил тут zst
Вроде работает. Просто надо было включать объявления постепенно, а не сразу все 100 заданий.
ermakover 21 ноября 2018 в 14:33 0
На поиске правда не работает. Раньше можно было ввести /rossiya/sobaki?query=салюки и получить парсинг в категорию, которой в авито нет. Теперь никакие манипуляции не помогают, при поисковом запросе выводит какие попало объявления не по теме.
И никакие манипуляции не помогают. А это очень важная была штука для SEO.
Надеюсь, Локанафт поможет решить эту проблему.
Хотя, судя по тому, что я сам с собой переписываюсь, это никому особо не нужно.
skewes 8 декабря 2018 в 06:59 0
Интересно, у меня только машины и квартиры парсит, а еще и услуги, все, остальные категории не парсит почему то)))
У кого-нибудь подобное наблюдается?
Саня 8 декабря 2018 в 18:55 0
Я тут посмотрел, что для того чтобы увидеть номер телефона в разделе "Работа", нужно заплатить))) При том не кисло... просмотр одного номера около 30 рублей)))
skewes 14 декабря 2018 в 15:25 0
Ребята, у всех парсит?
skewes 17 декабря 2018 в 11:48 0
Ничего не понимаю)))
В общем парсит недвижимость и все.
Все остальные категории не хочет парсить.
Проверял, сравнивал, пробовал сделать как писали выше, менял прокси-сервер, ничего не получается...
Ребята, подскажите пожалуйста, что надо сделать чтобы парсер заработал снова)))
Capitan 17 декабря 2018 в 12:07 0
я так понимаю потому что авито практически полностью изменил свою структуру.
skewes 17 декабря 2018 в 16:18 0
Да вроде у ребят то парсит, а у меня все отказали, кроме услуги, недвижимость и пару авто)))
Ничего не трогал но и причину понять не могу, так как сверял шаблоны...
Rainbow 17 декабря 2018 в 17:34 0
skewes попробуйте дублировать те что парсят изменив ссылки на нужные.
Хотя бы для того что бы определится: не правильное задание или проблема на стороне авито...
skewes 17 декабря 2018 в 19:20 0
Rainbow, спасибо за подсказку, но нет, не работает и так)))
Даже просто оставил пару полей - Описание, заголовок, телефон, фото и все без толку.
Главное, когда жмешь "Выполнить сейчас" - он пишет что ОК все, галочку ставит, но в очереди задач ничего не отображается)))
Rainbow 17 декабря 2018 в 21:15 0
но нет, не работает и так)))

Раз рабочие задания перестают парсить, значит проблема в том откуда парсит...

Смотрите чем отличаются категории с которых парсит и нет.
Больше что тут подскажешь....
Сергей 6 февраля 2019 в 18:15 0
Как заполнить хитрое поле в базе вот так:
---
- 59
- 49
- n_1
- 0
всё надо с новой строки, иначе не работает. Чем обработать? Когда вставляю заменить на, или равно чему? То в базу пишет в одну строку?
lokanaft 6 февраля 2019 в 18:27 +1
Новые строки начинать с \n
Сергей 6 февраля 2019 в 18:48 0
Читал у гоши про \n, но всё равно не понимаю, в каком виде их надо предоставить AviPars, чтобы он их в базу не писал? Надо обернуть чем то?
lokanaft 6 февраля 2019 в 19:43 +1
Больше ничем после этого не обрабатывается? Я у себя проверил, переносы присутствуют.
ermakover 26 февраля 2019 в 11:35 +1
Вчера из мобильного шаблона Авито во многих категориях исчезло местоположение и перестал парситься город.
Есть строка в коде:
"item":{"refs":{"locations":{"637640":{"name":"Москва"}}
но что-то не получается сделать путь, чтобы спарсить город.
Может кто-то найдётся поумнее меня, чтобы прописать путь для парсинга???
Rainbow 6 июня 2019 в 09:24 0
Опять что то сломалось, перестал работать ((
Никто сам не разобрался в чем причина?
ermakover 6 июня 2019 в 11:09 0
Сломалось всё.
Все пути на авито теперь новые.
Кроме того, сегодня m.avito.ru вообще перестал открываться в браузере на компе.
Редиректит на десктопную версию.
Защищаются от парсинга.
Локанафт разработчик умелый, но раз в три месяца всё переделывать ему поднадоело, наверное.
ermakover 6 июня 2019 в 11:22 0
Вот Локанафт мне ответил:

Не надо ничего менять, надо в настройках юзерагент прописать мобильный:

Код TXT:
Mozilla/5.0 (Linux; Android 7.1; Mi A1 Build/N2G47H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.83 Mobile Safari/537.36

Оказывается всё просто, если есть ум в голове...
Rainbow 11 июля 2019 в 18:59 0
Может кто знает как сделать...?
Спойлер