Что нового?
Поскольку с настройкой многим пришлось туго, в этой версии устанавливается демо тип контента с заданиями, которые сразу готовы к работе. Вам остаётся лишь скопировать в свой тип контента свойства категорий и склонировать задания.Сразу в заданиях настроено поле карты, которое выводит координаты из объявления на Авито.
Появился вывод очереди задач на парсинг и возможно вручную запустить как задание, так и задачу.
Фотографии теперь складываются в разные папки по 1000шт.
В дополнительных обработчиках теперь есть условия, благодаря чему можно сократить некоторые операции.
Видео
Как обновить?
Обновления были высланы всем в начале недели.Стандартным способ устанавливается через админку, ваши прежние задания при этом не пострадают, все остальные инструкции содержатся в архиве.
Работает на версии движка как 2.2.1, так и на 2.3.0.
Ознакомившись с работой подобных разработчиков, осознаешь свою бездарность в этом плане ;)
работает как часики...
томлюсь в ожидании следующего чуда - универсального парсера...
Warning: array_shift() expects parameter 1 to be array, boolean given in путь/шаблон/content/places_item.tpl.php on line 62
Снимок настройки бы, посмотреть?
В остальном всё ОК, компонент отличный, рубит авито как капусту.
lokanaft , грамотно всё устроил даже не могу представить что дальше, товары к подъезду парсить можно будет?
Как работает с текущей 2.4.1?
Не увидел где в настройках выбора города для парсинга?
Возможно ли, чтобы компонент парсил в базовый тип компонента с урл /board?
Остается ли у пользователей возможность добавления своих объявлений?
Можно ли указать, чтоб парсер брал в качестве авторов объявлений рандомно юзеров из определенной группы?
На обновлённом сайте 2.3.0 - 2.4.0 всё в порядке, может от AviPars 2 какие файлы загрузить надо?
скорее всего это после обновления instantcms поседнего
Карта - Ссылка на объявление:
Вставляем : https://www.avito.ru/sankt-peterburg/vakansii/promouter_rasprostranitel_219688560
Срезает до: sankt-peterburg/vakansii/promouter_rasprostranitel_219688560
и ничего не происходит.
При настройке Шаблонов объявлений пишет: Ошибки в настройках путей! и тоже ничего не происходит.
В Шаблоны объявлений был добавлен блок метро div.clearfix:nth-child(5) > div:nth-child(4) но сейчас парсит без того что было добавлено мною ранее.
Сайт на стадии сборки, так что это не критично.
Уважаемый lokanaft, надеюсь на поддержку.
Для вновь прибывших на instantcms, ответственно заявляю - компонент отлично работает на последней версии движка , поддержка как видите оказывается как (скорая помощь), в течении трёх минут.
Где порыть, что до грузить, как поправить сие чудо?
Авипарс работает отлично, спасибо lokanaft .
И Вопрос когда ждать обновление?
Спасибо за быстрый и понятный ответ..
Получено...
На письма не отвечаете, в инстанте тоже, на видео не увидел. Решил опубликовать здесь может хоть скрин выложите.
Спасибо.
а подскажи как в задании работа, парсить номера телефонов резюме, авито требует авторизации для того что бы просматривать номер телефона в резюме
отредактировал строку до вида как на картинке:
.item > .description .title > a
все заработало...
Большое спасибо!
Вот так по всем заданиям! Что может быть?
Как прокси не понятно, т.к я этот путь уже пробовал и он не помогает
Подскажите что именно нужно делать?
http://skrinshoter.ru/s/150717/4Lp5Gs
проблема в том, что при одних и тех же настройках какие-то объявления парсит, а большинство пустышки...
Но сначала советую еще раз проверить всё настройки...
Это уже супернаглость.
Что касается "обновление не получат" - я платил за сам компонент и как следствие за обновления.
Но у кого из разработчиков будут платные обновления, у того их никто не будет покупать.
По тому как обновления, это по сути исправление допущенных ранее ошибок.
Почему я должен платить за чужие ошибки?
Сейчас требуется совсем небольшая правка, даже не надо разбираться в вёрстке авито.
Для начала следует выяснить, что задание на Автомобили всё таки работает. Заметить, что в этом задании при настройке в предпросмотре строк появляются данные, а в других заданиях - нет. Из этого следует, что надо проверить Шаблон парсинга объявления этого конкретного задания. Выяснить, что у него в предпросмотре тоже нет данных. После этого сравнить, чем же отличаются шаблон на Автомобили и на другие категории и внести необходимые правки.
Что только не делал ошибка!
Искал не подходят.
Дайте или найдите список и выложите ПРЯМ ЗДЕСЬ пускай люди пользуются.
Так как ГДЕ ТО искать не зная даже место это глупо...
Дайте ссылку где есть рабочие или как написано выше выложите список ДЛЯ ВСЕХ.
Они проверяют прокси, ну было пару раз, что из 10-ти не работало пара штук, а так каждый месяц беру разные.
Сейчас не беру правда, парсю с IP сайта.
Что касается работоспособности парсера, то пока не работает.
Проверяю чекером - поле объявление и телефон парсятся успешно, но сами объявления перестали. Попробую пройти заново настройки шаблона.
Я парсю-то только с раздела "Собаки".
Я проверил div class в шаблонах авипарс и на сайте авито - они не изменились.
Вот путь к контейнеру изменился - вместо .l-content.clearfix надо написать .l-content.js-l-content
У меня заработало. Тоже они на авито как могут защищаются от парсинга.
Может где на видео пропустил или не понял, но можно ли спарсить с категории Авито в любую категорию у себя на сайте, не в ту, как на Авито.
То есть из категории "Квартиры" в "Продажа квартир" на своем сайте, далее уже свойствами выставляем 1,2-х и т.д.
Может кто подскажет, какие данные нужно прописать в пути к контейнеру и к полям? Или я вообще не в той стороне ищу?
Если ваш сайт интересен, люди будут без парсера объявления на вашем сайте писать.
А парсер это так не нужное приложение (мусора-сборник)
Я попользовался и понял что это фигня. Пускай другие к тому же решению придут немного по позже.
Я пишу не про свой сайт, это мое хобби, увлечение, это так для души.
А парсер на самом деле мусора-сборник Так для привлечения мусора на свой сайт-
Нужен парсер или нет - каждый решает для себя сам.
Поэтому я здесь и пишу.. От вас помощи ждать не стоит Вы как Фигаро!
А конкретного решения дать не можете..
Вам люди писали сделайте подробное видео всех настроек.
Ждали обновление неделями.
В итоге просто мусора-сборник.
Проблема ЕСТЬ вы что говорите ИЩИТЕ прокси.. Гэ дэ покупать что ли?
Ну да ладно! Каждому свое..
А для пользователей сделайте видео КАК, ЧТО и Куда!
Они будут благодарны.
Всё надо использовать правильно, иначе действие не сработает. Парсить - понимая, что и как сделать, чтобы это сработало.
По поводу прокси, вопросы действительно не к автору парсера и отношения к работе компонента прокси имеет только косвенное. Вполне можно обойтись без них, если ограничить глубину парсинга и поиграться со временем запуска разных категорий. Это вполне компромиссный вариант. Если в вашем городе большое количество объявлений, то и перетаскивая всё на свой сайт, вы делаете сами мусоросборник. Если же брать ограниченное количество, то не потребуется прокси (как в моём случае) и доска будет поддерживаться.
Вот не могу понять как правильно настроить для региона и чтобы город указывал при парсинге в списке и записи объявления)
Подскажите если есть у кого решение данного вопроса)
Подскажите, пожалуйста, кто знает.
1. Почему публикуя объявления с Авипарса время публикации не изменяется?
То есть пишет 6 часов назад и все, а на следующий день вообще 2-4 часа назад.
Может дело в Кроне?
2. Настроил Крон на хостинге, но что-то он не работает или я "туплю".
Надо ли какие настройки делать в админской панели?
В "Планировщике" может быть, так как у меня там нет задания.
Спасибо за внимание!
В общем, "волшебная" штука.
Я рад, что хотя бы на одном работает. И на том спасибо.
Вообще этот парсер очень хорош и дает возможность реально экономить время!
Вопрос такого плана, кто сколько напарсил объявлений и как публиковал?
Делали рерайт объявлений или просто копипаст оставляли?
Были ли наложены санкции от поисковиков?
ВСЕХ С НАСТУПАЮЩИМ НОВЫМ ГОДОМ !!!
Подскажите пожалуйста, как правильно настроить прокси?
Что у вас написано в самих настройках прокси?
Может кто нибудь скинуть скриншот или что то подобное)))
Объясните пожалуйста на пальцах, что и как надо сделать, что бы парсер заработал вновь)))
Сомневаюсь что кто то скинет)) Прокси на то они и прокси, что бы никому не показывать)
Там же дан пример маски под полем:
Формат: socks5://username:password@ip:port
Что в нем не понятного? Вместо username - ставите username, вместо password - ставите пароль, вместо ip:port ставите IP и порт в указанном формате
В итоге получите строку примерно такого вида:
socks5://ssjfdgtr: nD6Bfhjj@188.305.12.45:8400
Разработчик правильно делает что не встревает в это.
Инструмент он дал. Подсказки в нем есть.
А уж воровать учить, в его обязанности не просто не входит, а даже несколько ... не законны))..
Например здесь: proxy6.net
В общем я нашел и решил данную задачу следующим образом, но сразу скажу, что теперь у меня выскакивает капча на некоторых сайтах от Гугла, потому что я теперь ВЬЕТНАМЕЦ)))
Но давайте к делу.
1. Идем на этот сайт -http://nntime.com/ - под всеми айпишниками находим ссылку - Select All Proxies - и жмем на нее.
Далее у нас окошечко ниже, в котором все эти айпишники будут, копируем их.
2. Идем сюдой - https://hidemyna.me/ru/proxy-checker/ - все скопированные айпишники вставляем в чекер лист и проверяем.
Файл с нормальными, рабочими айпишниками будет доступен для скачивания там же, в Результат проверки:скачать в .txt или таблицей в .csv или открыть в новом окне
3. Мчим на этот сайт - https://2ip.ru/ - он сразу определит ваш айпи, браузер, страну и так далее.
4. Если вы используете Гугл Хром, то вам надо зайти в Настройки браузера и в поиске написать "прокси".
Для других браузеров не знаю как, но суть думаю ясна.
Или идете в Панель управления - Свойства обозревателя - Подключения.
Что с хрома, что с браузера другого, что с панели управления, вам надо сюдой - Свойства обозревателя - Подключения.
Там внизу жмем - Настройка сети и видим прокси-сервер.
Вводите адрес и порт из текстового документа, который получили в пункте 2.
Порт после двоеточия в текстовом документе.
5. Проверяем свою работу. Заходим на сайт https://2ip.ru/ и обновляем страничку)))
Вуаля))) Если все правильно сделали, то страну и айпишник поменяете)))
Не знаю сколько будет жить данный сервак, но это бесплатно абсолютно)))
У меня на сайте 2ip почему то пишет что прокси не используется, но это и не важно, главное что парсер снова в строю)))
В самом компоненте я не смог настроить правильно прокси, поэтому пошел на такие меры)))
У меня перестал парсить телефон в сайта и из-за этого не добавляются объявления)))
Если убираю телефон, то все в порядке, парсинг работает)))
У кого как? Как бороться с этим недоразумением?
И самостоятельно не поправить, потому что в шаблонах заданий телефон не прописан. Остаётся только ждать помощи от Локанавта.
Так что будем подождать).
Потому что сидеть в неведении тоже не хорошо - резкое такое падение количества контента на сайте поисковики замечают, да и пользователи тоже.
И что касается обновления, то естественно, не Ваша вина в том, что парсер перестал работать, Вы потратили своё время я готов перечислить Вам некоторую сумму, чтобы дело двинулось быстрее.
Много дать не могу - лучшие времена у меня пока ещё не настали
ermakover, думаю не стоит торопить события, так как у всех имеются свои личные нужды, а сам парсер не 15 000 рублей стоит, поэтому думаю критичного уж точно ничего в этом нет, подождать, думаю, стоит, тем более выбор то у нас совсем не велик)))
Терпение, главное терпение)))
Как я понял обновление скоро будет готово.
Тревожит (несколько) другое, что бы на авито закончилась модернизация.
Смотрю там на днях появились новые модули, стили.
Как бы не получилось после этого обновления что потребовалось новое.
Так что как бы нам всем не хотелось, что бы было все скорее, возможно все к лучшему, пусть все идет своим чередом...
Уважаемый lokanaft, т.к. занимаетесь доработкой парсера, можете ли добавить небольшую функцию?
Чтобы при удалении объявления из контента, удалялся бы из базы avipars авитовский id объявления...
Дело в том, что объявления показываются на авито какой-то срок...
У админов авипарса установлен свой срок показа объявлений...
Если настроено, чтобы объявление удалялось из контента после окончания срока публикации, объявление удаляется, но в авипарсе остаются следы - остается авитовский id в БД...
Таким образом, если объявление на авито вновь активируется, авипарс его не парсит...
Ничего лишнего)))
lokanaft.ru- не реклама разумеется)))Понятно...
А удалять с админки сайта?
А мне ключ не пришел никакой на почту по активации...
Старый если ввожу, пишет ошибку - Error 2...
Старый ввожу, пишет ошибку))))
Лицензия пришла)))
https://m.avito.ru/profile/login?next=/nahodka/vakansii/prodavets_-_konsultant_g._nahodka_1306194350
Или вот:
https://m.avito.ru/profile/login?next=/nahodka/vakansii/trebuetsya_elektrik_641396775
Понятно, раньше только для резюме это было, сейчас и для вакансий...
Жесть))))
А ворчливым занудам, таким, как я - стыд и срам, стыд и срам!
Подскажите, пожалуйста, как сделать постинг контента не 5, а, допустим, 2 минуты?
*/2 * * * * - выставляем 2 минуты.
Постинг в соцсети - выставляем 2 минуты.
Есть строка в кроне задач самого компонента:
Что значит цифра 3? Пауза какая-то?
Или еще где надо что сделать? Подскажите пожалуйста)))
Что-то я совсем уже)))
Перестал парсить...
Парсит только у skewes.
У меня умерло всё вчера 19.11.2018 в 16.00. И странно - поначалу проверял IP сайтов - объявление успешно! Телефон - успешно! Теперь телефон -ошибка.
Не парсятся объявления - висят Time Out - время вышло, три попытки - пустое объявление.
Слава Богу не у меня одного сломалось, а то я с утра сижу и думаю - как могли все два сайта помереть дружно в одно и то же время?
Сложная задача у Локанафта. Они там всё время мудрят что-то, чтобы предотвратить парсинг. Но нас не победишь!
Пока разработчика нет, нашел временное решение, так как не смог разобраться какие контейнеры теперь используются в мобильном.
Пробовал, трудно угадать, что на что изменилось (где что было и чем стало)... в общем не получилось.
Путь от списка к ссылке на объявление [itemprop="url"]
Вот, как-то так
Вроде работает. Просто надо было включать объявления постепенно, а не сразу все 100 заданий.
И никакие манипуляции не помогают. А это очень важная была штука для SEO.
Надеюсь, Локанафт поможет решить эту проблему.
Хотя, судя по тому, что я сам с собой переписываюсь, это никому особо не нужно.
У кого-нибудь подобное наблюдается?
В общем парсит недвижимость и все.
Все остальные категории не хочет парсить.
Проверял, сравнивал, пробовал сделать как писали выше, менял прокси-сервер, ничего не получается...
Ребята, подскажите пожалуйста, что надо сделать чтобы парсер заработал снова)))
Ничего не трогал но и причину понять не могу, так как сверял шаблоны...
Хотя бы для того что бы определится: не правильное задание или проблема на стороне авито...
Даже просто оставил пару полей - Описание, заголовок, телефон, фото и все без толку.
Главное, когда жмешь "Выполнить сейчас" - он пишет что ОК все, галочку ставит, но в очереди задач ничего не отображается)))
Раз рабочие задания перестают парсить, значит проблема в том откуда парсит...
Смотрите чем отличаются категории с которых парсит и нет.
Больше что тут подскажешь....
---
- 59
- 49
- n_1
- 0
всё надо с новой строки, иначе не работает. Чем обработать? Когда вставляю заменить на, или равно чему? То в базу пишет в одну строку?
Есть строка в коде:
"item":{"refs":{"locations":{"637640":{"name":"Москва"}}
но что-то не получается сделать путь, чтобы спарсить город.
Может кто-то найдётся поумнее меня, чтобы прописать путь для парсинга???
Никто сам не разобрался в чем причина?
Все пути на авито теперь новые.
Кроме того, сегодня m.avito.ru вообще перестал открываться в браузере на компе.
Редиректит на десктопную версию.
Защищаются от парсинга.
Локанафт разработчик умелый, но раз в три месяца всё переделывать ему поднадоело, наверное.
Не надо ничего менять, надо в настройках юзерагент прописать мобильный:
Код TXT:
Mozilla/5.0 (Linux; Android 7.1; Mi A1 Build/N2G47H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.83 Mobile Safari/537.36
Оказывается всё просто, если есть ум в голове...
Судя по всем у Вас поделился так
0 - Помещение свободного назначения
1 - 164 м2
Ставите индекс 0 и будет Вам ваш заголовок.
Я бы сам даже и внимания не обратил - пользователи написали.
Локанафту написал, пока ответа нет.
У кого парсер включён - на данный момент задачу по крону лучше отключить, чтобы сайт не наполнялся объявлениями без номера.
Каждые пол года у них "новшества"
Нас двое.
Я уж давненько подумываю забросить свой последний проект на InstantCMS, да жалко вложенных трудов.
А вот и повод подкатил...
Локанафт на этот сайт месяц не заходил, на письма не отвечает.
Буду надеяться на лучшее. Мне пока парс нужен...
А неработающий авипарс не приносит доход моему сайту.
Пусть доход небольшой - 8-10 тыс. в месяц, но и это тоже деньги.
И вот сейчас без новых объявлений посещаемость упала и доход, соответственно, тоже.
Локанафт на письма не отвечает, на сайт не заходит.
И это не первый и не последний раз такое повторяется.
И не первый, и не последний разработчик, который исчезает.
Будь проклят тот день, когда я сел за баранку этого пылесоса!
Я вроде ничего не менял, никакие настройки не трогал.
Пытался в редактировании шаблона парсинга разобраться, в нём тоже вроде все поля читаются, кроме descroption.
Пишет - "Найдено но внутри пусто!"
В общем, не знаю, куда и копать.
Есть настройка ключа для парсинга телефона, но где его искать этот ключ, я так и не смог найти.
@decoy у всех работает... смотрите проблему у себя...
Проверьте ссылки на мобильной (в Хроме через инструмент разработчика) версии, некоторые изменились.
У ermakover ip забанили потому что без прокси был...
Вы это писали две недели назад, кроме этого Вы показали два скрина.
это вся полезная информация от Вас...
Последний вариант от меня...
Вы же проверили новый хостинг на соответствие требованиям?
Версия PHP какая стоит? А Ион Куб к ней подходит (совпадает с версией PHP)?
Вот опять... Из какого архива? Там в последнем архиве был только один файл (и тот в левой в паке)...
:
MySQL server has gone away
SELECT i.*, j.lm_time as `lm_time`
FROM cms_l_avipars_tasks i
LEFT JOIN cms_l_avipars_jobs as j ON j.id = i.job_id
WHERE (j.is_pub = '1') AND (j.lm_last_added < DATE_SUB(NOW(), INTERVAL IFNULL(j.lm_time, 0) minute))
ORDER BY i.id desc
LIMIT 14
Последние вызовы:
cmsModel->get()
@ /system/controllers/lavipars/model.php : 0
modelLAviPars->getPendingTasks()
@ /cron_l_avipars.php : 38
у меня было, если не стояла галочка "Публиковать сразу" новое задание не сохранялось...
А потом уже можно убрать.
Может быть какие то другие изменения приводят к Вашей ошибке.
Вообще смотрите гугл ошибка MySQL server has gone away, означает недостаточное время выполнения для запроса...
Как лечить там тоже есть.
Можно конечно пытаться разбираться с этим...
НО не проще ли просто сменить хостинг, раз проблема появилась при смене хостинга...
можете сделать скрины шаблона обьявлений и шаблона категорий?может что то не так у меня,я просто в этом деле новичок,сам не найду пути
Писал уже... Если проблема появилась с изменением хостинга, и как выяснили в парсере ни чего не менялось, не логично ли предположить, что дело в хостинге и сменить его (или разбираться с ним)...
Довольно частая проблема при переносе на другой хостинг...
Что значит сменился? Поменяйте на любой свой какой нравится или найдете...
Тот что был пока вроде не забанен...
успешно объявление и успешно и телефон, я так понимаю там должно появится объявление обозначенное по ссылке? У меня ни разу в этих полях ничего не появилось
/blogs/lunyi-blog/obnovlenie-parsera-avito-dlja-icms2-avipars-3.html#comment_107668
У меня парсер перестал парсить на двух сайтах одновременно 18.06.2020 в 00.12
Парсинг идёт через прокси, думаю, если у всех работает, то дело в них.
Как у кого с парсером авито дела обстоят?
28 августа было обновление, до этого 25 июня.
Пилит наверно очередное.
Ребята, всем привет)))
А компонент поддерживается? Работает у кого на сайтах?