ermakover

Вчера из мобильного шаблона Авито во многих категориях исчезло местоположение и перестал парситься город.
Есть строка в коде:
"item":{"refs":{"locations":{"637640":{"name":"Москва"}}
но что-то не получается сделать путь, чтобы спарсить город.
Может кто-то найдётся поумнее меня, чтобы прописать путь для парсинга???

Нет, я и не искал. Я по статистике посмотрел - у меня редко кто на главной объявления листает. Обычно переходят в нужную категорию, а там всё работает.

Это после правки из "Решения". А страница в адресной строке браузера отображается такая - https://mysite.ru/?page=3
Хотя находимся на главной.

Проверил на двух сайтах.
В контенте по умолчанию в категориях контента пагинация работает.
А вот из главной страницы контента, например, https://mysite.ru/board - если board - контент по умолчанию, выбрасывает на Главную страницу сайта.

Понял, как сделать .

Код php надо добавить со страницы https://last-modified.com/ru/last-modified-if-modified-since-php.html в main.tpl.php

Теперь работает корректно.

Ну, я думал этот код уже присутствует в коде записей или настройки есть - включить-отключить.

Я про это и написал, что карта сайта в этой версии даёт дату последнего изменения записи "Формировать тег lastmod".

Но сама запись любого типа контента не отдаёт HTTP заголовков Last-Modified и If-Modified-Since, про что написано в той самой ссылке, которую Вы дали - https://last-modified.com/ru/if-modified-since.html

Где вот это настраивается - в большинстве записей добавлена поддержка механизма Last-Modified;????

У меня записи не отдают Last-Modified и тем более If-Modified-Since - 304 Not Modified.

И настройки я не нашёл, где это сделать.

* В большинстве записей добавлена поддержка механизма Last-Modified;

Поддержка Last-Modified добавлена только в карту сайта "Формировать тег lastmod". В тексте контента тэга If-Modified-Since

нет.
Ну, по крайней мере в карте сайта есть и то хорошо.

Большая работа проделана FUSE. Огромное спасибо!
Кто уже обновился - такой вопрос.
Карта сайта теперь формирует ссылки на категории и категории плюс наборы?
Или, как раньше - только на страницы контента?
Потому, что я увидел на картинке только приоритет и частоту изменения страниц.
А вот формировании ссылок на категории нет.

На мой взгляд теги - это вчерашний день. Я их нигде не использую. Но это моё субъективное мнение.
Кстати, в сео полях наборов можно использовать переменные {имя_поля}.

Тэги, пагинация, наборы - всё это в InstantCMS вообще рискованно использовать, потому, что создаются десятки тысяч страниц с одинаковым мета-описанием.
У меня robots.txt был величиной с "Войну и мир", когда я вопросом этим был озабочен.
Умельцы вообще советуют писать разные параметры для Гугла и Яндекса в robots.txt. Потому, что для Yandex отлично для Google может быть криминалом.
Сейчас вот я заметил, что карта сайта стала для ведущих поисковиков источником информации, а в Инстанте карта сайта формируется только по контенту. А надо бы, чтобы и категории туда передавались. И категории плюс наборы.
Буквально вчера смотрел рекомендации от Google вебмастера внести определённую категорию в карту сайта, потому что она хорошо посещаема, а в карте сайта её нет.
Опять же поиск с недавнего времени происходит по гео-локации. Поисковики выдают по запросу ближайшие объекты. Вернее, которые они считают ближайшими по своим данным. То есть раскрутить автосервис в Воронеже можно, а каталог автосервисов по России уже не прокатит.
Сейчас вообще всё поменялось. Кросспостинг в соцсети даёт нулевой результат. Да и соцсети многим поднадоели. Группы, даже многочисленные, не дают трафика.
Люди залезли в свои смартфоны. Всю информацию они могут получить от Яндекса и Гугла. Прочие сайты, особенно мелкие, в большинстве своём никому не нужны.

На поиске правда не работает. Раньше можно было ввести /rossiya/sobaki?query=салюки и получить парсинг в категорию, которой в авито нет. Теперь никакие манипуляции не помогают, при поисковом запросе выводит какие попало объявления не по теме.
И никакие манипуляции не помогают. А это очень важная была штука для SEO.
Надеюсь, Локанафт поможет решить эту проблему.
Хотя, судя по тому, что я сам с собой переписываюсь, это никому особо не нужно.

Наспамил тут
Вроде работает. Просто надо было включать объявления постепенно, а не сразу все 100 заданий.

Рано обрадовался. Некоторое время поработали эти настройки на двух сайтах, парсер поставил объявления в очередь задач и несколько выставил на сайт. И всё заглохло. Стала выдаваться ошибка.

Путь к списку объявлений [data-marker="items/list"]

Путь от списка к ссылке на объявление [itemprop="url"]

Вот, как-то так

Да, так и есть.
Парсит только у skewes.
У меня умерло всё вчера 19.11.2018 в 16.00. И странно - поначалу проверял IP сайтов - объявление успешно! Телефон - успешно! Теперь телефон -ошибка.
Не парсятся объявления - висят Time Out - время вышло, три попытки - пустое объявление.
Слава Богу не у меня одного сломалось, а то я с утра сижу и думаю - как могли все два сайта помереть дружно в одно и то же время?

Сложная задача у Локанафта. Они там всё время мудрят что-то, чтобы предотвратить парсинг. Но нас не победишь!

Народ давно уже оценил Ваши разработки, Денис Васильевич. Они работают какое-то время, а потом перестают работать. И Вы никак на это не реагируете. То же касается и Вашей разработки с релевантным видео. Она чудесно проработала несколько месяцев и умерла. Я даже писать Вам не стал, помня прошлые письма про кривые руки и "у меня на сайте всё работает". Просто удалил.

Слава-слава Локанафту, слава добрым докторам!
А ворчливым занудам, таким, как я - стыд и срам, стыд и срам!

Ну, вот это всё, что Вы написали вчера, мне кажется и можно было бы и написать "в тот же день", когда парсер перестал работать, потому что на мой взгляд это является правильным подходам к своим клиентам и покупателем Вашего продукта.
Потому что сидеть в неведении тоже не хорошо - резкое такое падение количества контента на сайте поисковики замечают, да и пользователи тоже.
И что касается обновления, то естественно, не Ваша вина в том, что парсер перестал работать, Вы потратили своё время я готов перечислить Вам некоторую сумму, чтобы дело двинулось быстрее.
Много дать не могу - лучшие времена у меня пока ещё не настали

Да, Вы правы, я уже посмотрел код. И у меня сложилось ощущение, что парсер авито можно похоронить. Оставался у меня только один сайт на instantcms и его придётся закрыть...