Яндекс внес изменения в обработку файла robots.txt

#1 13 июня 2016 в 20:11
До обновления обработки robots.txt, пустая директива Allow: равнялась Disallow:.
Равнозначно запрещала индексирование, теперь это отменено.

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Сейчас оно игнорируется при обнаружении в robots.txt. Если вебмастер намеренно использует пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:


Если кто то использует такие конструкции, само время поменять.
Иллюстрация

Disallow: /
или
Disallow: *
#2 13 июня 2016 в 20:21
Спасибо за инфу, пригодится.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.