Яндекс внес изменения в обработку файла robots.txt

 
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1899
До обновления обработки robots.txt, пустая директива Allow: равнялась Disallow:.
Равнозначно запрещала индексирование, теперь это отменено.

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Сейчас оно игнорируется при обнаружении в robots.txt. Если вебмастер намеренно использует пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Если кто то использует такие конструкции, само время поменять.
Яндекс внес изменения в обработку файла robots.txt


Disallow: /
или
Disallow: *
Редактировалось: 1 раз (Последний: 13 июня 2016 в 20:12)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 1989
Спасибо за инфу, пригодится.
NOP
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.