Директива Crawl-delay — тоже уже устарела.
«С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay.
Чтобы задать скорость, с которой роботы будут загружать страницы сайта, используйте Скорость обхода сайта в Яндекс.Вебмастере.»
neol
0
Репутация
0
Рейтинг