яндекс вебмастер, robots.txt
Disallow: /maps/abuse*
Disallow: /maps/embed-code*
User-Agent: Googlebot
Allow: /
User-agent: Yandex
Allow: /
User-Agent: *
Allow: /
Мне всегда было интересно видеть как люди тупо пишут директиву Allow в роботсе не подозревая что инструкции для нее нет, файл роботс ни чего не разрешает, в нем можно только запрещать, запомните это.
Писали что Google и Yandex вроде как будут пытаться понимать Allow, но алгоритм их ботов загадка.
К сожалению, существует большой разрыв между тем, каким хотят получить robots разработчики Яндекса, и тем, что отдают вебмастера.
Для танкистов:
Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере.
Думается там экспериментов в том числе и неудачных больше, чем у начинающих вебмастеров, но увы все за семью замками поскольку -это всемирная паутина.
Простой пример! С год назад у меня пракически перестал идти полностью траф с картинок и фотографий, хотя они подписаны вручную и досканально, но сейчас год спустя я наблюдаю значительную часть трафика по картинкам.Видимо алгоритмики-мат… их… пи-пи...) поняли, что получат кучу мусора себе же поскольку люди, а точнее вебмастера перестанут описывать картинки.Им этого хлама от большинства пользователей хватает, поскольку практически единицы так скурпулезно прописывают фото.
Но стимул денег.делает свое дело, но жадность яндекса также не знает предела и границ.