Опять robots.txt, яндекс

яндекс вебмастер, robots.txt

#61 16 февраля 2014 в 13:58
Правильно понимаю?
Disallow: /maps/abuse*
Disallow: /maps/embed-code*
#62 18 февраля 2014 в 01:57

User-Agent: Googlebot
Allow: /

User-agent: Yandex
Allow: /

User-Agent: *
Allow: /

Che

Мне всегда было интересно видеть как люди тупо пишут директиву Allow в роботсе не подозревая что инструкции для нее нет, файл роботс ни чего не разрешает, в нем можно только запрещать, запомните это.

Писали что Google и Yandex вроде как будут пытаться понимать Allow, но алгоритм их ботов загадка.
К сожалению, существует большой разрыв между тем, каким хотят получить robots разработчики Яндекса, и тем, что отдают вебмастера.

Для танкистов:
Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере.
#63 18 февраля 2014 в 02:33
что-то мне подсказывает, что в алгоритмах интернета человечество еще на грани полета белки и стрелки, а до гагарина еще много шишек((( Современные алгоритмы непредсказуемы даже самим разработчикам или вы думаете, что они такие умные и пишут всерхестественное?

Думается там экспериментов в том числе и неудачных больше, чем у начинающих вебмастеров, но увы все за семью замками поскольку -это всемирная паутина.
Простой пример! С год назад у меня пракически перестал идти полностью траф с картинок и фотографий, хотя они подписаны вручную и досканально, но сейчас год спустя я наблюдаю значительную часть трафика по картинкам.Видимо алгоритмики-мат… их… пи-пи...) поняли, что получат кучу мусора себе же поскольку люди, а точнее вебмастера перестанут описывать картинки.Им этого хлама от большинства пользователей хватает, поскольку практически единицы так скурпулезно прописывают фото.
Но стимул денег.делает свое дело, но жадность яндекса также не знает предела и границ.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.