Гугл при поиске по картинкам, результаты выдает открывая сайт с картинкой в своем фрейме, тем самым мы теряем пользователя который не переходит на сайт, а остается в окне Гугла. На днях Вконтактик удивил, сделав предпросмотр сайтов перед переходом по ссылке. Так же помогает в случае мошенничества с верификацией пользователя через ввод номера телефона.
В первой части мы разобрали основы файлы robots.txt, теперь попытаемся понять как и что запрещать им для индексации.
Казалось бы, такая очевидная вещь - составить robots.txt, однако количество ошибок при этом зашкаливает:( Попробуем разобраться с основными моментами.