Поиск по тегу «robots.txt»

Недавно начал изучать тему SEO продвижение сайтов на InstantCMS2 и хочу поделиться несколькими советами, которые как я понял, обязательно надо выполнить при работе с InstantCMS2.

В первой части мы разобрали основы файлы robots.txt, теперь попытаемся понять как и что запрещать им для индексации.

Казалось бы, такая очевидная вещь - составить robots.txt, однако количество ошибок при этом зашкаливает:( Попробуем разобраться с основными моментами.