Оптимальный robots.txt

Казалось бы, такая очевидная вещь — составить robots.txt, однако количество ошибок при этом зашкаливает:(

Попробуем разобраться с основными моментами.


1. Что такое файл robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Каждый по своему понимает это определение, однако важно вынести для себя всего одну мысль — это набор правил по которым поисковый робот не будет индексировать указанный раздел или страницу сайта. Не нужно писать в нем лишнего, достаточно ограничится именно тем набором правил который нужен именно для вашего сайта.

2. Указываем User-agent

С помощью директивы User-agent мы указываем к какому именно поисковому роботу мы обращаемся своим набором правил. Эта директива позволяет создать уникальные правила под робота Яндекса, Гугла и прочих поисковиков.

Данная директива обязательна, без нее ваш robots.txt будет считаться некорректным и все правила в нем будут проигнорированы.

В качестве примера будем писать универсальный robots.txt для всех поисковиков.

Таким образом мы обратились ко всем поисковым ботам зашедшим к нам на сайт. Для обращения к конкретному боту — надо указывать его имя

или
Полный список поисковых роботов можно посмотреть здесь

Для более плотной работы с конкретным поисковиком, нужно изучить полный список роботов представленных в справке поисковика. Например Яндекс дает следующий список роботов:

'YandexBot' — основной индексирующий робот;
'YandexMedia' — робот, индексирующий мультимедийные данные;
'YandexImages' — индексатор Яндекс.Картинок;
'YandexCatalog' — "простукивалка" Яндекс.Каталога;
'YandexDirect' — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса;
'YandexBlogs' — робот поиска по блогам, индексирующий комментарии постов;
'YandexNews' — робот Яндекс.Новостей;
'YandexPagechecker' — робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;

Важно: Персональное обращение к роботу имеет больший приоритет чем общее и оно будет проигнорированно:

Правила указанные для
имеющие пересекающиеся указания в
будут проигнорированы.

Таким образом мы можем составлять правила для игнорирования отдельных разделов сайта, но позволяющие индексировать внутри них определенную часть контента.

Пример:
Мы запретили всем роботам индексировать Галерею, но роботу Яндекс.Картинок разрешили индексировать картинки в этом разделе сайта.

3. Указываем главное зеркало сайта. Директива Host

Мы разобрали что писать в начале файла robots.txt, теперь посмотрим что написать в конце. Директива Host нужна для указания главного зеркала сайта. Каждый сайт доступен как минимум по двум адресам с www и без www.
Определимся какой из урлов у нас будет главным (допустим с www) и запишем его:

Таким образом получили минимально необходимый robots.txt
Директива Host работает только для Яндекса. Гугл сам вполне корректно определяет главное зеркало сайта. Удачным решением будет добавить сайт в панель вебмастера в Гугле и в Яндексе и продублировать там эту информацию.

Когда мы указали главное зеркало сайта, мы подразумеваем что все ссылки на сайте формируются в соответствии с главным зеркалом сайта, однако пользователи на сторонних ресурсах могут ссылаться на ваш домен без www. В результате мы теряем часть ссылочной массы: это и ТИЦ, и ПР, и ссылочное.

самый простой способ — это 301 редирект через htaccess
301 редирект сообщает поисковому роботу что страница постоянно перемещена по следующему адресу. В результате мы не теряем ссылочное и пользователь перешедший по неправильному адресу автоматически переадресуется на правильный.

4. Запрещаем и Разрешаем индексацию. Директивы Allow и Disallow

Основные ошибки происходят в этой части, центральной, файла robots.txt
Запретить то что не нужно запрещать😊Прежде чем приступать к написанию правил — важно четко понять одну простую вещь, робот видит сайт глазами незарегистрированного посетителя. Проанализируйте (разлогинившись) ваш сайт на предмет ссылок на системные папки и страницы генерируемые под залогиненого пользователя. Очевидно же что бот не может знать структуру системных папок на вашем сервере без доступа к фтп, поэтому запрещать ему доступ к системным папкам незачем. На них нет ссылок с сайта, а если есть, то лучше их убрать :)
Таким образом мы исключаем из запрета к индексации ссылки на добавление статьи, записи в блог, объявления, добавления фото и тд. То есть все те ссылки которые может увидеть только авторизованный человек.

Пример плохого файла:
User-Agent: * -Обозначили что правила распространяются на всех роботов
Disallow: /admin -Зачем то показали где у нас админка. ссылок на нее нет, где она знает только админ
Disallow: /actions — системная папка, ссылок прямых на нее нет
Disallow: /cache — системная папка, ссылок прямых на нее нет
Disallow: /backups — системная папка, ссылок прямых на нее нет
Disallow: /core — системная папка, ссылок прямых на нее нет
Disallow: /dump — системная папка, ссылок прямых на нее нет, при этом мы указали где искать дампы базы данных нашего сайта :(
Disallow: /wysiwyg — системная папка, ссылок прямых на нее нет
Disallow: /includes — системная папка, ссылок прямых на нее нет
Disallow: /modules — системная папка, ссылок прямых на нее нет
Disallow: /filters — системная папка, ссылок прямых на нее нет
Disallow: /languages — системная папка, ссылок прямых на нее нет
Disallow: /install — системная папка, нужно её вообще сразу удалять после установки
Disallow: /users — Список пользователей и Профили пользователей. Смысла закрывать от индексации нет. Если у вас спам в профилях — спам убирается другими способами, а вот так мы лишили себя большого количества страниц которые могут пригодится и в ссылочных биржах и в выдаче. В профилях кроме спама есть и контент по которому может быть траффик из поисковиков.
Disallow: /registration -Страница регистрации. Смысла в этой странице для поисковика нет. Стоит ли запретить её? Если посмотреть анализатором ПР страницы сайта, то мы увидим что это одна из внутренних страниц которая имеет больший ПР на сайте чем остальные(как разделы сайта), поскольку практически каждая страница сайта на нее ссылается. Убрать ли страницу или оставить и использовать для поднятия низкочастотных запросов за счет внутреннеё перелинковки? — на выбор.
Disallow: /login -Страница логина. Как и выше.
Disallow: /search — Страница поиска. Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно. Однако если у вас нет ссылок на результат поиска — можно не закрывать эту страницу.
Disallow: /search/tag — Теги следует закрывать от индексации. Какими они не были бы красивыми😊но по ним отдается дублированный контент. Хотя есть случаи когда теги используют для группировки контента и оставляют открытыми.
Disallow: /go/ — Страница редиректа внешних ссылок. Запрещаем.

Итого из этого длинного списка, по делу оказалось лишь 3 строчки, остальное бесполезно и местами даже опасно (раскрытие путей к дампам базы данных, к админке и системным каталогам)

Пока закончим на основах, что бы было понимание того что делаем и почему так. В следующий раз будем разбирать дубликаты страниц и как их удалить из выдачи.