С первого числа был только один АП у Яндекса за конец февраля… Так что ничего страшного, еще один-два Апа подождитеИсправил robots.txt 1-го числа. Сейчас яндекс вебмастер не ругается. Робот последний раз был 11 числа. Сегодня 13. В индексе по прежнему только главная страница :(
Видео я не закрывал, а закрыл каналы пользователей )))soxom, а почему видео нужно закрывать роботсом ?
Disallow: /rss/
это закрыл, чтобы не воровали или для чего ?
и какая разница между
Disallow: /rss/
и
Disallow: /rss
Что касается rss, то мне не нужно чтобы робот ходил по ленте, причин масса, хотя бы то же самое дублирование контента
Не вижу необходимости в ваших правках… Мало того, для некоторых сайтов может быть опасна ваша система запретов. Ведь при вашем роботсе любая страничка в урле которой содержится допустим search не будет проиндексирована. То есть статья в блоге с названием допустим "используем функцию Search", не будет проиндексирована! Поэтому не усложняем себе жизнь ))) Работать будут оба варианта, но первый вариант запрещает индексирование раздела, а второй вариант запрещает к индексации все… Кому нужные такие сложности?Во первых не стоит забывать о правилах файла, по этому стоит серьезно отнестись к этому. Один из важнейших файлов, можно такого наколбасить… Это не упрек, всего знать нельзя.
Disallow: /search # так не будет работать
Disallow: /*search # так будет
Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль
Disallow: /index.php$ # так сработает как и задумано.
Не стоит пытаться закрыть все. Главное закрыть мусор, а это делается реально с помощью всего трех запретов )))На самом деле закрыть стоит все от индексации, что не должно быть в индексе. всякое бывает и можно где то накосячить и потом будет мучительно больно...
А если у нас в роботсе стоит запрет на index.php и на search, то эти ссылки итак не проиндексируются… Так зачем изобретать велосипед?Два варианта прописал, просто не помню какие, так по памяти и по быстрому, зато наверняка)))
Disallow: /search # так мы закрываем конкретно только все что после search, ссылки такого вида instantcms.ru/search&query=%F1%E0%E9%F2
Disallow: /*search # так закрываем абсолютно все до и после search, то есть и поиск закрыли, который выдает
ссылки вида instantcms.ru/index.php?view=search&query=%F1%E0%E9%F2 и тд, собственно введите что нить в поиск и проверьте потом ссылку результата. Плюс еще таких моментов хватает.