Robots.txt для instantcms 2 2.X

 
Посетитель
small user social cms
Медаль
Сообщений: 577
instantcms robots txt


проверенный с весны, помог убрать ошибки в вебмастере гугл и яндекс

Robots.txt
Редактировалось: 1 раз (Последний: 16 июля 2019 в 14:31)
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 750
Годно , спасибо!
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 577
Заралик,

у меня там

Disallow: /posts/add

если у вас "типов контента" больше - то нужно для каждого такое прописывать .... хотя... это надо гостем смотреть - у меня для гостя открыта эта кнопка, но ведет на регистрацию

тоже самое касается всех записей с упоминанием posts

Disallow: /posts?*

типа такого.. это для каждого типа контента нужно делать
Редактировалось: 1 раз (Последний: 16 июля 2019 в 13:58)
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2305
@iKrym:
проверенный с весны, помог убрать ошибки в вебмастере гугл и яндекс
Зачем прописываете
Host:SITE.com
Sitemap: https://SITE.com/sitemap.xml
Они подставляются автоматом самим компонентом.
Лучшее место для вашего сайта!
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1785
vikont:
Host:SITE.com

Скажу больше host больше вообще не используется:
https://yandex.ru/blog/platon/pereezd-sayta-posle-otkaza-ot-direktivy-host

По мне так в приведенном роботсе вообще много лишнего...
А будут или нет ошибки зависит от конкретного сайта, на сколько для него правильно составлен СВОЙ роботс.
Посетитель
small user social cms
Медаль
Сообщений: 438
Rainbow:
Скажу больше host больше вообще не используется:
Так и есть. Я прописал в robots.txt один host, а Яндекс сделал главным зеркало.
Так ему показалось нужным.
А в Google вебмастере вообще пишет - проиндексировано, не смотря на запрет в robots.txt.
Но за пример спасибо! Посмотрел с интересом.
Сайт о собаках
Продвижение сайтов
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1785
ermakover:
Я прописал в robots.txt один host, а Яндекс сделал главным зеркало.
Так ему показалось нужным.

Может надо было "переезд" на новый домен сделать....
Посетитель
small user social cms
Сообщений: 99
Хм... Подставил в компонент и вот такая ошибка - "Слишком длинное значение (макс. длина: 4096)". Т.е. подключить сиё через компонент не получиться?
Посетитель
small user social cms
Медаль
Сообщений: 577
ermakover:
Я прописал в robots.txt один host, а Яндекс сделал главным зеркало.
Так ему показалось нужным.

В яндексе нужно указывать главное зеркало
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1785
@iKrym:
В яндексе нужно указывать главное зеркало

Нет там сейчас такого инструмента...
Только "переезд" в нем и указываются зеркала...
https://yandex.ru/support/webmaster/yandex-indexing/site-mirrors.html
Посетитель
small user social cms
Медаль
Сообщений: 301
@iKrym:
проверенный с весны, помог убрать ошибки в вебмастере гугл и яндекс
Никогда не думал что бывает такой длинный роботс.тхт shock Дополнение Генератор карты сайта и robots.txt пишет: Слишком длинное значение (макс. длина: 4096)
Редактировалось: 1 раз (Последний: 17 июля 2019 в 23:45)
знакомлюсь с сайтостроением
Посетитель
small user social cms
Медаль
Сообщений: 438
@iKrym:
В яндексе нужно указывать главное зеркало
Указывал в вебмастере Яндекса. Ему по фиг - он сделал главным тот домен, который посчитал нужным. На который больше ссылок и который старше.
Сайт о собаках
Продвижение сайтов
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1785
ermakover:
Указывал в вебмастере Яндекса. Ему по фиг - он сделал главным тот домен, который посчитал нужным

Такого не может быть.
Скорее всего у Вас редирект был настроен не со всех НЕ главных зеркал.

Если правильно указан редирект в .htaccess на главное зеркало, то есть если с любого адреса, с www., без www, http:// или https:// и т.д. НЕ главного зеркала открывается главное зеркало, оно и будет выбрано.

https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
https://yandex.ru/blog/platon/pereezd-sayta-posle-otkaza-ot-direktivy-host

ignat:
Слишком длинное значение (макс. длина: 4096)

Вот и боты так же определят))
(Это шутка, по длинне роботса ограничений не видел).

Смотрю многих этот роботс интересует...
Поэтому еще раз напишу...

По мне так по этому роботсу можно много поспорить и урезать его строк до 20...
НО: так как и в таком виде он может быть для кого то рабочим (если конечно роботы его прочтут)) то пусть будет)).
Посетитель
small user social cms
Сообщений: 70
не бывает "стандартных" роботс
и большой роботс еще не значит, что он хороший
это я вам говорю как человек, который в SEO уже много лет
роботс сугубо индивидуален. то что помогло вашему сайту, не факт что поможет другому
правильнее делать так - сканируется сайт краулером, далее смотрите, проверяете индекс, анализируете структуру и контент сайта и исходя из этого составляете свои правила. потом ещё раз сканируете и так повторяете несколько раз, пока не будет оптимальный набор
а что касается ботов, то часть из них просто игнорирует роботс, а остальная часть никогда к вам на сайт и не придет
правильнее посмотреть логи на сервере и определить какие боты сканируют
Надёжный и быстрый хостинг!
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4385
Timmy:
не бывает "стандартных" роботс
и большой роботс еще не значит, что он хороший
Жму руку.
Я думал всё, здравый смысл ушел, ан нет. Спасибо, что пытаетесь вразумить.

Rainbow, зачем читать документацию, когда можно просто погадать на форуме, формируя такой вот "опыт".
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.