Всем привет. Подскажите. Новый сайт на 2.8.2.
Добавили в вебмастер яндекса. Ругается что нет robots.txt и Sitemap.
Где найти стандартный роботс для движка и карту и как проверить? :)
Всем спасибо!
InstantCMS 2.X
#1
4 марта 2018 в 09:33
Robots можно стандарный, docs.instantcms.ru/manual/components/sitemap
Но в robots.txt лучше наверно прикрыть "поиск", наборы (все, что может создавать дубли страниц) и некоторые папки
Но в robots.txt лучше наверно прикрыть "поиск", наборы (все, что может создавать дубли страниц) и некоторые папки
Disallow: /registration -Страница регистрации. Смысла в этой странице для поисковика нет. Стоит ли запретить её? Если посмотреть анализатором ПР страницы сайта, то мы увидим что это одна из внутренних страниц которая имеет больший ПР на сайте чем остальные(как разделы сайта), поскольку практически каждая страница сайта на нее ссылается. Убрать ли страницу или оставить и использовать для поднятия низкочастотных запросов за счет внутреннеё перелинковки? — на выбор.
Disallow: /login -Страница логина. Как и выше.
Disallow: /search — Страница поиска. Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно. Однако если у вас нет ссылок на результат поиска — можно не закрывать эту страницу.
Disallow: /search/tag — Теги следует закрывать от индексации. Какими они не были бы красивыми
но по ним отдается дублированный контент. Хотя есть случаи когда теги используют для группировки контента и оставляют открытыми.
Disallow: /go/ — Страница редиректа внешних ссылок. Запрещаем.
Disallow: /login -Страница логина. Как и выше.
Disallow: /search — Страница поиска. Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно. Однако если у вас нет ссылок на результат поиска — можно не закрывать эту страницу.
Disallow: /search/tag — Теги следует закрывать от индексации. Какими они не были бы красивыми
но по ним отдается дублированный контент. Хотя есть случаи когда теги используют для группировки контента и оставляют открытыми.
Disallow: /go/ — Страница редиректа внешних ссылок. Запрещаем.
#3
4 марта 2018 в 11:43
Буду искать специалиста для создания роботса и сайтмапа сайта. Сам ничего в этом не понимаю… :)
Сегодня в 22:16
#4
4 марта 2018 в 11:52
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.сайтмапа сайта
#5
4 марта 2018 в 11:57
Видимо, что-то не устраивает.
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.сайтмапа сайта
У меня тоже, после проделывания всех стандартных действий, ошибка 404, то есть страница не созана
jatrader.ru/sitemap.xml
#6
4 марта 2018 в 12:03
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.сайтмапа сайта
Ага. Нашел. Сделал.
Остается проверить роботс :)
#7
4 марта 2018 в 12:03
Https, ssl на хостинге, нужно правильно редирект по идее делать.
#8
4 марта 2018 в 12:08
Https, ssl на хостинге, нужно правильно редирект по идее делать.
А как сделать, подскажите…
Может быть еще проблема в "Редирект c WWW", где-то нет https… У меня sitemap открывается.
вместо домен ру подставить свой 
system/config/config.php
'host' => 'https://donen.ru',
___
.htaccess
RewriteCond %{HTTP_HOST} ^www.domen.ru$
RewriteRule (.*) domen.ru/$1 [R=301,L]
# InstantCMS rewriting rules
# Initialization
AddDefaultCharset utf-8
Options -Indexes
RewriteEngine on
# HTTPS redirect if available
#RewriteCond %{HTTPS} !=on
#RewriteRule ^(.*)$ %{HTTP_HOST}/$1 [R=301,L]
# Hide text files
RewriteRule ^.htaccess$ — [F]
RewriteRule ^credits.txt$ — [F]
RewriteRule ^readme.txt$ — [F]
RewriteRule ^license.(.*).txt$ — [F]
# Remove trailing slash from URLs
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.+)/$ /$1 [R=301,L]
# Sitemaps
RewriteRule ^sitemap(.*).xml$ ./cache/static/sitemaps/sitemap$1.xml [L]
# Engine routing
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ ./index.php [L]
'host' => 'https://donen.ru',
___
.htaccess
RewriteCond %{HTTP_HOST} ^www.domen.ru$
RewriteRule (.*) domen.ru/$1 [R=301,L]
# InstantCMS rewriting rules
# Initialization
AddDefaultCharset utf-8
Options -Indexes
RewriteEngine on
# HTTPS redirect if available
#RewriteCond %{HTTPS} !=on
#RewriteRule ^(.*)$ %{HTTP_HOST}/$1 [R=301,L]
# Hide text files
RewriteRule ^.htaccess$ — [F]
RewriteRule ^credits.txt$ — [F]
RewriteRule ^readme.txt$ — [F]
RewriteRule ^license.(.*).txt$ — [F]
# Remove trailing slash from URLs
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.+)/$ /$1 [R=301,L]
# Sitemaps
RewriteRule ^sitemap(.*).xml$ ./cache/static/sitemaps/sitemap$1.xml [L]
# Engine routing
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ ./index.php [L]