robots.txt Sitemap

InstantCMS 2.X
#1 4 марта 2018 в 09:33
Всем привет. Подскажите. Новый сайт на 2.8.2.
Добавили в вебмастер яндекса. Ругается что нет robots.txt и Sitemap.
Где найти стандартный роботс для движка и карту и как проверить? :)
Всем спасибо!
#2 4 марта 2018 в 11:01
Robots можно стандарный, docs.instantcms.ru/manual/components/sitemap

Но в robots.txt лучше наверно прикрыть "поиск", наборы (все, что может создавать дубли страниц) и некоторые папки
User-agent: *
Disallow: /search/

Host: domen.ru
Sitemap: domen.ru/sitemaps.xml
Disallow: /registration -Страница регистрации. Смысла в этой странице для поисковика нет. Стоит ли запретить её? Если посмотреть анализатором ПР страницы сайта, то мы увидим что это одна из внутренних страниц которая имеет больший ПР на сайте чем остальные(как разделы сайта), поскольку практически каждая страница сайта на нее ссылается. Убрать ли страницу или оставить и использовать для поднятия низкочастотных запросов за счет внутреннеё перелинковки? — на выбор.
Disallow: /login -Страница логина. Как и выше.
Disallow: /search — Страница поиска. Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно. Однако если у вас нет ссылок на результат поиска — можно не закрывать эту страницу.
Disallow: /search/tag — Теги следует закрывать от индексации. Какими они не были бы красивыми
но по ним отдается дублированный контент. Хотя есть случаи когда теги используют для группировки контента и оставляют открытыми.
Disallow: /go/ — Страница редиректа внешних ссылок. Запрещаем.
#3 4 марта 2018 в 11:43
Буду искать специалиста для создания роботса и сайтмапа сайта. Сам ничего в этом не понимаю… :)
#4 4 марта 2018 в 11:52

сайтмапа сайта

@Dmitrii
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.
#5 4 марта 2018 в 11:57


сайтмапа сайта

@Dmitrii
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.

Melon
Видимо, что-то не устраивает.
У меня тоже, после проделывания всех стандартных действий, ошибка 404, то есть страница не созана
jatrader.ru/sitemap.xml
#6 4 марта 2018 в 12:03


сайтмапа сайта

@Dmitrii
А чем вас встроенный sitemap в систему не устраивает. Зайдите в компоненты, найдите его там, в настройках укажите какие виды контента нужно учитывать и в кроне запустите вручную генерацию карты сайта.

Melon

Ага. Нашел. Сделал.
Остается проверить роботс :)
#7 4 марта 2018 в 12:03
Https, ssl на хостинге, нужно правильно редирект по идее делать.
#8 4 марта 2018 в 12:08


Https, ssl на хостинге, нужно правильно редирект по идее делать.

@Elv

А как сделать, подскажите…
#9 4 марта 2018 в 13:01
Может быть еще проблема в "Редирект c WWW", где-то нет https… У меня sitemap открывается.
system/config/config.php

'host' => 'https://donen.ru',
___

.htaccess

RewriteCond %{HTTP_HOST} ^www.domen.ru$
RewriteRule (.*) domen.ru/$1 [R=301,L]

# InstantCMS rewriting rules

# Initialization
AddDefaultCharset utf-8
Options -Indexes
RewriteEngine on

# HTTPS redirect if available
#RewriteCond %{HTTPS} !=on
#RewriteRule ^(.*)$ %{HTTP_HOST}/$1 [R=301,L]

# Hide text files
RewriteRule ^.htaccess$ — [F]
RewriteRule ^credits.txt$ — [F]
RewriteRule ^readme.txt$ — [F]
RewriteRule ^license.(.*).txt$ — [F]

# Remove trailing slash from URLs
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.+)/$ /$1 [R=301,L]

# Sitemaps
RewriteRule ^sitemap(.*).xml$ ./cache/static/sitemaps/sitemap$1.xml [L]

# Engine routing
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ ./index.php [L]
вместо домен ру подставить свой smile
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.