Сделать роботс для сайта

Всем привет. Нужен роботс для сайта 2.8.2 шаблон boxed (хотя думаю шаблон не имеет значения).
Нужно чтоб в роботс были открыты страницы сайта. Все категории, подкатегории, записи, комментарии. Также профили участников и группы.
Естественно если настройками приватности закрыто, то не видно😊Ну и весь мусор припрятать. Вебмастер ругается на яндексе что отсутствует роботс....
Оплата карта сбера, яндекс, вебмани.
Все предложения в личку.
Комментарии в теме не читаю

Ну и зря что комментарии не читаете, вот вам дельный совет: в поиске по форуму наберите robots и будет вам счастье уже все обсуждалось и выложено, ничего там сложного нет.

А зачем в поиск отправлять? Если есть проверенный robots с рабочего сайта, то просто выложите.

Роботс вещь очень индивидуальная. Вот мой роботс. Составлялся постепенно, путем точечного анализа и добавления в роботс всего мусора и дублей, которые лезли в индекс, а также тех разделов, которые не являются мусором, но лично мне в индексе не нужны. Теперь мусора в индексе нет вообще, в поиск залетает только то, что нужно мне. Можете взять за основу, только свои типы контента поставьте

User-agent: *
Disallow: /auth*
Disallow: /tags/*
Disallow: /groups/index/*
Disallow: /rss/*
Disallow: /activity*
Disallow: /users/*/comments
Disallow: /users/*
Disallow: /redirect?url=
Disallow: /search*
Disallow: /go
Disallow: /albums/название нужного фотоальбома.html?ordering=
Disallow: /photos/camera
Disallow: /news?page=
Disallow: /news/название раздела типа контента?page=
Disallow: /news-discussed
Disallow: /news-popular
Disallow: /articles-featured*
Disallow: /articles-rating*
Disallow: /board-expensive*
Disallow: /board-cheap*
Disallow: /posts-weekly
Disallow: /posts-daily
Disallow: /articles-rating
Disallow: /posts-monthly
Disallow: /articles-discussed
Disallow: /posts?_escaped_fragment_=
Disallow: /*?_escaped_fragment_=
Disallow: /forum/findpost*
Disallow: /forum/posts*
Disallow: /forum/posts?*
Disallow: /forum/.html
Host: ваш сайт
Sitemap: вашсайт/sitemap.xml

Ну мне нужно более четко понять как, куда, и что. И какая строка за что отвечает:)
Проще нанять специалиста

User-agent — какой поисковик грубо говоря
Disallow — что нельзя ему смотреть, но он все равно посмотрит)
остальное думаю понятно

решено