Что указать в robots.txt чтоб...

Пишите в телегу @gustoypar помогу)

Пишите в телегу @gustoypar помогу)

 привет, телеги нет 😨

Пишите в телегу @gustoypar помогу)

 привет, телеги нет 😨

Тогда в личку, но частота ответа будет не определенная)

Решил своими усилиями - 

User-agent: *
Disallow: /
Allow: /news/

Решил своими усилиями - 

Еще на заметку https://www.unisender.com/ru/blog/vopros-otvet/kak-nastroit-robots-txt/

Решил своими усилиями - 

по этому сайту искали? 100500 тем… адаптируйте под свой сайт и будет вам счастье...

instantcms.ru/search/forum_threads?order_by=date_pub&q=robots.txt&type=words&date=all

Disallow: /

Не смущает, что этой директивой зарыли от индексации главную страницу сайта?

Остальное… уже столько раз здесь разжевывали, что углубляться нет смысла… всё есть в поиске по сайту, и варианты, и советы, и рекомендации...

а теперь норм?

User-agent: *
Disallow: /
Allow: /news/
Allow: //

а теперь норм?

User-agent: *
Disallow: /
Allow: /news/
Allow: //

А теперь ваще ахонь 👍

А теперь ваще ахонь 👍

Аха)

а теперь норм?

Вы вообще не читаете что вам пишут?

Вот здесь всё написано:

instantcms.ru/forum/fail-robots-txt-dlja-instantcms.html#post-296699

Но если читать лень, тогда всё же будет лучше чем есть))

Только строки:

sitemap: site.ru/sitemap.xml
Host: site.ru

удалите, они уже не нужны...

User-agent: *
Allow: /news
Disallow: /

если и главную страницу индексировать всё таки, то так

User-agent: *

Allow: /$
Allow: /news
Disallow: /