Robots.txt

Заблокирована нужная страница в роботс

#1 27 апреля 2016 в 18:55
Здравствуйте. Снова пришлось создать тему про роботс.
Гугл не хочет индексировать сайт (в яндексе все хорошо, страницы в топе)

В Google Webmasters выдает следующее:


Кликая на "Некоторые важные страницы блокируются в файле robots.txt.", перехожу на главную.

Прошу помощи знатоков в указании ошибки.

Вот сам роботс. Составлял сам (прошу не судить строго)), видимо накосячил где-то.

User-agent: *
Disallow: /users/
Disallow: /users
Disallow: /rss/
Disallow: /by_user*
Disallow: /search.html
Disallow: /content
Disallow: #*
Disallow: *#*
Disallow: /comments
Disallow: /passremind.html
Disallow: /latest.html
Disallow: /top.html
Disallow: /registration
Disallow: /find/
Disallow: /tag/
Disallow: /uploads
Disallow: /clubs
Disallow: /actions
Disallow: /templates
Disallow: /blogs
Disallow: /photos/latest.html
Disallow: /catalog/*find
Disallow: /login/
Disallow: /?iblock=*
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_thread
Disallow: */forum/thread*-quote*.html
Disallow: /forum/latest_posts
Disallow: /forum/post-*.html
Disallow: /forum/updates-topic.html
Disallow: /forum/stop-updates-topic.html
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html
Disallow: /forum/profile.php
Disallow: /forum/memberlist.php
Disallow: /forum/search.php
Disallow: /forum/index.php$

Sitemap: sitemap.xml
Host: site.ru

Заранее спасибо за помощь.
#2 27 апреля 2016 в 19:06
yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Почитайте и 2 строки сразу найдете. И второй вопрос, почему скриншот выдает сайт временно закрыт?=)
#3 27 апреля 2016 в 19:12


yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Почитайте и 2 строки сразу найдете. И второй вопрос, почему скриншот выдает сайт временно закрыт?=)

kirkr

Я когда составлял роботс читал это, и то, что писали на этом форуме. Но нигде не скажут ведь, что "делай конкретно вот это и то")

Ради эксперимента, почитав здесь ветку, решил сайтмэп поставить впереди хоста, хотя вижу, что все делают наоборот) Вы про эти две строки и говорите? Прошу конкретнее ткнуть носом)

А по поводу "сайт временно закрыт" не могу знать… Видимо мой вопрос как-то связан с этим)
#4 27 апреля 2016 в 19:33
Disallow: /templates
эт точно лишнее

а что еще не знаю)
#5 27 апреля 2016 в 19:45


Disallow: /templates
эт точно лишнее

а что еще не знаю)

Jestik

Спасибо, убрал) но не помогло scratch

Может вот это надо открыть в админке?
#6 27 апреля 2016 в 19:57
Тема переименована. Перечитайте правила.
#7 27 апреля 2016 в 20:02


Тема переименована. Перечитайте правила.

Soul

Прошу прощения)
#8 27 апреля 2016 в 20:06
today
Четко поставленный вопрос скорее найдет ответ😊.
#9 27 апреля 2016 в 20:19


today
Четко поставленный вопрос скорее найдет ответ😊.

Soul

Очень надеюсь на это)
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Robots.txt для instantcms 2

SEO & PR Создана 4 года назад 19 сообщений

Вопрос по robots.txt

SEO & PR Создана 4 года назад 7 сообщений

robots.txt

SEO & PR Создана 3 года назад 7 сообщений

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.