Доступ к ресурсу запрещён (403)

#1 26 июня 2013 в 06:36
добавил сайт в яндекс вебмастер и был очень удивлен! больше 50 страниц были в исключенных

Доступ к документу запрещен (получен код 403 Forbidden). На запрос страниц ваш сервер вернул роботу HTTP-код 403. Если вы намеренно ограничили доступ к этим страницам, то исправлять ничего не требуется.

Если данные страницы должны индексироваться, то по вопросу возникновения и устранения этой проблемы, пожалуйста, обратитесь к администратору вашего сайта или сервера.

Дату возникновения ошибки вы можете видеть напротив каждой исключенной страницы в графе «Последнее посещение». Если с момента последнего обращения робота страницы вновь стали доступными (возвращают HTTP-код-200), то они автоматически будут проиндексированы по мере обхода сайта, после чего появятся в поиске с обновлениями поисковых баз.

урл такой, и таких страниц много. — holdexp.ru/услуги/регистрация-зао.html
из-за чего такое может быть?
#2 26 июня 2013 в 07:43
посмотрел другой сайт, на другом хостинге, та же байда!
HTTP-статус: Доступ к ресурсу запрещён (403) — 1191 СТРАНИЦ!

+ еще много страниц
/clubs/by_user_ID — Документ имеет размер 0 байт
/users/ID/rss/content/2/feed.rss — HTTP-статус: Ресурс не найден (404)
на всех сайтах присутствует урл site.ru/--kornevoi-razdel-- нужно делать переадресацию на главную

думал что может дело в урл, проверил третий сайт
HTTP-статус: Доступ к ресурсу запрещён (403) — 262 СТРАНИЦ
урлы вида — www.uu-pravo.ru/licenzii/farmacevticheskaja-licenzija.html
#3 26 июня 2013 в 07:55
давайте попробуем решить все эти ошибки, чтобы в будущем они не появлялись.
явно что это не все, но сделаем наш двиг лучше
#4 26 июня 2013 в 08:46
порылся у себя в вебмастере, нашел 102 страницы исключенные, все они однотипные

Иллюстрация

что к чему? :)
#5 26 июня 2013 в 08:47
с какого то перепугу фавиконки выползли
#6 26 июня 2013 в 08:50
  1. http://www.uu-pravo.ru/licenzii/farmacevticheskaja-licenzija.html
  2.  
  3. GET /licenzii/farmacevticheskaja-licenzija.html HTTP/1.1
  4. Host: www.uu-pravo.ru
  5. User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:21.0) Gecko/20100101 Firefox/21.0
  6. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
  7. Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
  8. Accept-Encoding: gzip, deflate
  9. Referer: http://instantcms.ru/forum/thread15514-1.html
  10. Cookie: PHPSESSID=shkkbfvb3l7rf1talcisb499o4; InstantCMS[logdate]=1372221457; _ym_visorc=w
  11. Connection: keep-alive
  12. Cache-Control: max-age=0
  13.  
  14. HTTP/1.1 200 OK
  15. Date: Wed, 26 Jun 2013 04:41:24 GMT
  16. Server: Apache/2.2.16 (Debian)
  17. X-Powered-By: PHP/5.3.3-7+squeeze14
  18. Expires: Thu, 19 Nov 1981 08:52:00 GMT
  19. Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
  20. Pragma: no-cache
  21. Vary: Accept-Encoding
  22. Content-Encoding: gzip
  23. Content-Length: 7857
  24. Keep-Alive: timeout=15, max=98
  25. Connection: Keep-Alive
  26. Content-Type: text/html; charset=utf-8
со статусом все в порядке, и на 2 сайте урл с кирилицей тоже, возможно хостинг во время посещения робота тупил, а вот насчет --kornevoi-razdel-- действительно есть такой косяк, надо запрещать или клеить с разделом статей.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.