https не доступна для робота

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО InstantCMS 2.X

При обращении к главной странице сайта не удалось получить документ: «503Service Unavailable»

#1 9 апреля 2020 в 08:49
Очень нужна помощь!
Сделал сайт доступным на https
  1.  
  2. # HTTPS redirect if available
  3. RewriteCond %{HTTPS} !=on
  4. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  5.  
Сайт по https доступен и работает, в config поменял на site.ru и site.ru/upload
  1.  
  2. sitemap: https://site.ru/sitemap.xml
  3. Host: https://site.ru
  4.  
Но Яндекс все равно после проверки пишет:При обращении к главной странице сайта не удалось получить документ: «503Service Unavailable». Поскольку страница недоступна для робота, она может быть исключена из результатов поиска.

  1.  
  2. [b]Ответ "https://site.ru" → Робот-зеркальщик[/b]
  3. Код статуса HTTP 503 Service Unavailable
  4. Время ответа сервера 129 мс
  5. IP сайта 37.140.192.xx
  6. Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
  7. Размер страницы 87 Б
  8. Server: nginx
  9. Date: Thu, 09 Apr 2020 05:36:46 GMT
  10. Content-Type: text/html; charset=utf-8
  11. Transfer-Encoding: chunked
  12. Connection: keep-alive
  13. X-Powered-By: InstantCMS
  14. Expires: Thu, 19 Nov 1981 08:52:00 GMT
  15. Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
  16. Pragma: no-cache
  17. Set-Cookie: ICMSSID=9f33...; path=/; HttpOnly
  18. Set-Cookie: icms[device_type]=desktop; expires=Fri, 09-Apr-2021 05:36:46 GMT; Max-Age=31536000; path=/; httponly
  19. Set-Cookie: icms[guest_date_log]=1586410606; expires=Fri, 09-Apr-2021 05:36:46 GMT; Max-Age=31536000; path=/; httponly
  20. [b]Содержимое страницы[/b]
  21. <h1>
  22. 503 Service Unavailable
  23. </h1>
  24. <h2>
  25. Please, enable debug mode in the site settings
  26. </h2>
  27.  
В чём может быть проблема? Почему яндекс робот не может попасть ко мне на сайт?
#2 9 апреля 2020 в 10:27
Скела, настораживает, что вы правили .htaccess, а в Проверке у вас:
Server: nginx
#3 9 апреля 2020 в 10:48
посмотрел сайт, действительно странная ситуация. сайт работает, а проверка Яндекса показывает 503 ошибку…
если включаете отладку — есть ли какие-то ошибки?
что показывает проверка в GSC? search.google.com/search-console
так навскидку какие могут быть варианты:
1. ошибка на сайте, но тогда непонятно почему если я открываю в браузере, то сайт работает
2. ошибка на стороне хостинга
3. ошибка в настройка SSL
пробовали написать в поддержку Яндекс а и reg.ru? что они ответили?
ps ping-admin.ru/ показывает что сайт доступен
#4 9 апреля 2020 в 10:51


Скела, настораживает, что вы правили .htaccess, а в Проверке у вас:
Server: nginx

@IamB

так а чего тут удивительного, у хостера nginx на фронте стоит, так многие делают
#5 9 апреля 2020 в 11:10

Код В_КОРНЕ_.HTACCESS_РАСКОММЕНТИРОВАЛ:

Скела

Не факт, что именно это:

  1.  
  2. RewriteCond %{HTTPS} !=on
  3. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  4.  
  5.  
Ваш вариант.
У меня работает так:

  1.  
  2. RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
  3. RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
  4. RewriteCond %{HTTPS} off
  5. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  6.  
Могут быть и другие варианты:
www.reg.ru/support/hosting-i-servery/kak-dobavit-redirekt/redirekt-s-http-na-https

Еще можно спросить у хостера (не факт, что дадут правильный, но иногда знают).

ЗЫ:
Вообще да, странно как то...
Кэш на сайте (если включен) чистили?
#6 9 апреля 2020 в 11:16
скорее всего это ошибка у хостера, так что пишите в саппорт хостинга, пусть проверяют.

ps директива host была упразднена, так что можете удалить её из роботса, пруф webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
#7 9 апреля 2020 в 11:40

так а чего тут удивительного, у хостера nginx на фронте стоит, так многие делают

Timmy
Так 503 ошибку nginx отдаёт, к нему и вопросы должны быть. С чего бы ему так поступать?
#8 9 апреля 2020 в 12:14


Код В_КОРНЕ_.HTACCESS_РАСКОММЕНТИРОВАЛ:

Скела

Не факт, что именно это:

  1.  
  2. RewriteCond %{HTTPS} !=on
  3. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  4.  
  5.  
Ваш вариант.
У меня работает так:

  1.  
  2. RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
  3. RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
  4. RewriteCond %{HTTPS} off
  5. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  6.  
Могут быть и другие варианты:
www.reg.ru/support/hosting-i-servery/kak-dobavit-redirekt/redirekt-s-http-na-https

Еще можно спросить у хостера (не факт, что дадут правильный, но иногда знают).

ЗЫ:
Вообще да, странно как то...
Кэш на сайте (если включен) чистили?

Rainbow

Кэш отключен, заявки кинул хостеру (пока нет ответа), а htaccess просто раскомментировал, не думал, что может быть по другому.
Дождусь ответа и попробую добавить
  1.  
  2. RewriteCond %{HTTPS} off
  3. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  4.  
#9 9 апреля 2020 в 12:14

Сделал сайт доступным на https

Скела
Скела, а у вас выделенный сервер?

Посмотрите там в панели управления сервера...
Может надо галку поставить, что работает по https

В ISPManager примерно так:
linux.bolden.ru/ispmanager-https-http/

#10 9 апреля 2020 в 12:45


Сделал сайт доступным на https

Скела
Скела, а у вас выделенный сервер?

Посмотрите там в панели управления сервера...
Может надо галку поставить, что работает по https

В ISPManager примерно так:
linux.bolden.ru/ispmanager-https-http/


Rainbow
Удачно попал когда-то на безлимит в рег.ру и потому не переношу на выделенный (объем большой файлов накопился). Этот сайт сидит на обычном хостинге — но в isp стоит SSL.
#11 9 апреля 2020 в 13:31
проверил еще лягушкой

такое ощущение что стоит запрет по юзер агенту, яндекс и гугл блокируются
если ставлю кастомный юзер агент, то сканирует нормально
.htaccess у вас стандартный или что-то добавляли?
#12 9 апреля 2020 в 14:54


проверил еще лягушкой

такое ощущение что стоит запрет по юзер агенту, яндекс и гугл блокируются
если ставлю кастомный юзер агент, то сканирует нормально
.htaccess у вас стандартный или что-то добавляли?

Timmy
стандартный — только снимал закомментированный # для https
  1. # InstantCMS rewriting rules
  2.  
  3. # Initialization
  4. AddDefaultCharset utf-8
  5. Options -Indexes
  6. RewriteEngine on
  7.  
  8. # HTTPS redirect if available
  9. RewriteCond %{HTTPS} !=on
  10. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  11. RewriteCond %{HTTPS} off
  12. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  13.  
  14. # Hide text files
  15. RewriteRule ^.htaccess$ - [F]
  16. RewriteRule ^credits.txt$ - [F]
  17. RewriteRule ^readme.txt$ - [F]
  18. RewriteRule ^license.(.*).txt$ - [F]
  19.  
  20. # Remove trailing slash from URLs
  21. RewriteCond %{REQUEST_FILENAME} !-d
  22. RewriteRule ^(.+)/$ /$1 [R=301,L]
  23.  
  24. # Sitemaps
  25. RewriteRule ^sitemap(.*).xml$ ./cache/static/sitemaps/sitemap$1.xml [L]
  26.  
  27. # Engine routing
  28. RewriteCond %{REQUEST_FILENAME} !-f
  29. RewriteCond %{REQUEST_FILENAME} !-d
  30. RewriteRule ^(.*)$ ./index.php [L]
Ответ хостера:
С нашей стороны каких-либо блокировок не установлено. При переименовании файлов .htaccess и robots.txt также не наблюдаем изменений. При попытке создания дополнительных файлов, например, «a.php» в проверке ответа сервера Яндексом наблюдали сообщение «Индексирование запрещено тегом noindex».
Рекомендуем обратиться к разработчикам сайта для анализа на дополнительные блокировки в CMS, а также поиска тегов noindex.
#13 9 апреля 2020 в 15:06

и robots.txt

Скела

Какая версия инстанта?
Файл robots.txt в последних версиях должен быть удален из корневой директории...

Он формируется динамически из компонента.
Вряд ли это причина проблемы, НО…
#14 9 апреля 2020 в 15:14


и robots.txt

Скела

Какая версия инстанта?
Файл robots.txt в последних версиях должен быть удален из корневой директории...

Он формируется динамически из компонента.

Rainbow

А вот это уже интересно, я только обновился с 2.9 до последней 2.13.1. robots.txt не удалял… А как он формирует? я удалил, зашел в планировщик — запустил, а он не появляется…
#15 9 апреля 2020 в 15:26
Скела, у вас обычный виртуальный хостинг или VPS?
проверьте здесь bertal.ru и увидите что поисковые боты получают 503
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.