https не доступна для робота 2.X

При обращении к главной странице сайта не удалось получить документ: «503Service Unavailable»

 
Посетитель
small user social cms
Медаль
Сообщений: 485
Очень нужна помощь!
Сделал сайт доступным на https
Код В_КОРНЕ_.HTACCESS_РАСКОММЕНТИРОВАЛ:
  1.  
  2. # HTTPS redirect if available
  3. RewriteCond %{HTTPS} !=on
  4. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  5.  
Сайт по https доступен и работает, в config поменял на https://site.ru и https://site.ru/upload
Код В_ROBOTS.TXT:
  1.  
  2. sitemap: https://site.ru/sitemap.xml
  3. Host: https://site.ru
  4.  
Но Яндекс все равно после проверки пишет: При обращении к главной странице сайта не удалось получить документ: «503Service Unavailable». Поскольку страница недоступна для робота, она может быть исключена из результатов поиска.

Код ПРОВЕРКА:
  1.  
  2. [b]Ответ "https://site.ru" → Робот-зеркальщик[/b]
  3. Код статуса HTTP 503 Service Unavailable
  4. Время ответа сервера 129 мс
  5. IP сайта 37.140.192.xx
  6. Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
  7. Размер страницы 87 Б
  8. Server: nginx
  9. Date: Thu, 09 Apr 2020 05:36:46 GMT
  10. Content-Type: text/html; charset=utf-8
  11. Transfer-Encoding: chunked
  12. Connection: keep-alive
  13. X-Powered-By: InstantCMS
  14. Expires: Thu, 19 Nov 1981 08:52:00 GMT
  15. Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
  16. Pragma: no-cache
  17. Set-Cookie: ICMSSID=9f33...; path=/; HttpOnly
  18. Set-Cookie: icms[device_type]=desktop; expires=Fri, 09-Apr-2021 05:36:46 GMT; Max-Age=31536000; path=/; httponly
  19. Set-Cookie: icms[guest_date_log]=1586410606; expires=Fri, 09-Apr-2021 05:36:46 GMT; Max-Age=31536000; path=/; httponly
  20. [b]Содержимое страницы[/b]
  21. <h1>
  22. 503 Service Unavailable
  23. </h1>
  24. <h2>
  25. Please, enable debug mode in the site settings
  26. </h2>
  27.  
В чём может быть проблема? Почему яндекс робот не может попасть ко мне на сайт?
Редактировалось: 1 раз (Последний: 9 апреля 2020 в 08:50)
Чистить кэш, исправлять базу ручками и искать в гугле умею. Если задаю вопрос, то значит есть существенная причина!!!
Посетитель
small user social cms
Медаль
Сообщений: 353
Скела, настораживает, что вы правили .htaccess, а в Проверке у вас:
Server: nginx
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 220
посмотрел сайт, действительно странная ситуация. сайт работает, а проверка Яндекса показывает 503 ошибку...
если включаете отладку - есть ли какие-то ошибки?
что показывает проверка в GSC? https://search.google.com/search-console
так навскидку какие могут быть варианты:
1. ошибка на сайте, но тогда непонятно почему если я открываю в браузере, то сайт работает
2. ошибка на стороне хостинга
3. ошибка в настройка SSL
пробовали написать в поддержку Яндекс а и reg.ru? что они ответили?
ps https://ping-admin.ru/ показывает что сайт доступен
Быстрые VPS в Германии
Посетитель
small user social cms
Медаль
Сообщений: 220
@IamB:

Скела, настораживает, что вы правили .htaccess, а в Проверке у вас:
Server: nginx

так а чего тут удивительного, у хостера nginx на фронте стоит, так многие делают
Быстрые VPS в Германии
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2047
Скела:
Код В_КОРНЕ_.HTACCESS_РАСКОММЕНТИРОВАЛ:

Не факт, что именно это:

Код PHP:
  1.  
  2. RewriteCond %{HTTPS} !=on
  3. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  4.  
  5.  
Ваш вариант.
У меня работает так:

Код PHP:
  1.  
  2. RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
  3. RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
  4. RewriteCond %{HTTPS} off
  5. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  6.  
Могут быть и другие варианты:
https://www.reg.ru/support/hosting-i-servery/kak-dobavit-redirekt/redirekt-s-http-na-https

Еще можно спросить у хостера (не факт, что дадут правильный, но иногда знают).

ЗЫ:
Вообще да, странно как то...
Кэш на сайте (если включен) чистили?
Редактировалось: 2 раз (Последний: 9 апреля 2020 в 11:17)
Посетитель
small user social cms
Медаль
Сообщений: 220
скорее всего это ошибка у хостера, так что пишите в саппорт хостинга, пусть проверяют.

ps директива host была упразднена, так что можете удалить её из роботса, пруф https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Редактировалось: 1 раз (Последний: 9 апреля 2020 в 13:31)
Быстрые VPS в Германии
Посетитель
small user social cms
Медаль
Сообщений: 353
Timmy:
так а чего тут удивительного, у хостера nginx на фронте стоит, так многие делают
Так 503 ошибку nginx отдаёт, к нему и вопросы должны быть. С чего бы ему так поступать?
Посетитель
small user social cms
Медаль
Сообщений: 485
Rainbow:

Скела:
Код В_КОРНЕ_.HTACCESS_РАСКОММЕНТИРОВАЛ:

Не факт, что именно это:

Код PHP:
  1.  
  2. RewriteCond %{HTTPS} !=on
  3. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  4.  
  5.  
Ваш вариант.
У меня работает так:

Код PHP:
  1.  
  2. RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
  3. RewriteRule ^(.*)$ https://%1/$1 [R=301,L]
  4. RewriteCond %{HTTPS} off
  5. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  6.  
Могут быть и другие варианты:
https://www.reg.ru/support/hosting-i-servery/kak-dobavit-redirekt/redirekt-s-http-na-https

Еще можно спросить у хостера (не факт, что дадут правильный, но иногда знают).

ЗЫ:
Вообще да, странно как то...
Кэш на сайте (если включен) чистили?

Кэш отключен, заявки кинул хостеру (пока нет ответа), а htaccess просто раскомментировал, не думал, что может быть по другому.
Дождусь ответа и попробую добавить
Код PHP:
  1.  
  2. RewriteCond %{HTTPS} off
  3. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  4.  
Чистить кэш, исправлять базу ручками и искать в гугле умею. Если задаю вопрос, то значит есть существенная причина!!!
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2047
Скела:
Сделал сайт доступным на https
Скела, а у вас выделенный сервер?

Посмотрите там в панели управления сервера...
Может надо галку поставить, что работает по https

В ISPManager примерно так:
http://linux.bolden.ru/ispmanager-https-http/

https не доступна для робота
Редактировалось: 2 раз (Последний: 9 апреля 2020 в 12:21)
Посетитель
small user social cms
Медаль
Сообщений: 485
Rainbow:

Скела:
Сделал сайт доступным на https
Скела, а у вас выделенный сервер?

Посмотрите там в панели управления сервера...
Может надо галку поставить, что работает по https

В ISPManager примерно так:
http://linux.bolden.ru/ispmanager-https-http/

https не доступна для робота

Удачно попал когда-то на безлимит в рег.ру и потому не переношу на выделенный (объем большой файлов накопился). Этот сайт сидит на обычном хостинге - но в isp стоит SSL.
Чистить кэш, исправлять базу ручками и искать в гугле умею. Если задаю вопрос, то значит есть существенная причина!!!
Посетитель
small user social cms
Медаль
Сообщений: 220
проверил еще лягушкой
https не доступна для робота
такое ощущение что стоит запрет по юзер агенту, яндекс и гугл блокируются
если ставлю кастомный юзер агент, то сканирует нормально
.htaccess у вас стандартный или что-то добавляли?
Редактировалось: 1 раз (Последний: 9 апреля 2020 в 13:32)
Быстрые VPS в Германии
Посетитель
small user social cms
Медаль
Сообщений: 485
Timmy:

проверил еще лягушкой
https не доступна для робота
такое ощущение что стоит запрет по юзер агенту, яндекс и гугл блокируются
если ставлю кастомный юзер агент, то сканирует нормально
.htaccess у вас стандартный или что-то добавляли?
стандартный - только снимал закомментированный # для https
Код PHP:
  1. # InstantCMS rewriting rules
  2.  
  3. # Initialization
  4. AddDefaultCharset utf-8
  5. Options -Indexes
  6. RewriteEngine on
  7.  
  8. # HTTPS redirect if available
  9. RewriteCond %{HTTPS} !=on
  10. RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
  11. RewriteCond %{HTTPS} off
  12. RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
  13.  
  14. # Hide text files
  15. RewriteRule ^.htaccess$ - [F]
  16. RewriteRule ^credits.txt$ - [F]
  17. RewriteRule ^readme.txt$ - [F]
  18. RewriteRule ^license.(.*).txt$ - [F]
  19.  
  20. # Remove trailing slash from URLs
  21. RewriteCond %{REQUEST_FILENAME} !-d
  22. RewriteRule ^(.+)/$ /$1 [R=301,L]
  23.  
  24. # Sitemaps
  25. RewriteRule ^sitemap(.*).xml$ ./cache/static/sitemaps/sitemap$1.xml [L]
  26.  
  27. # Engine routing
  28. RewriteCond %{REQUEST_FILENAME} !-f
  29. RewriteCond %{REQUEST_FILENAME} !-d
  30. RewriteRule ^(.*)$ ./index.php [L]
Ответ хостера:
С нашей стороны каких-либо блокировок не установлено. При переименовании файлов .htaccess и robots.txt также не наблюдаем изменений. При попытке создания дополнительных файлов, например, «a.php» в проверке ответа сервера Яндексом наблюдали сообщение «Индексирование запрещено тегом noindex».
Рекомендуем обратиться к разработчикам сайта для анализа на дополнительные блокировки в CMS, а также поиска тегов noindex.
Редактировалось: 2 раз (Последний: 9 апреля 2020 в 14:58)
Чистить кэш, исправлять базу ручками и искать в гугле умею. Если задаю вопрос, то значит есть существенная причина!!!
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2047
Скела:
и robots.txt

Какая версия инстанта?
Файл robots.txt в последних версиях должен быть удален из корневой директории...

Он формируется динамически из компонента.
Вряд ли это причина проблемы, НО...
Редактировалось: 1 раз (Последний: 9 апреля 2020 в 15:10)
Посетитель
small user social cms
Медаль
Сообщений: 485
Rainbow:

Скела:
и robots.txt

Какая версия инстанта?
Файл robots.txt в последних версиях должен быть удален из корневой директории...

Он формируется динамически из компонента.

А вот это уже интересно, я только обновился с 2.9 до последней 2.13.1. robots.txt не удалял... А как он формирует? я удалил, зашел в планировщик - запустил, а он не появляется...
Чистить кэш, исправлять базу ручками и искать в гугле умею. Если задаю вопрос, то значит есть существенная причина!!!
Посетитель
small user social cms
Медаль
Сообщений: 220
Скела, у вас обычный виртуальный хостинг или VPS?
проверьте здесь https://bertal.ru и увидите что поисковые боты получают 503
Редактировалось: 1 раз (Последний: 9 апреля 2020 в 15:29)
Быстрые VPS в Германии
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: