Найти на сайте
  2. Пользователи
  3. Artem
  4. Форум
Artem

Artem

+64
Репутация
54
Рейтинг
#1 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 10 января 2014 в 01:38
Материал прочитан, может и остались грешки, но, собственно вот:

  1.  
  2. User-agent: *
  3. Disallow: *.php
  4. Disallow: /content
  5. Disallow: /--kornevoi-razdel--
  6. Disallow: /forum/thread*-1.html
  7. Disallow: /search
  8. Disallow: /login
  9. Disallow: /registration
  10. Disallow: /passremind.html
  11. Disallow: /go/ 
  12. Disallow: /templates 
  13. Disallow: /rss
  14. Disallow: */tag/
  15. Disallow: /arhive
  16. Disallow: /comments
  17. Disallow: */page-*
  18. Disallow: */top*
  19. Disallow: */cat*
  20. Disallow: *?iframe*
  21. Sitemap: http://сайт.ua/sitemap.xml
  22. Host: сайт.ua
Прошу критику в студию!

P.S. отдельное спасибо *beez*
0
#2 [ЕСТЬ РЕШЕНИЕ] Сообщество любителей активного отдыха 10 января 2014 в 01:34

Имелось в виду, что в Инстанте много чего на яваскрипте, что не гуд.

letsgo
закрыть их как то можно?
кстати, можно с морды пагинацию убрать в этом шаблоне, но я оставил.
0
#3 [ЕСТЬ РЕШЕНИЕ] Сообщество любителей активного отдыха 10 января 2014 в 01:07


зы. пагинация на главной работает не корректно, что становится причиной таких вот внешних ссылок javascript://conPage(4,%20103) и с плюсо внешняя, а не надо так много с морды

*beez*

Вот код пагинации. Шаблон тот же. Что со ссылками не так?
0
#4 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 7 января 2014 в 17:16
Финалный роботс обязательно выложу на суд общественности.
0
#5 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 7 января 2014 в 16:40
picaboo,

Rainbow, уже в Яндексе...

Artem

По совету человека отправился изучать советы Яндекса. Составил, потом проверил в панелях Яндекса и Гугла.
Не закрываю, потому как хотелось бы увидеть по новому файлу выдачу в ПС…
В любом случае огромное спасибо за мнения и критику.
0
#6 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 7 января 2014 в 12:32
picaboo, ну так прочитаны "разжевывающие" посты. Уже одна секция. Один хост последней строкой. Почему Вы решили, что результат нулевой?

P.S. раньше не придавал этому большое значение. А вообще, началось все с использования сервиса.
0
#7 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 6 января 2014 в 22:55
Rainbow, Теперь становиться понятно, что толк от сервисов при составлении robots.txt нулевой. look
0
#8 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 6 января 2014 в 21:14
Rainbow, уже в Яндексе…
0
#9 [ЕСТЬ РЕШЕНИЕ] Сообщество любителей активного отдыха 6 января 2014 в 15:43
Есть огромное количество тематических сайтов без всякой оптимизации, созданы любителями на стандартных шаблонах популярных cms. Собрать в сообщество активных единомышленников, и потом создавать условия для реализации их мыслей в слова. Вот мой неопытный совет по оптимизации Вашего сайта.
0
#10 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 6 января 2014 в 15:20
В общем, спасибо всем за советы, особенно, за дельные)
  1.  
  2.  
  3. User-agent : Googlebot
  4. Disallow: /backups/ 
  5. Disallow: /backup/
  6. Disallow: /components/
  7. Disallow: /wysiwyg/
  8. Disallow: /includes/
  9. Disallow: /modules/
  10. Disallow: /filters/
  11. Disallow: /languages/
  12. Disallow: /users/
  13. Disallow: /core/
  14. Disallow: /login/
  15. Disallow: /admin/
  16. Disallow: /registration/
  17. Disallow: /tag/
  18. Disallow: /go/
  19. Disallow: /search/
  20. Disallow: /rss/
  21. Disallow: /*search
  22. Disallow: /*comments
  23. Disallow: /*login
  24. Disallow: /*admin
  25. Disallow: /*registration
  26. Disallow: /index.php$
  27. Disallow: /--kornevoi-razdel--
  28.  
  29. User-agent: Slurp 
  30. Crawl-delay: 1
  31.  
  32.  
  33.  
  34. User-agent : Yandex
  35. Disallow: /backups/ 
  36. Disallow: /backup/ 
  37. Disallow: /components/
  38. Disallow: /wysiwyg/
  39. Disallow: /includes/
  40. Disallow: /modules/
  41. Disallow: /filters/
  42. Disallow: /languages/
  43. Disallow: /users/
  44. Disallow: /core/
  45. Disallow: /login/
  46. Disallow: /admin/
  47. Disallow: /registration/
  48. Disallow: /tag/
  49. Disallow: /go/
  50. Disallow: /search/
  51. Disallow: /rss/
  52. Disallow: /*search
  53. Disallow: /*comments
  54. Disallow: /*login
  55. Disallow: /*admin
  56. Disallow: /*registration
  57. Disallow: /index.php$
  58. Disallow: /--kornevoi-razdel--
  59.  
  60. User-agent: Slurp 
  61. Crawl-delay: 1
  62.  
  63.  
  64. User-agent: *
  65. Disallow: /backups/
  66. Disallow: /backup/
  67. Disallow: /components/
  68. Disallow: /wysiwyg/
  69. Disallow: /includes/
  70. Disallow: /modules/
  71. Disallow: /filters/
  72. Disallow: /languages/
  73. Disallow: /users/
  74. Disallow: /core/
  75. Disallow: /login/
  76. Disallow: /admin/
  77. Disallow: /registration/
  78. Disallow: /tag/
  79. Disallow: /go/
  80. Disallow: /search/
  81. Disallow: /rss/
  82. Disallow: /*search
  83. Disallow: /*comments
  84. Disallow: /*login
  85. Disallow: /*admin
  86. Disallow: /*registration
  87. Disallow: /index.php$
  88. Disallow: /--kornevoi-razdel--
  89. Sitemap: http://i.ks.ua/sitemap.xml
  90. Host: i.ks.ua
  91.  
  92. User-agent: Slurp 
  93. Crawl-delay: 1
  94.  
0
#11 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 5 января 2014 в 18:11
*beez*, допилена чуть-чуть по рекомендации этого поста
0
#12 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 5 января 2014 в 17:58
Clear, а если по теме?
0
#13 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 5 января 2014 в 17:56
*beez*, Доску объявлений тоже скрывать?
0
#1 [ЕСТЬ РЕШЕНИЕ] Снова о robots.txt 5 января 2014 в 16:21
При помощи одного из онлайн сервисов генерации файла robots.txt [hide](этот сервис)[/hide]

получился вот такой файл:
  1.  
  2. User-agent : Googlebot
  3. Disallow: /backups/ # на любителя
  4. Disallow: /backup/ # на любителя
  5. Disallow: /components/
  6. Disallow: /wysiwyg/
  7. Disallow: /includes/
  8. Disallow: /modules/
  9. Disallow: /filters/
  10. Disallow: /languages/
  11. Disallow: /users/
  12. Disallow: /core/
  13. Disallow: /login/
  14. Disallow: /admin/
  15. Disallow: /registration/
  16. Disallow: /tag/
  17. Disallow: /search/
  18. Disallow: /rss/
  19. Disallow: /*search
  20. Disallow: /*comments
  21. Disallow: /*login
  22. Disallow: /*admin
  23. Disallow: /*registration
  24. Disallow: /index.php$
  25. Sitemap: http://сайт.ua/sitemap.xml
  26. Host: http://сайт.ua/
  27.  
  28. User-agent: Slurp # дабы не нагибал сайт
  29. Crawl-delay: 100
  30. # на основе этого, легко подстроить под себя
  31.  
  32.  
  33. User-agent : Yandex
  34. Disallow: /backups/ # на любителя
  35. Disallow: /backup/ # на любителя
  36. Disallow: /components/
  37. Disallow: /wysiwyg/
  38. Disallow: /includes/
  39. Disallow: /modules/
  40. Disallow: /filters/
  41. Disallow: /languages/
  42. Disallow: /users/
  43. Disallow: /core/
  44. Disallow: /login/
  45. Disallow: /admin/
  46. Disallow: /registration/
  47. Disallow: /tag/
  48. Disallow: /search/
  49. Disallow: /rss/
  50. Disallow: /*search
  51. Disallow: /*comments
  52. Disallow: /*login
  53. Disallow: /*admin
  54. Disallow: /*registration
  55. Disallow: /index.php$
  56. Sitemap: http://сайт.ua/sitemap.xml
  57. Host: http://сайт.ua/
  58.  
  59. User-agent: *
  60. Disallow: /backups/ # на любителя
  61. Disallow: /backup/ # на любителя
  62. Disallow: /components/
  63. Disallow: /wysiwyg/
  64. Disallow: /includes/
  65. Disallow: /modules/
  66. Disallow: /filters/
  67. Disallow: /languages/
  68. Disallow: /users/
  69. Disallow: /core/
  70. Disallow: /login/
  71. Disallow: /admin/
  72. Disallow: /registration/
  73. Disallow: /tag/
  74. Disallow: /search/
  75. Disallow: /rss/
  76. Disallow: /*search
  77. Disallow: /*comments
  78. Disallow: /*login
  79. Disallow: /*admin
  80. Disallow: /*registration
  81. Disallow: /index.php$
  82. Sitemap: http://сайт.ua/sitemap.xml
  83. Host: http://сайт.ua/
Так вот, сервис прописал закрытие от ПС доски объявлений (Disallow: /board/) — у себя убрал. И профили пользователей и теги закрыты.
Необходимо ли это для SEO?
Основное зеркало указывать с приставкой "" или без?
0
#14 Маленькая плюшка для доски объявлений 5 января 2014 в 03:52

папку source не заливайте в корень из папки библиотеку залейте в папку css вашего шаблона.

qb

библиотека = source ?

Странно, но у меня в описанном мной случае уже заработало… shock
0

InstantCMS Team

Связь с нами
Email dev@instantcms.ru

Делаем полезные Интернет проекты с 2008 года 💫

О проекте

Поддержка

Дополнения

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.