Снова о robots.txt

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО

Спорные моменты

Предыдущая
1
2
3
Показаны 31-45 из 45

#31 10 января 2014 в 18:16

Материал прочитан, может и остались грешки, но, собственно вот:
Artem

Инструкция «Disallow: *. не поддерживается.
По существу, составлен с явными ошибками, построен без логики и понимания что и как.

P.S. отдельное спасибо *beez*
Artem

Он посоветовал вам такой вариант?

#32 10 января 2014 в 18:37

~~Disallow: *.php~~
Disallow: /*.php
Disallow: /*?*
Disallow: /content
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /search
Disallow: /login
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /gobanner
~~Disallow: /templates~~
Disallow: /rss
~~Disallow: */tag/~~
Disallow: /arhive
Disallow: /comments
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
Disallow: *?iframe*

и так далее...

для 1.9 без премиум

Disallow: /*.php
Disallow: /*?*
Disallow: /go/
Disallow: /gobanner
Disallow: /rss/
Disallow: /search/tag/
Disallow: /login$
Disallow: /registration$
Disallow: /passremind.html
Disallow: /0$
Disallow: /--kornevoi-razdel--$
Disallow: /content$
Disallow: /comments$
Disallow: /comments/
Disallow: /actions$
Disallow: /actions/
Disallow: /arhive$
Disallow: /arhive/
Disallow: /photos/latest.html
Disallow: /photos/top.html
Disallow: /photos/100$
Disallow: /clubs/*/config.html
Disallow: /blogs/0$
Disallow: /blogs/*/cat-
Disallow: /board/*/add.html
Disallow: /board/city/
Disallow: /board/by_user
Disallow: /faq/0$
Disallow: /forum/thread*-1.html
Disallow: /price/0$
Disallow: /my.html
Disallow: /users/*.html
Disallow: /users/city/
Disallow: /users/hobby/
Disallow: /*page-1$

а вообще делайте под себя лично, не панацея

#33 10 января 2014 в 18:41

Можно взять Xenu, просканировать все ссылки.

Сегодня в 06:44

#34 10 января 2014 в 18:45

CaT, я не посоветовал а показал какой у меня
себе составлял по логике рекомендаций из гугл вебмастера, где оптимизация хтмл
удалось до нуля свести дубли
Disallow: * не работает?
но у меня на проекте не индексируется
вот это:
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
или это неверно? scratch

мой подход работает =)

#35 10 января 2014 в 18:57

себе составлял по логике рекомендаций из гугл
*beez*

а можно взглянуть на ваш сайт где применяется данный роботс?

#36 10 января 2014 в 18:58

CaT, нет, потому что у меня традиция не палить сайты

мой подход работает =)

#37 10 января 2014 в 19:00

Disallow: * не работает?
*beez*

читайте внимательней что я написал. *.

#38 10 января 2014 в 19:03

CaT, простите за невнимательность

давайте обсудим тут подробно еще раз роботс? предложите свой вариант

мой подход работает =)

#39 10 января 2014 в 19:06

вот например роботс с сайта одного из участников этой темы.

Спойлер

User-agent: Mediapartners-Google
Disallow:

User-Agent: Googlebot
Disallow: *.php
Disallow: /content
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /search
Disallow: /login
Disallow: /registration
Disallow: /passremind.html
Disallow: /faq/sendquest*.html
Disallow: /faq/1-*
Disallow: /faq/2-*
Disallow: /faq/3-*
Disallow: /faq/4-*
Disallow: /faq/5-*
Disallow: /faq/6-*
Disallow: /go/
Disallow: /templates
Disallow: /users/
Disallow: /users
Disallow: /rss
Disallow: /actions
Disallow: /search/tag/
Disallow: /arhive/
Disallow: /arhive
Disallow: /comments
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
Disallow: *?iframe*
Sitemap:

User-Agent: *
Disallow: *.php
Disallow: /content
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /search
Disallow: /login
Disallow: /registration
Disallow: /passremind.html
Disallow: /faq/sendquest*.html
Disallow: /faq/1-*
Disallow: /faq/2-*
Disallow: /faq/3-*
Disallow: /faq/4-*
Disallow: /faq/5-*
Disallow: /faq/6-*
Disallow: /go/
Disallow: /templates
Disallow: /users/
Disallow: /users
Disallow: /rss
Disallow: /actions
Disallow: /search/tag/
Disallow: /arhive/
Disallow: /arhive
Disallow: /comments
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
Disallow: *?iframe*

User-agent: Yandex
Disallow: *.php
Disallow: /content
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /search
Disallow: /login
Disallow: /registration
Disallow: /passremind.html
Disallow: /faq/sendquest*.html
Disallow: /faq/1-*
Disallow: /faq/2-*
Disallow: /faq/3-*
Disallow: /faq/4-*
Disallow: /faq/5-*
Disallow: /faq/6-*
Disallow: /go/
Disallow: /templates
Disallow: /users/
Disallow: /users
Disallow: /rss
Disallow: /actions
Disallow: /search/tag/
Disallow: /arhive/
Disallow: /arhive
Disallow: /comments
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
Disallow: *?iframe*
Crawl-delay: 2
Sitemap:
Host:

вопрос. а почему не привести все к

Спойлер

User-agent: Mediapartners-Google
Disallow: /

User-agent: *
Disallow: *.php
Disallow: /content
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /search
Disallow: /login
Disallow: /registration
Disallow: /passremind.html
Disallow: /faq/sendquest*.html
Disallow: /faq/1-*
Disallow: /faq/2-*
Disallow: /faq/3-*
Disallow: /faq/4-*
Disallow: /faq/5-*
Disallow: /faq/6-*
Disallow: /go/
Disallow: /templates
Disallow: /users/
Disallow: /users
Disallow: /rss
Disallow: /actions
Disallow: /search/tag/
Disallow: /arhive/
Disallow: /arhive
Disallow: /comments
Disallow: */page-*
Disallow: */top*
Disallow: */cat*
Disallow: *?iframe*
Crawl-delay: 2
Sitemap:
Host:

правильность не обсуждаю, просто интересно зачем такие простыни делать

я cделал тиц 20 за 300р в месяц / 15$ в день ничего не делая / почему контекст лучше тизеров

#40 10 января 2014 в 19:07

у меня традиция не палить сайты
*beez*

Оффтоп:

Группе, к которой вы принадлежите, запрещено просматривать этот скрытый текст

#41 10 января 2014 в 19:10

офф

CaT, на нет и суда нет. удаляюсь, и впредь игнор

мой подход работает =)

#42 10 января 2014 в 19:11

*beez*

Как я могу предложить свой вариант не посмотрев сайт? телепатия и гадание не мой конек.

#43 10 января 2014 в 19:20

на нет и суда нет. удаляюсь, и впредь игнор
*beez*

Мало того что вы не компетентны в вопросах так еще и даете сомнительные(неправильные) рекомендации касательно ТС.

#44 10 января 2014 в 19:22

CaT, а можно ваш роботс глянуть? если конечно прилично одному мужчине на роботс другого смотреть :))

я cделал тиц 20 за 300р в месяц / 15$ в день ничего не делая / почему контекст лучше тизеров

#45 10 января 2014 в 19:24

CaT, да, *beez* действительно мне просто показал свой файл, но я не использовал этот файл, читал рекомендации постов.

Предыдущая
1
2
3
Показаны 31-45 из 45

Новый инструмент для ускорения

Netpeak Spider - бесплатная пр

Снова о robots.txt

Похожие темы

[ЕСТЬ РЕШЕНИЕ] Seo , файл robots.txt , индексирование поисковиком

Компоненты: Генератор карты сайта и robots.txt

Индексацию профилей пользователей в robots.txt

Robots.txt для instantcms 2

Компонент Sitemap и robots

Вопрос по robots.txt

InstantCMS Team

О проекте

Поддержка

Дополнения