Вопрос дня - одинаковые ссылки

 
Посетитель
small user social cms
МедальКубок зрительских симпатий
Сообщений: 202
Есть какие-нибудь сроки в решении самой главной проблемы instant - повторяющихся ссылок все больше и больше, они плодятся как мухи. Когда уже будет одна ссылка, а то получается к одной и тойже статьй, блогу можно с разых адресов попасть, тяжело с этим!!!!!!!!!!!!
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 428
сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.
Реклама
cms
Посетитель
small user social cms
МедальКубок зрительских симпатий
Сообщений: 202
maxisoft:

сроки будут не быстрые по причине того что надо переписать фактически весь механизм формирования ссылок по движкам, разработать класс роута, который будет обрабатывать входящие ссылки, у меня есть готовое на 30% решение, в частности для блогов, но смысла выкладывать не вижу ибо это использовать можно будет до следующего обновления.

В этом вся и проблема, что нужно начинать с самого начала. Зачем нужны новшества, когда нет стабильности
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1551
garry:

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок
Ну типа продвигаю сайты, по немногу и не напрягаясь. smile
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 304
Да, подтверждаю. Сайт тупо вылетел из всех поисковых служб. ХОтя по наличию информации - он должен быть на первом месте...

На сегодняшний день, инстант для серьезных проектов - это ж...
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 304
Гадкий:

garry:

Накидайте в этот топик дубли ссылок. Сделаю правильный robots.txt, либо шаблон.

1 Основной урл - нужный в индексе
2 Дубли - все возможные.

Иначе сейчас в выдаче просто бардак, ПС за дубли накладывает санкции.
опубликуйте пример такого robots, что бы все поняли, как правильно надо его оформлять, преследуя цель исключить индексацию дублирования ссылок

Роботсом дубли не исключить. Их можно исключить только полным исключением модулей - или созданием модулей на одной странице не имеющей id (не привязанной к меню) как тут
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
beekeeper:
Роботсом дубли не исключить. Их можно исключить только полным исключением модулей
Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.
Через некоторое время после начала использования роботс, вы увидите в панели ПС сколько всякой хрени запрещено в роботс, появится новый пункт автоматически. В гугле и Яндексе аналогичные требования на этот чтёт.

В этот топик прошу выложить по такому шаблону

Блоги (исходя из одного блога)
1 Урл для ПС
2 Дубли
Каталог
1
2
И тд по разделам сайта.

Приду с работы сделаю вменяемый шаблон. К сожалению сейчас нет установленной, а точнее нет проекта на котором бы мог посмотреть у себя. Тем что есть не занимался давно и живет он сам по себе.

Ещё вариант скинуть мне ссылки на страцы с дублями в индексе, по разделам сайта. С указанием нужного урла и дублей.
Редактировалось: 2 раз (Последний: 9 февраля 2010 в 12:26)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
Вот без дублей, так как пока нет у меня полной картины. К вечеру надеюсь накидаете мне по выше написанной схеме. Сделаю с запретом дублей.
Код PHP:
  1. User-Agent: *
  2. Disallow: /blogs/0/* # из присланных примеров, удаляет дубли блогов.
  3. Disallow: /admin/
  4. Disallow: /backups/
  5. Disallow: /modules/
  6. Disallow: /core/
  7. Disallow: /templates/
  8. Disallow: /wysiwyg/
  9. Disallow: /view-registration/
  10. Disallow: /view-users/
  11. Disallow: /users/
  12. Disallow: /backups/
  13. Disallow: /upload/
  14. Disallow: /catalog/ # как пример запрещения раздела
  15. Disallow: /search/ # Больше теги не приносят пользы, во многих случаях вред. По желанию конечно.
  16. Disallow: /go/ # редирект, либо ваш вариант. Иначе боты переходят и смысл теряем.
  17. Host: ваше главное зеркало
  18.  
  19. User-agent: Slurp
  20. Crawl-delay: 100
если хотите разрешить конкретно что то, добавить в верх:
Allow: /users/admin* # как пример
Будут ещё данные, можно сделать с условиями и тд.
Редактировалось: 4 раз (Последний: 9 февраля 2010 в 14:55)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 304
garry:

beekeeper:
Роботсом дубли не исключить. Их можно исключить только полным исключением модулей
Абсолютное заблуждение, исключить и работает для всех ПС. Это одно из рекомендаций ПС по исключению именно в роботс.

Идея провальная изначально - не дающая НИЧЕГО!!!
Объясняю сразу: невозможно "удалить дублирущие ссылки" по одной простой причине - ссылки генерируются по ID...
Отсюда вывод - все ID - не пропишешь в роботсе... да и не нужно это...
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
beekeeper, Дайте мне примеры сгенерированных дублей и основной урл, тогда можно говорить о чем то.

Плюс в системе хватает страниц абсолютно не нужных в индексе.
Чем больше дадите информации, тем лучше будет результат. Поверьте при использовании правильного роботс индексации в разы улучшается. Даже если это будет частично.

Из любой кмс вы ни когда не удалите все дубли и лишние страницы, что то всегда останется. Для этого и дан ПС инструмент.

если трудно вычислить все параметры, то ни когда не мешает вставить на странички сгенеренные по айди
<meta name="robots" content="noindex" />
Редактировалось: 3 раз (Последний: 9 февраля 2010 в 16:13)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 428
вот примеры
/content/10/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html
/content/40/stati/geologija/ostancovyi-lakkolit-osnovnye-momenty.html
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
maxisoft, Могли бы Вы расставить на этих страничках, у Вас знания большие по этой системе.
<meta name="robots" content="noindex" />
Я просто не ковырялся в коде и пока не знаю где генерит и условие. А я как приду с работы, сделаю вменяемый общий роботс включая форум. При этих двух доработках будет ГУТ.

Проблему сняли бы всем smile

Так же гугл ввел новый тег
<link rel="canonical" href="основной урл" /> # Нужна инфа, копирну, на смф публиковал.


Кононизирует основной урл, остальные дубли не индексирует( соответственно PR не распыляет) . Можно и его использовать активно по всему проекту.
В некоторых кмс и форумах он введён уже по дефолту.
Редактировалось: 7 раз (Последний: 9 февраля 2010 в 16:55)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4284
maxisoft, garry, будем ждать с нетерпением, я у уж точно :)
Sometime CMS Community
Посетитель
no avatar
Сообщений: 48
lezginka.ru:
будем ждать
Я тож в очередь.
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: