Сайт умирает из-за карты сайта!

Расскажу немного о том, как из-за карты сайта (если я не ошибаюсь) умирают сайты

Суть в следующем, как известно с помощью карты сайта, сайт индексируется быстрее и эффективнее, то есть поисковым ботам не нужно просматривать весь сайт (обычно боты пробегаются по сайту в рандомном порядке… могут что-то и пропустить) по определенной структуре, которая прописана в ХМL файле формируемый компонентом "Карта сайта".
Но в сё хорошо, если не одно НО...
Вот моя статистика из LI:

Итак, что мы видим на этом графике:
Посещаемость до 17 августа выросла до 1200 пользователей в сутки, всё нормально...
18 августа посещаемость упала в 2 раза до 600 пользователей..., а через неделю ещё в 2 раза до 300 пользователей, я отписался в поддержку яндекса, мне пришел ответ, что они сами не знают почему у меня понизилась выдача..., хорошо… я сам начал искать проблему: проверил сайт под фильтром он или нет (оказалось, что не под фильтром), но я заметил, что некоторое время не добавляются новые страницы в индекс… вернее добавляются, но около 1%… в основном сайт держится на Видеокомпаненте InstantVideo… вот показываю ещё один график:

Здесь мы видим какую позицию занимал сайт по определенному запросу: на 17 августа 42 место, а уже 18 августа 81 место.
Я стал искать ответы на вопрос в Янндекс.Вебмастер и нашёл вот это:

Проверил все файлы в в папке /sitemaps и обнаружил что файл video.xml превышает лимит 10мб… теперь я понял почему не индексировался в полном объёме сайт, но сейчас я задумался, как этот файл разделить… Есть у кого идеи?

Карта не единственный показатель не индексируемости и конечно важный в плане удобства перехода ботов, но не критичный. Ваши страницы уже были проиндексированы и переходы на них в не зависимости от карты должны были бы быть. Далее существует внутренние ссылки по которым боты прекрасно переходят.
Нужно глубже копать и смотреть вам и смотреть что может быть.
Как определили что не под фильтром?
Посмотрите как генерится карта и разбейте её на пять карт и добавьте все в яндекс и гугл. Там можно добавлять не одну карту.

Сейчас сайты с довольно приличным контентом и уникальным траф потеряли и позиции, а у вас там уникального не много, я не нашел сходу. Плюс на главной вы выкладываете картинки для взрослых, фильтров у яндекса далеко не один и определить их не пару минут.

:D Приколисты) Вполне нормальный процесс, первые проходы быстророботов итд выводят видео в топы, затем идут идут роботы более тщательные, которые видят, что это голимый копипаст и выкидывают с позиций. То что вы накопировали есть как минимум на 1000+ сайтов. Процесс не нов. подьем — падение по этой причине. Работайте над уникалом.

Для примера Гугл проиндексировал у вас более 100 000 страниц, но в выдаче 280 страниц. В яндексе прондексировано 72 000 страниц, но они все копипаст. В общем вот так и карта сайта тут не причем. Контент проиндексирован весь, просто он не уникал и после обработки тщательной, вылетел, такое уже было не на одном сайте.

Вполне нормальный процесс, первые проходы быстророботов итд выводят видео в топы, затем идут идут роботы более тщательные, которые видят, что это голимый копипаст и выкидывают с позиций.

+100
Сейчас еще панда накроет (сайт не проверял, но судя по числу соплей, что видно из цифр Летсгоу, вполне возможно что уже панда присутствует), а попробуете ссылок купить и пингвин прибежит… Да, не вздумайте исправлять ситуацию ссылочным — в вашем случае, это практически стопроцентнная потеря трафика. Тут нужно комплексно проработать все, поэтому лучше обратитесь за помощью к специалистам, думаю, что и Гарри и Летсгоу реально смогут помочь

что и Гарри и Летсгоу реально смогут помочь

Сейчас 90% времени на свои проектах только. Люди ждут волшебной палочки, когда начинаешь работать, а продвижение это трудный и достаточно нудный труд изо дня в день. Ушел в свои проекты, гораздо выгоднее так. С кем работаю, завершим до конца, новых не более 1 клиента в два месяца, ну и помощь хорошим людям.

Люди ждут волшебной палочки, когда начинаешь работать, а продвижение это трудный и достаточно нудный труд изо дня в день

Вот только редко это кто понимает )))

Ушел в свои проекты, гораздо выгоднее так

Правильным путем идешь ))) Свои проекты + коммерция гораздо выгоднее для seo-специалиста, потом взять под контроль контекстную + социалки… )))

Свои проекты + коммерция гораздо выгоднее для seo-специалиста

Если "+ коммерция" то выгодно для любого спеца) ведь даже на сайте в 100 уников при подобранной тематике делаются не плохие деньги) Мышление нужно "правильное" ну и опыт не только в продвижении но и жизненный) ведь коммерция тоже не всякому дается…


По теме, спецы сео дали наводку. Но у меня некоторое время назад появилась "чуйка" что карта сайту "мешает") и как не раз говорили, ограничение в размере карты не для больших порталов… Я уже говорил свои мысли, мол карта нужна молодому сайту — дальше когда происходит "моментальная индексация" карта не нужна, имхо… При регулярно ежедневном добавлении уникального контента, наступает время когда страницы после добавления влетают в выдачу в течении 5-15 минут… И при вменяемом ПФ страница "никогда" не вылетит…

Прыжки, как сказал letsgo, это вполне нормальный процесс. Я на графике ЛИ увидел не падение посещаемости а временные прыжки (они бывают и затяжными) а позиции не вечны — их сеошники своими "перепокупками ссылок" и продвижением в общем перебивают, некоторые (многие) случайно перебивают запросы не прибыльных (дешевых) тематик, но с "большим" трафом…

Карта к падению позиций не может иметь прямого отношения эт точно)

теперь я понял почему не индексировался в полном объёме сайт

Что за бред?! Причем тут позиции/трафик и карта сайта? Карта сайта — 1 страница из 73 к. в индексе Yandex. Смотрите на проблему глубже… Сайту меньше года, а на нем один плагиат, да еще и тизерная релкама висит. Yandex четко дал понять, что сайты с подобной рекламой будут ранжироваться ниже. А по поводу индексации… динамическая перелинковка лучше всякой карты.

А по поводу индексации… динамическая перелинковка лучше всякой карты.

А если динамика вся на последних 10 ссылках? Если нету по релеватности вывода, тогда как быть? Конечно динамически релеватное выводит хорошо в индексацию страницу, но если ты добавил 1000 видео а вывод есть только последних 5-10 в динамических модулях.

Если нету по релеватности вывода, тогда как быть?

Динамика делается отдельным модулем, который рандомно выводит все существующие записи (штук по 5-10) где нибудь в сайдбаре. Каждая новая загруженная страница сайта даст пользователю и роботу в случайном порядке новую порцию URL.

Tempest, я не желаю вносить свои правки, но такой перелинковкой, мы получаем только один плюс — максимальная индексация всех страниц. Однако минусов гораздо больше — отсутствие релевантности, ссылки не дают вес страницам, зафильтровывание динамичных ссылок ПС, кроме того, если вам дорог Гугл, не советовал бы делать такого рода динамичные блоки, так как есть вероятность появления Панды на вашем сайте...
Вообще, лучшим способом для максимальной индексации страниц — соц сети, в особенности Твиттер + внутренняя перелинковка малыми кольцами (не более 6-ти страниц в кольце) )))

Динамика делается отдельным модулем, который рандомно выводит все существующие записи (штук по 5-10) где нибудь в сайдбаре. Каждая новая загруженная страница сайта даст пользователю и роботу в случайном порядке новую порцию URL.

К сожалению не всегда делается, вторую неделю сижу пытаюсь загнать сайт с 500 000 страниц в индекс, пока около 20 000 вошло. Это с картой сайта, а без неё, было б гораздо меньше.

Я с 500 000 страницами не работал! В основном работаю с коммерческими проектами — max 18000 реальных страниц-товаров, но и то редкость. Уходим от темы… Автору посоветую хорошо подумать над более глобальными проблемами нежели над картой сайта! Массово загоняя плагиат в индекс можно фильтр получить от ПС… развиваться надо естественно!

развиваться надо естественно!

Золотые слова! И еще добавлю от себя — не бежать впереди паровоза…

у меня посещалка легла из за карты сайта… видео перестала индексироваться роботом, а те страницы что были проиндексированы пропали с поиска… черт!!!