jeeper

Оказывается не так просто создать "соточку" записей. За ночь смог только восемьдесят сделать.

Компонент "импорт из файла" работает медленно, но верно )) сотку нагонял примерно 15часов, с моим мертвым 3g

html страницу с ссылками на все страницы сайта

Эту страницу роботы никогда не проиндексируют. Потому что не дождутся ее загрузки и уйдут индексировать другие сайты))

то же верно ((

вот есть дополнение

Там не карта сайта (sitemap), а дерево сайта (treemap).

это понятно, но ссылки вроде дает на все страницы? хотя бы по ссылкам боты пробежались, если прямой карты нет

потому что у нас есть столько контента

Не переживайте, завтра у меня тоже будет "столько контента". А там и посмотрим, что к чему.

Loadырь, одна надежда на вас! если получится сделать дополнение, я первый клиент!

А такие планы были))) Есть база, там 2,5 млн. организаций. Думал ГС такой сделать. Но без карты сайта нет смысла, потому что никогда не проиндексируется...

та же вафля!
вот есть дополнение instantcms.ru/addons/treesite.html генерирует html страницу с ссылками на все страницы сайта
как альтернатива для индексации, поможет ли или нет? и хватит ли ему (дополнению) памяти?

Проверяю тоже))

512 Мб.

Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 79 bytes) in /home/web/sites/site.com/system/controllers/content/model.php on line 1809

Увеличил до 900 Мб — всё равно ошибка. Сейчас жду логи от хостера, интересно даже, сколько байт не хватило...

да-а, подозрительно!

можно ли, в принципе, генерировать карту частями, а не сразу всю

Можно конечно, но нужно переделывать алгоритм.

в итоге можно написать такое дополнение?
нет смысла брать серьезный хостинг только для генерации карты, трафика огромного не ожидается, максимум 1000 уников в сутки и 2000-3000 просмотров.

jeeper, увеличьте, пожалуйста, еще память, чтобы подтвердить, что все равно не хватит

хостер не дает играться. 256 и все тут!

Судя по ошибке, вам не хватило 85 байт до успеха. Рецепт собственно на данный момент только один — увеличивать memory_limit.

если на 100 000 страниц не хватает 256мб, то на 500 000 не хватит и 1G для генерации?
крутой хостинг покупать придется, ради генерации карты ))

вопрос от ламера: можно ли, в принципе, генерировать карту частями, а не сразу всю? (разумеется не штатным генератором, а в виде специально написанного дополнения)

jeeper, текст ошибки был какой, когда включили показ ошибок?

в режиме отладки небыло ошибок
ошибке были в логе
Allowed memory size of 268435456 bytes exhausted (tried to allocate 85 bytes)

сейчас 89,4мб и примерно 100 000 страниц

Увеличьте memory_limit до 256Мб например. Текущее значение memory_limit какое?

хостер не дает доступ к файлу, по умолчанию установлен лимит 256М

сколько нужно памяти чтобы обрабатывать 500к страниц?

Какой размер таблицы с записями, посмотрите в phpmyadmin, какой размер БД в целом?

сейчас 89,4мб и примерно 100 000 страниц

нашел ошибку рнр, не хватает памяти.
сколько нужно памяти чтобы обрабатывать 500к страниц?

Для начала нужно выяснить почему у вас белая страница. Об этом написано тут. Кроме того, задача для генерации карты сайта должна выполняться из под PHP CLI, т.е. задача для планировщика на сервере должна быть настроена корректно.

Конечно же я включал режим отладки (не показывает ошибок) и логи не выдают ошибок (файл error.тхт отсутствует в корневой папке сайта, где он обычно появляется после ошибок на других сайтах на этом же хостинге) проблема возникает и при ручной генерации при нажатии "выполнить сейчас"

И зря, судя по тому, что уже есть на гите, будет хороший релиз, позволяющий неплохо оптимизировать сайт по скорости и памяти.

я сторонник не чесать там, где не чешется. )))

Это сколько контента надо иметь, чтобы воспроизвести вашу ошибку?

в районе 100 000 страниц и это не предел, всего будет под 500к страниц. Делаю белый дорвей.