Вопросы и предложения по тестированию релизов InstantCMS

Вводная часть. Сам вопрос, указанный в топике темы, назрел давно, ибо сама система InstantCMS за последние годы значительно выросла, благодаря нашей общей помощи, в основном все таки доброжелательной части пользователей системы, исходя из конкретных пожеланий и предложений, нахождения и исправления недочетов и за это, всем низкий поклон и уважение.

Основная часть. Исходя из практики "крайних" тестов релизов системы, хотелось бы вынести предложение по дальнейшему тестированию, следующих и последующих релизов, а именно:
— создание нескольких тестовых площадок, для теста пользователям, не имеющих данной возможности;
— разбить тестирование по основным направлениям компонентов системы и взаимных модулей;
— общий сбор и проверка недочетов на площадках, для достоверности и качественного описания самих недочетов;
...

Вывод. Не секрет, что тестирование системы, и именно её качественный тест — залог, как успеха самой системы, так и отсутствие головной боли у Администраторов сайтов, коими мы все с вами и являемся!

Я думаю не составит труда, найти сами тестовые площадки, кто готов предоставить постоянно действующие — пишите мне, с указанием адресов.
По делению на "части" тестирования, есть задумки личные, но хотелось бы услышать предложения, здесь в теме и по теме ...

И самый главный вопрос — это вообще нужно? Или оставим процесс тестирования так, как он есть на данный момент?

Площадки вообще не проблема, не поднять что ли поддомен у своего сайта для тестов?

Другой вопрос само тестирование и как оно проходит. Последние разы очень тяжко было что то делать, поскольку удалялись найденые баги. Поясню, тесты бывают хаотичные, когда кликается наугад и что-то находится, они не совсем правильные и в большей части такие сейчас и идут. На мой взгляд системе нужны стресс тесты, когда создаются наборы сценариев и моделей поведения и тщательно пощагово тестируется, фиксируются все недочеты и подбиваются варианты исправления. Это дольше. Это по трудозатратам в разы тяжелее. Но при такой модели проверяется досконально все. Вот тут уже и можно вводить разделение задач для тестеровщиков, проводить перекрестные тестирования.

По сути я бы делал некую альфу которую пускать в закрытый тест, по его итогам уже выпускать бету в открытое тестирование где и будет уже текущая модель тестирования.

Таким образом, тема зайдет в тупик очень скоро...

Madmax, для тестирования систем есть специальные скрипты, которые, кстати, помогают и при разработке системы. Эти скрипты могут генерировать список функций сайта, и их вручную нужно проверять: из разных браузеров, систем, устройств, групп пользователей, прав доступа (каждую)

Но это только 5% работы. Собственно, сейчас не об этом. НО Только так можно нормально оттестировать систему. НИКАК иначе.

Вариант: восстановить работоспособность трекера ошибок инстант (встроенного) и, для каждого компонента отдельный создавать трекер.

Потому что то, что есть сейчас — НУ НИКАКОЕ. ОНо не функциональное, сложное, угрюмое, и вообще — отталкивающе непонятное, находится где-то далеко на поддоменах каких-то не удобных до которых добраться то не просто.

А хорошо, если бы оно тут вот, в футере располагалось…

может быть и надо использовать скрипты при тестировании. но кажется тестирование пользователями, как будущими посетитеялми готового сайта, ничего не заменит. потому что пользователи могут сделать, то что даже не придумаешь (ведь человечеслая глупость, она — безгранична...)

разбить тестирование по основным направлениям компонентов системы и взаимных модулей

как мысль, может группировать пользователей и определить для каждой группы конктетную задачу или раздел. и только эту задачу или раздел.
Скажет группа из 5 человек тестирует раздел Блоги. Срок — 1 неделя. Отчет о проделанной работе. Что делали, чего достигли. Какие были проблемы. Какие нашли баги.
Другая группа только Форум. и т.д.

тесты бывают хаотичные, когда кликается наугад и что-то находится, они не совсем правильные и в большей части такие сейчас и идут

тут полностью согласен. когда видишь новую тестовую версию чего либо, включаешь и тыкаешь наугад, типа — а вдруг здесь или здесь баг.

может быть и надо использовать скрипты при тестировании. но кажется тестирование пользователями, как будущими посетитеялми готового сайта, ничего не заменит. потому что пользователи могут сделать, то что даже не придумаешь (ведь человечеслая глупость, она — безгранична...)

Скрипты для тестирования не используются. Они нужны для генерации отчетов, или списка задач на тестирование.

Тестируют ЛЮДИ по списку сгенерированному программой

Последние разы очень тяжко было что то делать, поскольку удалялись найденые баги.

+1

я бы оставил все как есть, но нужно придумать (или использовать то что есть) для логирования найденных багов. А то вроде нашел баг, а вроде уже его тут видел, начинаешь просить выпустить rc3 и т.п. Хаос.

Может отвести каждому компоненту (и сопутствующим ему модулям) спойлер, и найденное писать туда…

Таким образом, тема зайдет в тупик очень скоро...

Все заходит в тупик в паре случаев, если — необсуждать открыто проблемные вопросы, а также при самом обсуждении не пытаться понять оппонента, например, "наглухо" стоя на своем.
Попытаемся этого избежать ...
Все прочел, всех услышал — будут еще предложения?

Я плохо понял вопрос. В чем проблема? Нужны площадки? Могу выделить пару. У меня и так 2-3 площадки использовались для тестирования компонентов под разные версии.
Какие еще сложности? Как организовать обсуждение? Выделить целый раздел в форуме под обсуждение версии, где каждая тема будет посвящена отдельному компоненту...
В чем проблема?

Мануальчик маленький нужен по тестированию, особенно для не искушенных технологиями пользователей. Документация в общем вроде все лучше и лучше становится (заметил обновления), но это для разрабов и допиливателей.
В плане серверов для тестирования — у меня есть несколько боевых серверов, в т.ч. и в облаках, могу оказать поддержку в этом.

Я плохо понял вопрос. В чем проблема? Нужны площадки? Могу выделить пару. У меня и так 2-3 площадки использовались для тестирования компонентов под разные версии.

Дело не в самом количестве площадок, дело больше в выработке общего плана самого процесса тестирования.

Мануальчик маленький нужен по тестированию, особенно для не искушенных технологиями пользователей.

Мануальчик, уже надо набрасывать после выработки единого решения.

Madmax, инстант большой. сделайте разбивку на части.
1. голый инстант отключены ВСЕ модули, плагины и компоненты. тестируется ядро и админка.
2. регистрация-авторизация, рассылка, профиль. управление юзерами на фронтенде.
3. включаются компонент Х и тестируется только он.
....
54. общие тесты в случайной последовательности (тыкнул-жамкнул-удалил-добавил)

1 Набрать добровольцев тестеров(определенное количество)
2 Создать группы
3 Каждой группе выделить определенный компонент для тестирования
4 Группы разбить на части, назначить каждой группе координатора, который бутет вести статистику найденных багов
5 Тестер по мере нахождения багов предоставляет отчет координатору в ЛС
6 Координатор обрабатывае и заносит список багов в определенную ветку форума
7 На форуме создать тему, разбить по подтемам(компонентам), доступ на запись дать только координаторам
8 Пользователи которые неуспели вступить в группу тестеров, занимаются тестированием системы вцелом

Можно еще всем собираться вечерком и всем скопом тестировать одну площадку

Таким образом, тема зайдет в тупик очень скоро...

Все заходит в тупик в паре случаев, если — необсуждать открыто проблемные вопросы, а также при самом обсуждении не пытаться понять оппонента, например, "наглухо" стоя на своем.
Попытаемся этого избежать ...
Все прочел, всех услышал — будут еще предложения?

Да.
Вариант еще один. На момент тестирования системы делаем новую категорию АЛЬФА ВЕРСИЯ ХХХ вот здесь instantcms.ru/forum/all.html чтобы была доступна.

В ней форумы:
— Компоненты (или для каждого компонента)
— Система
— Модули и плагины
— Установка и Обновление. Миграция
— Верстка дефолтного шаблона + ланг

Может еще форумы нужны.

Теперь, внимание!

Каждый новый баг — в соответствующий форум НОВЫМ ТРЕДОМ. И по багу далее обсуждение. Исправили — закрыли тему.

Такой вариант — самый простой будет.
Единственная сложность заключается в том, что могут возникать дубли багов (дубли тредов) но, тут уж карты в руки модераторам.

Преимущество — такое решение ЛЕГКОДОСТУПНО и вполне функционально. Если по какому-то компоненту, модулю, или системной функции сбоев много (<N) можно выделять в отдельный форум.

СОбственно пока все

P.S.: на счет мануальчиков. Это лишнее. Тестирование должно опираться на готовые функции уже работающих систем. И примеров тому масса.

Тестирование хорошо проводить на ХОРОШО посещаемых проектах. Тогда ОЧЕНЬ много багов можно отловить.

А по теме: графики (списки) тестирования — это очень очень очень сложно. Над ними работают люди (по составлению), потом, другие люди ТЕСТИРУЮТ составленные списки. Это не так просто — и заниматься этим специально — никто не будет.

Тестирование хорошо проводить на ХОРОШО посещаемых проектах. Тогда ОЧЕНЬ много багов можно отловить.

на вашем тогда будем, ладно?