Свойства, которые должны тестироваться

Для того чтобы удостовериться в том, что программный продукт ТМТ удовлетворяет требованиям, указанным в спецификации требований ТМТ, необходимо протестировать следующие требования:

• Требование 3.1.1. Пользовательский интерфейс

• Требование 3.1.2. Навигация

• Требование 3.1.3. Аутентификация пользователей — клиент

• Требование 3.1.4. Аутентификация пользователей — администратор

• Требование 3.1.5. Текущие проекты

• Требование 3.1.6. Завершенные проекты

• Требование 3.1.7. Создание нового проекта

• Требование 3.1.8. Изменение проекта

• Требование 3.1.9. Удаление проекта

• Требование 3.1.10. Создание тестового случая или набора

• Требование 3.1.11. Изменение тестового случая или набора

• Требование 3.1.12. Удаление тестового случая или набора

• Требование 3.1.13. Отображение теста

• Требование 3.1.14. Отображение тестового набора

• Требование 3.1.15. Прогон одиночного теста

• Требование 3.1.16. Прогон тестового набора

• Требование 3.1.17. Создание списка прогона

• Требование 3.1.18. Выполнение списка прогона

• Требование 3.1.19. Сводный отчет по ошибкам

• Требование 3.1.20. Результаты тестирования — одиночный тест

• Требование 3.1.21. Результаты тестирования — тестовый набор или список прогона


План тестирования программного продукта ТМТ ТМТ-ТР-10

Требование 3.1.22. Создание матрицы прослеживаемости Требование 3.1.23. Резервное копирование тестовых случаев Требование 3.1.24. Резервное копирование тестовых наборов

Требование 3.1.25. Резервное копирование результатов прогона тестов Требование 3.1.26. Восстановление тестовых случаев Требование 3.1.27. Восстановление тестовых наборов Требование 3.1.28. Восстановление результатов прогона тестов Требование 3.1.29. Экспорт тестовых случаев Требование 3.1.30. Экспорт тестовых наборов Требование 3.1.31. Экспорт результатов прогона тестов Требование 3.1.32. Получение справки

Требование 3.1.33. Многопользовательские функциональные возможности

4. Свойства, которые не должны тестироваться

Ниже приводится список функциональных свойств и/или конфигураций системы, которые не должны тестироваться.

• В план тестирования не включается описание функциональных возможностей и процесса установ­ ки реляционной базы данных. Предполагается, что база данных установлена и функционирует. Также предполагается, что структура данных точно определена и содержит обязательные поля с типами и размерностью, которые определены в спецификации требований. Эти требования под­ робно излагаются в руководствах по подготовке и установке.



• В плане не предусматривается непосредственное тестирование Web-сервера (Apache или IIS).

• План тестирования не предполагает интенсивного расширенного тестирования архитектуры кли­ ент/сервер. Функциональные возможности, обеспечивающие работу в многопользовательском ре­ жиме, тестируются через работу пяти реальных пользователей, что определено минимальной многопользовательской конфигурацией.

5. Применяемый подход

Подход, предполагающий всеобъемлющее тестирование, включает тестирование свойств, регресси­ онное тестирование, тестирование процесса установки продукта, резервного копирования и восста­ новления, а также тестирование графического интерфейса пользователя. В этом разделе подробно описывается каждый упомянутый вид тестирования.

5.1. Тестирование свойств

Все свойства, описанные в определении требований TMT-RD-10 должны тестироваться на выбран­ ных комбинациях конфигураций клиент/сервер, описанных в разделе 10. Тестирование свойств предполагает функциональное и отрицательное тестирование (попытка выполнения операций и ввода данных, не предусмотренных разработчиками).

5.2. Регрессионное тестирование

Поскольку это первая версия программного продукта, отсутствует потребность в верификации на предмет проявления ошибок, устраненных в предыдущих версиях. Данная версия программы отли­ чается тем, что ошибки, исправленные на этапе системного тестирования, не разрушают ранее ра­ ботоспособные функциональные возможности.

Для регрессионного тестирования первой версии программного продукта предлагается следую­ щий подход:


План тестирования программного продукта ТМТ ТМТ-ТР-10

• Исправление ошибок должно осуществляться по мере их обнаружения. Для каждой программной сборки, переданной в команду тестировщиков, должны прогоняться тесты, что обеспечивает га­ рантию того, что устраненные ошибки не проявятся снова. Другими словами, в сборке должно проверяться каждое исправление ошибки.



• Если программный продукт функционирует устойчиво, а тестовые случаи прошли успешно, перед выполнением просмотром готовности должен быть выполнен последний проход регрессионного тестирования.

5.3. Установка продукта

Каждая программная сборка, переданная команде тестировщиков, устанавливается в соответствии с процедурой установки, которую будет использовать заказчик. Однако для каждой сборки модули клиента и сервера устанавливаются только на подмножестве всех возможных комбинаций платформ и операционных систем, которые указаны в спецификации требований. Предполагается, что успеш­ ная установка на одной платформе UNIX создает прецедент для успешной установки для всех ос­ тальных UNIX-подобных платформ. То же справедливо и для платформ Windows. Этот подход ут­ вержден у заказчика (см. сообщение электронной почты утверждающего лица из отдела маркетинга).

5.4. Резервное копирование и восстановление

Функционирование резервного копирования и восстановления тестируется для проектов, тестовых случаев, тестовых наборов и результатов прогона тестов. При этом должны использоваться как фи­ зические, так и логические устройства, которые являются автономными либо сетевыми. Сетевое резервное копирование является наиболее предпочтительным сценарием для заказчика, поэтому ему будет уделяться повышенное внимание.

5.5. Тестирование графического интерфейса пользователя

При тестировании графического интерфейса продукта ТМТ используется следующий подход:

• Графический интерфейс пользователя тестируется в браузерах Netscape Navigator и Microsoft Internet Explorer. При этом должен быть просмотрен полный состав интерфейса, а также протести­ рованы возможности навигации в обоих браузерах.

• Все действия по тестированию выполняются в ручном режиме.

• Все дефекты отслеживаются и устраняются с помощью корпоративной системы отслеживания дефектов. Такой подход предполагает нахождение недоработок в графическом интерфейсе поль­ зователя в ходе проведения различных оценок после завершения работы над проектом.

6. Критерий успешных и неудачных испытаний

Критерий успешных и неудачных испытаний для каждого тестового случая описывается через ожи­ даемые результаты. Если после прогона тестового случая получен ожидаемый результат, значит, тест пройден успешно. Если же после прогона теста ожидаемый результат не получен, считается, что тест потерпел неудачу. Если же тест не может быть прогнан вследствие блокирующей ошибки в сборке, результат тестирования именуется "заблокированным".

Для того чтобы продукт ТМТ смог успешно пройти фазу системного тестирования, 100% тестов из данного плана тестирования должны выполниться, по крайней мере, на одной программной сбор­ ке. 100% всех прогнанных тестов должны завершиться успешно, а по завершении тестирования не должна остаться неустраненной ни одна серьезная ошибка.

7. Критерий приостановки испытаний и требования возобновления испытаний

Если хотя бы одна фундаментальная функциональная возможность оказывается неработоспособ­ ной, например, установка и запуск программы, тестирование должно быть приостановлено до тех пор, пока соответствующая функциональность не станет доступной. Поиск катастрофических ошибок


План тестирования программного продукта ТМТ ТМТ-ТР-10

должен продолжаться, если только обнаруженные ошибки не столь серьезны и не заблокировано 50% и более тестовых случаев. Если тестирование оказывается приостановленным, команды разра­ ботчиков и тестеров должны ежедневно встречаться с целью достижения прогресса в возобновлении испытаний. Встречи продолжаются до тех пор, пока не будет достигнуто согласие возобновить про­ цесс тестирования.

8. Выходные результаты тестов

Перечисленные ниже элементы представляют собой рабочие продукты, которые появляются в ре­ зультате выполнения тестирования:

• Данный план тестирования.

• Матрица прослеживаемое™ требований.

• Документ со спецификациями тестов.

• Отчеты по результатам прогона тестов.

• Ежедневные обновления состояния тестирования, направляемые менеджерам по тестированию и разработке.

• Отчеты о дефектах (ошибках).

За примечания по версии несут ответственность разработчики; однако, примечания по версии долж­ ны просматриваться и одобряться командой тестирования до пересмотра готовности продукта.

9. Задачи тестирования

Ниже перечислены задачи, которые должны выполняться во время тестировании продукта ТМТ:

• Выполнение тестирования процесса установки продукта.

• Прогон тестов для свойств и построение отчета об ошибках.

• Верификация фактов устранения ошибок.

• Выполнение тестов резервного копирования и восстановления.

• Выполнение тестирования графического интерфейса пользователя.

• Ведение обзоров по ошибкам.

• Подготовка отчетов о состоянии тестов.

• Написание отчета по результатам тестирования.

В этом разделе оцениваются временные затраты (в человеко-часах), которые потребуются для вы­ полнения перечисленных выше задач. Эти оценки трудозатрат основаны на прошедшем 09.01.2001 сеансе Wideband Delphi. Фактором, оказывающим наибольшее влияние на объем времени и ресур­ сов, которые необходимы для тестирования продукта ТМТ, является количество клиентских и сер­ верных операционных систем, оговоренное в документе определения требований. Сводку по опера­ ционным системам можно найти в таблице 9.1.


План тестирования программного продукта ТМТ ТМТ-ТР-10
Таблица 9.1. Клиентские и серверные операционные системы
Клиентская операционная система Серверная операционная система
Microsoft Windows Microsoft Windows
- Windows 85 - Windows NT 3.51 и выше
- Windows 98 UNIX
- Windows ME - Sun Solaris 2.6 и выше
- Windows XP - HPUX 10.x и выше
- Windows NT 3.51 и выше - Open BSD
- Windows 2000 - AIX 2.4.1. и выше
Apple - SCO Open Desktop
- MAC OS 9.x и выше - Linux Red Hat 6.x и выше

Как показано в таблице 9.1, имеется семь клиентских и семь серверных операционных систем, упо­ мянутых в определении списка требований. При этом необходимо, чтобы использовалась только одна операционная система из списка, куда входят Windows NT, Solaris 2.6, OS9.X и Linux 6.x. Следо­ вательно, существует 49 возможных комбинаций клиентских и серверных операционных систем. Установка каждой комбинации системы клиент/сервер требует в среднем 5 часов. Общее время, необходимое для тестирования процесса установки продукта, составляет 5 х 49 = 245 часов, или около 30 рабочих дней. Обратите внимание, что процесс предполагает установку операционной сис­ темы, приложения реляционной базы данных и приложения ТМТ для клиента и сервера, а также установку клиентского браузера. Если запланировать тестирование свойств и резервного копирова­ ния для всех 49 комбинаций, объемы времени, необходимого для тестирования ТМТ, возрастут до немыслимых размеров.

Вследствие больших временных затрат на тестирование всех возможных комбинаций, во время выполнения тестирования процесса установки продукта используют лишь подмножество комбинаций клиент/сервер, которое показано в таблице 9.2.

Таблица 9.2. Выбранные комбинации операционных систем, применяемые при тестировании установки продукта

Комбинация Клиентская операционная система Серверная операционная система
- Windows 95 - Windows NT 3.51
- Windows 98 - Sun Solaris 2.6
- Windows ME -HPUX 10.1
- Windows XP - Open BSD
- Windows NT 3.51 - AIX 2.4.1 и выше
- Windows 2000 - Linux 6.5
- MAC OS 9.0 - SCO Open Desktop

Сокращение количества комбинаций должно приводить к экономии ресурсов, затрачиваемых на тес­ тирование продукта. В данном случае на тестирование уходит 35 человеко-часов, что значительно меньше 245 часов, необходимых для проверки всех комбинаций. И все же, количество комбинаций, приведенных в таблице 9.2, остается довольно-таки большим применительно к тестированию свойств и резервного копирования/восстановления. Для тестирования свойств и резервного копиро-


План тестирования программного продукта ТМТ ТМТ-ТР-10

вания/восстановления количество комбинаций клиент/сервер может быть сокращено до двух конфи­ гураций (см. таблицу 9.3).

Таблица 9.3. Выбранные комбинации операционных систем, применяемые при тестировании свойств и резервного копирования/восстановления

Комбинация Клиентская операционная система Серверная операционная система
- Windows 98 - Sun Solaris 2.6
- Windows 2000 - Linux 6.5

Предполагая что использование выделенных комбинаций операционных систем, которые показаны в таблицах 9.2 и 9.3, в таблице 9.4 приводятся оценки трудозатрат для каждого цикла тестирования приложения ТМТ. Обратите внимание, что одиночный цикл тестирования включает выполнение все­ го набора запланированных тестов на кандидате на программную сборку. Для тестирования прило­ жения ТМТ необходимо воспользоваться тремя циклами тестирования, поэтому общие трудозатраты сводятся к утроенному объему трудозатрат, перечисленных в таблице 9.4.

Таблица 9.4. Оценки трудозатрат для каждого цикла тестирования

Задача Время (часы)
Тестирование процесса установки продукта
Прогон тестов свойств и построение отчетов по ошибкам
Верификация исправлений ошибок
Тесты резервного копирования и восстановления
Тестирование графического интерфейса пользователя
Отчет о состоянии тестирования
Ведение обзоров по ошибкам
Итого


План тестирования программного продукта ТМТ ТМТ-ТР-10


1162674411576104.html
1162733139231017.html
    PR.RU™