ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ

ТРЕБОВАНИЯ К КАЧЕСТВУ И ТЕСТИРОВАНИЕ

Москва

Предисловие

1 РАЗРАБОТАН И ВНЕСЕН Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт) Госстандарта России

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 14 ноября 2000 г. № 219-ст

3 Настоящий стандарт содержит полный аутентичный текст международного стандарта ИСО/МЭК 12119-94 «Информационная технология. Пакеты программ. Требования к качеству и тестирование»

4 ВВЕДЕН ВПЕРВЫЕ

5 ПЕРЕИЗДАНИЕ. Ноябрь 2005 г.

СОДЕРЖАНИЕ

1 Область применения. 2

2 Определения. 2

3 Требования к качеству. 3

3.1 Описание продукта. 4

3.2 Документация пользователя. 7

3.3 Программы и данные. 8

4 Указания по тестированию.. 10

4.1 Необходимые условия для тестирования. 11

4.2 Работы по тестированию.. 11

4.3 Протоколы тестирования. 12

4.4 Отчет о тестировании. 12

4.5 Дополнительное тестирование. 13

Приложение А Определения из других нормативных документов. 13

А.1 Общие термины.. 13

А.2 Характеристики продукта. 14

A.3 Данные. 15

А.4 Тестирование. 15

А.5 Прочие термины.. 15

Приложение В Пример описания продукта. 15

Приложение С Библиография. 17

Алфавитный указатель. 19

ГОСТ Р ИСО/МЭК 12119-2000

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационная технология

ПАКЕТЫ ПРОГРАММ

Требования к качеству и тестирование

Information technology. Software packages. Quality requirements and testing

Дата введения 2002-01-01

1 Область применения

Настоящий стандарт применяется для пакетов программ. Например, для текстовых процессоров, электронных таблиц, программ баз данных, графических пакетов, программ, реализующих технические и научные функции, и для сервисных программ (утилит).

Стандарт устанавливает:

- требования к пакетам программ (требования к их качеству);

- инструкции по испытанию пакета программ на соответствие его установленным требованиям (инструкции по тестированию, в частности по тестированию третьей стороной).

Стандарт предназначен только для пакетов программ, являющихся объектами продажи и поставки. Стандарт не связан с процессом их производства (включая соответствующие работы и промежуточные продукты, например технические задания). Область применения настоящего стандарта не охватывает систему качества поставщика*.

* Стандарт дополнен приложениями А, В, С.

Примечание - Для некоторых программных средств необходимы дополнительные требования, например для программных средств, критичных по безопасности.

Пользователями настоящего стандарта являются:

a) поставщики, когда они:

1) определяют требования к пакету программ;

2) проектируют формат для описания продуктов;

3) оценивают собственные продукты;

4) выпускают декларации о соответствии (Руководство ИСО/МЭК 22 [1]);

5) обращаются за сертификатами или знаками соответствия (Руководство ИСО/МЭК 23 [2]);

b) органы по сертификации, которые хотят применять схему сертификации третьей стороной (международные, региональные или национальные) (Руководство ИСО/МЭК 16 [3], Руководство ИСО/МЭК 28 [4] и Руководство ИСО/МЭК 44 [5]);

c) испытательные лаборатории, которые желают соблюдать инструкции по тестированию при проведении тестирования для выдачи сертификата или знака соответствия (Руководство ИСО/МЭК 25 [6]);

d) аккредитующие органы, проводящие аккредитацию органов по сертификации и испытательных лабораторий (Руководство ИСО/МЭК 40 [7] и Руководство ИСО/МЭК 58 [8]);

e) аудиторы испытательных лабораторий, проводящие оценку их компетентности (Руководство ИСО/МЭК 58 [8]);

f) покупатели, которые могут:

1) сравнить свои требования с требованиями, описанными в настоящем стандарте;

2) сравнить требования к конкретной рабочей задаче с информацией, приведенной в описаниях продуктов для существующих продуктов;

3) искать сертифицированные продукты;

4) проверить удовлетворение требований по другим аспектам;

g) пользователи, которые выбирают лучшие продукты.

2 Определения

В настоящем стандарте используют следующие термины с соответствующими определениями:

2.1 функция (function): Реализация в программе алгоритма, по которому пользователь или программа могут частично или полностью выполнять решаемую задачу.

Примечания

1 Пользователю нет необходимости вызывать функцию (например, автоматическое резервирование или сохранение данных).

2 Определение функции в настоящем стандарте уже, чем в ИСО/МЭК 2382-14 [9] (в части определений отказа, сбоя, эксплуатации и надежности), но шире аналогичных определений в ИСО 2382-2 [10] и ИСО 2382-15 [11].

2.2 нормативный документ (requirements document): Документ, содержащий любую комбинацию рекомендаций, требований или правил, которым должен удовлетворять пакет программ.

Примечание - Например, технический или эргономический стандарт, перечень требований (или типовое техническое задание) от какой-либо группировки (например, рыночного сектора, технической ассоциации или ассоциации пользователей), закон или указ.

2.3 описание продукта (product description): Документ, определяющий свойства пакета программ, основным назначением которого является оказание помощи потенциальным покупателям в оценке пригодности для них данного продукта до его приобретения.

Примечание - Данный термин является более конкретным, чем термин «описание системы» по ИСО/МЭК 2382-20 [12]. Назначением описания продукта является включение в него «информации на упаковке» по ГОСТ Р ИСО 9127 [13]. Описание продукта не является техническим заданием (или техническими условиями), оно имеет другое назначение.

2.4 документация пользователя (user documentation): Полный комплект документов, поставляемых в печатном или другом виде, который обеспечивает применение продукта, а также является его неотъемлемой частью продукта.

2.5 документация пакета (package documentation): Описание продукта и документация пользователя.

2.6 контрольный пример (test case): Документально оформленное руководство для испытателя, которое определяет, как должна или может быть протестирована функция или комбинация функций. Контрольный пример должен содержать информацию, охватывающую следующие вопросы:

- цель тестирования;

- тестируемые функции;

- среда тестирования и другие условия (уточнение конфигурации средств испытаний и подготовительная работа);

- тестовые данные;

- процедура;

- ожидаемое поведение системы.

2.7 сопровождение (maintenance): Составная часть сопровождения системы (см. А.5.2), которая связана с модификацией (изменением) пакета программ.

3 Требования к качеству

В подразделах 3.1 - 3.3 установлены:

- требования, согласно которым каждый пакет программ должен содержать описание продукта и документацию пользователя;

- требования к описанию продукта. В частности, требование, согласно которому описание продукта должно содержать конкретную информацию, а все приводимые в нем формулировки должны быть проверяемыми (контролируемыми) и корректными;

- требования к документации пользователя;

- требования к любым программам и данным, входящим в состав пакета программ.

Примечания

1 Требования к документации пользователя, программам и данным содержат много общих требований (независимо от требований, которые могут быть заявлены в описании продукта), но они не охватывают всех свойств продукта, которые могут требоваться пользователям.

2 Некоторые свойства, например «понятность» и «простота изучения» документации пользователя и программных сообщений, необходимы с точки зрения пользователя. Однако из-за трудности их тестирования с получением точных и воспроизводимых результатов в настоящем стандарте данные требования формулируются только в виде рекомендаций.

3 Требования 3.1 - 3.3 расположены в том же порядке, что и характеристики в ГОСТ Р ИСО/МЭК 9126 [14].

Пакет программ соответствует настоящему стандарту, если он удовлетворяет всем требованиям, установленным в 3.1 - 3.3. Рекомендации (указанные с использованием глаголов «может» или «следует») являются необязательными (факультативными).

Примечание 4 - Соответствие продукта требованиям 3.1-3.3 может быть трудно или невозможно подтвердить. Однако испытание (включая проверку документов) согласно разделу 4 считают достаточным для подтверждения достоверности, требуемой для сертификата соответствия согласно Руководству ИСО/МЭК 2 [15].

3.1 Описание продукта

Каждый пакет программ должен содержать описание продукта. Описание продукта должно содержать характеристику продукта. Оно должно являться частью документации пакета для данного продукта. Оно должно содержать информацию по документации пользователя, программам и соответствующим данным.

Основными назначениями описания продукта являются:

- помощь пользователю или потенциальному покупателю при оценке ими пригодности продукта для их нужд. Для обеспечения этого описание продукта также должно содержать соответствующую торговую информацию;

- обеспечение основы для тестирования (см. раздел 4).

Описание продукта должно быть доступным для человека, заинтересованного в данном продукте.

3.1.1 Общие требования к содержанию

Описание продукта должно быть достаточно понятным, полным и простым при изучении, чтобы обеспечить помощь потенциальным покупателям при оценке ими пригодности данного продукта для их нужд до его покупки.

Данное описание должно быть внутренне непротиворечивым. Каждый термин должен иметь один и тот же смысл по всему документу.

Формулировки в описании продукта должны быть проверяемыми и корректными.

Примечание - Данное требование распространяется на формулировки в соответствующих внешних ссылочных нормативных документах (см. 3.1.2 е).

Пункты 3.1.2 - 3.1.8 определяют, что должно или может быть включено в описание продукта. В него могут быть включены дополнительные формулировки, относящиеся к продукту.

3.1.2 Обозначения и указания

a) Обозначение описания продукта

Описанию продукта должно быть присвоено индивидуальное обозначение как документу. Оно может иметь наименование, отличное от «описания продукта», например «Описание функциональных возможностей», «Информация о продукте», «Формуляр продукта».

b) Обозначение продукта

Описание продукта должно определять продукт. Обозначение продукта по крайней мере должно включать наименование продукта и обозначение его версии или даты выпуска. Если в описании продукта упомянуты два или несколько вариантов, то для каждого варианта по крайней мере должно быть установлено наименование продукта, наименование варианта и обозначение версии или даты его выпуска.

c) Поставщик

В описание продукта должны быть включены наименование и адрес по крайней мере одного поставщика.

Примечание - Наименование и адрес не обязательно включать в текст описания продукта, достаточно поставить на документ штамп (печать) соответствующего дилера.

d) Рабочая задача

В описании продукта должны быть определены целевые рабочие задачи, которые могут быть выполнены данным продуктом.

e) Соответствие нормативным документам

Из описания продукта могут быть даны ссылки на нормативные документы, которым удовлетворяет данный продукт, в этом случае должны быть указаны соответствующие редакции данных документов.

f) Необходимая система

Должна быть определена система (технические и программные средства и их конфигурация), необходимая для ввода продукта в эксплуатацию, включая наименования изготовителей и обозначения типов всех ее частей, например:

- процессоры, включая сопроцессоры;

- объем основной (оперативной) памяти;

- типы и объемы (памяти) периферийных запоминающих устройств;

- расширяющие платы;

- оборудование ввода и вывода;

- сетевое оборудование;

- системные и прочие программные средства.

Могут быть определены различные необходимые системы, например для различных рабочих задач, различных граничных значений или различных требований к эффективности.

Формулировка «(или любое другое ..., если оно совместимо)» может быть приведена в описании продукта, если предварительно было определено конкретное техническое или программное средство. Формулировка «или модернизированная версия, если она совместима» может быть приведена, если предварительно в описании продукта была определена соответствующая версия продукта. Может быть приведена формулировка «от версии Х до версии Y», а формулировка «от версии X» приводиться не должна.

Примечание - Формулировка «от версии X» позже может стать ошибочной, например при появлении версии Х + 3, под которой пакет программ будет работать со сбоями.

g) Интерфейсы с другими продуктами

Должны быть определены соответствующие интерфейсы или продукты, если в описании продукта имеются ссылки на интерфейсы с другими продуктами.

h) Объекты поставки

Должен быть определен каждый физический компонент поставляемого продукта, в частности все печатные документы и все носители данных.

Должен быть установлен вид поставляемых программ, например исходные программы, объектные (рабочие) модули или загрузочные модули.

Примечание - Указывать форматы носителей (например, форматы дискет) нет необходимости, потому что набор возможных форматов определяется необходимой системой (см. 3.1.2 f).

i) Ввод в действие (инсталляция)

Должно быть указано, будет ли инсталляция продукта проводиться пользователем или нет.

j) Поддержка

Должно быть указано, будет или не будет предлагаться поддержка при эксплуатации продукта.

k) Сопровождение

Должно быть указано, будет или не будет предлагаться сопровождение продукта. Если сопровождение предусматривается, то должно быть установлено, что оно подразумевает.

3.1.3 Формулировки функциональных возможностей

a) Обзор функций

В описании продукта должен быть приведен обзор функций продукта, вызываемых пользователем, необходимых для них данных и предоставляемых средств.

Для каждой функции (особенно для ее опции или варианта) должно быть четко установлено, является ли она частью:

- продукта;

- расширения продукта, полностью описанного в описании продукта;

- расширения продукта, на которое дана ссылка в описании продукта;

- не гарантируемого (не обязательного) приложения.

Примечание - Нет необходимости упоминать каждую функцию, вызываемую пользователем, и приводить все подробности вызова описываемой функции.

b) Граничные значения

Если использование продукта ограничено конкретными граничными значениями для продукта, они должны быть указаны в описании продукта. Например:

- минимальные или максимальные значения;

- длины ключей;

- максимальное число записей в файле;

- максимальное число критериев поиска;

- минимальный объем выборки.

В случае, когда не возможно определить фиксированные граничные значения (например, когда они зависят от типа приложения или от исходных данных), тогда на них должны быть наложены соответствующие ограничения. Могут быть приведены допустимые комбинации значений и даны ссылки на более конкретную информацию из документации пользователя.

с) Защита

При необходимости в описание продукта должна быть включена информация по средствам предотвращения случайного или преднамеренного несанкционированного доступа к программам и данным.

3.1.4 Формулировки надежности

В описание продукта должна быть включена информация по процедурам сохранения данных.

Примечание - Данную информацию можно привести, указав, например, возможности резервирования данных с помощью функций операционной системы.

Могут быть описаны дополнительные характеристики продукта, которые обеспечивают его функциональные возможности. Например:

- проверки достоверности исходных данных;

- защита против серьезных последствий ошибки пользователя;

- восстановление при ошибках.

3.1.5 Формулировки практичности

a) Интерфейс пользователя

Должен быть назван тип интерфейса пользователя, например, строка команд, меню, окна, функциональная клавиша, функция подсказки.

b) Требуемые знания

Должны быть определены конкретные знания, которые необходимо усвоить пользователю для применения соответствующего продукта. Например:

- знание соответствующей технической области;

- знание операционной системы;

- знания, получаемые в результате специального обучения;

- знание языков, отличных от языка, на котором написано описание продукта.

Должны быть указаны все естественные языки, на которых написана документация пользователя и описан интерфейс пользователя (включая сообщения об ошибках и видимую информацию), как для самого пакета программ, так и для всех других продуктов, упомянутых в описании данного продукта.

Примечание - Данное требование строже, чем аналогичное требование 6.1.7 ГОСТ Р ИСО 9127 [13], согласно которому указание языка является необязательным.

c) Адаптация к потребностям пользователя

Если продукт может настраиваться (адаптироваться) пользователем, то должны быть указаны инструментальные средства для проведения такой настройки и условия их применения. Например:

- изменение параметров;

- изменение алгоритмов вычислений;

- назначение функциональных клавиш.

d) Защита от нарушения авторских прав

Если техническая зашита от нарушения авторских прав может ухудшить практичность описываемого продукта, то в описании продукта должны быть указаны виды и средства такой зашиты. Например:

- техническая защита от копирования;

- запрограммированные даты окончания использования продукта;

- интерактивные напоминания об оплате за копии.

e) Эффективность применения и удовлетворение потребностей пользователя

В описание продукта может быть внесена информация по эффективности применения продукта и удовлетворению им потребностей пользователя.

Примечание - Такая информация может быть описана в соответствии с рекомендациями, приведенными в ИСО 9241-11 [16].

3.1.6 Формулировки эффективности

В описание продукта может быть включена информация о характере поведения продукта во времени, например времена ответа и оценки производительности для заданных функций при установленных условиях (например, для заданных конфигураций системы и профилей загрузки).

3.1.7 Формулировки сопровождаемости

В описание продукта могут быть внесены формулировки требований (правил) по сопровождению продукта.

3.1.8 Формулировки мобильности (переносимости)

В описание продукта могут быть внесены формулировки требований (правил) по мобильности продукта.

3.2 Документация пользователя

3.2.1 Полнота (completeness)

Документация пользователя должна содержать информацию, необходимую для использования продукта. В документации пользователя должны быть полностью описаны все функции, установленные в описании продукта, и все вызываемые пользователем функции из программы.

Все граничные значения, заданные в описании продукта, должны быть продублированы в документации пользователя.

Если установка (инсталляция) продукта может быть проведена пользователем, то в документацию пользователя должно быть включено руководство по установке продукта, содержащее всю необходимую информацию (см. 3.3.1 а). В руководстве могут быть указаны минимальные и максимальные объемы однократно устанавливаемых файлов.

Если сопровождение продукта может проводиться пользователем, то в документацию пользователя должно быть включено руководство по сопровождению программы, содержащее всю информацию, которая необходима для обеспечения данного вида сопровождения.

3.2.2 Правильность (correctness)

Вся информация в документации пользователя должна быть правильной. Кроме того, представление данной информации не должно содержать неоднозначных толкований и ошибок.

3.2.3 Непротиворечивость (consistency)

Документы, входящие в комплект документации пользователя, не должны противоречить сами себе, друг другу и описанию продукта. Каждый термин должен иметь один и тот же смысл во всех документах.

Примечание - Непротиворечивость программ и данных рассматривается в 3.3.1 d .

3.2.4 Понятность (understandability)

Документация пользователя должна быть понятной для сообщества пользователей, выполняющих указанную рабочую задачу, например посредством использования в ней соответствующим образом подобранных терминов, графических вставок, уточняющих пояснений и путем ссылок на полезные источники информации.

3.2.5 Простота обозрения (ease of overview)

Документация пользователя должна быть достаточно проста для изучения пользователем, чтобы он мог выявить все описываемые в ней взаимосвязи компонентов продукта.

В каждый документ может быть включено оглавление и предметный указатель.

Если документ не поставляется в напечатанном виде, то должна быть определена процедура его распечатки с соответствующего носителя данных.

3.3 Программы и данные

3.3.1 Функциональные возможности

a) Установка (инсталляция)

Если установка пакета может быть выполнена пользователем, то при ее проведении должна быть обеспечена возможность успешной установки программ в соответствии с информацией, содержащейся в руководстве по установке. Каждая из необходимых систем, указанных в описании продукта, должна быть пригодной для установки программ.

В процессе установки должно быть определено, могут ли установленные программы функционировать, например путем использования поставленных с программами контрольных примеров или самотестирования с выдачей соответствующих сообщений.

b) Реализация функций

Все функции, указанные в документации пользователя, должны выполняться в виде, заданном в документации пользователя, на соответствующих средствах, с соответствующими характеристиками и данными, в рамках граничных значений, заданных там же.

Примечание - Так как все функции, указанные в описании продукта, должны быть отражены в документации пользователя, из этого следует, что данные функции так же должны выполняться.

c) Правильность

Программы и данные должны соответствовать всем обязательным формулировкам, приведенным в описании продукта и документации пользователя. Функции должны выполняться методом, соответствующим рабочей задаче. В частности, программы и данные должны удовлетворять всем требованиям из любого нормативного документа, на который дана ссылка в описании продукта.

d) Непротиворечивость

Программы и данные не должны противоречить сами себе, а также описанию продукта и документации пользователя. Каждый термин везде должен иметь один и тот же смысл.

Управление работой программы со стороны пользователя и соответствующая реакция программы (например, сообщения, выходные экранные форматы и печатные отчеты) должны быть единообразно структурированы.

3.3.2 Надежность

Система, включая технические средства, необходимые программные средства и те программы, которые входят в продукт, не должны приходить в такое состояние, чтобы пользователь не мог их контролировать, а данные не должны ни повреждаться, ни теряться.

Это требование должно одинаково удовлетворяться в случаях, когда:

- возможность реализуется при конкретных ограничениях;

- имеют место попытки реализации возможности вне заданных ограничений;

- неправильные исходные данные вводятся пользователем или от других программ, перечисленных в описании продукта;

- нарушаются инструкции, заданные в документации пользователя.

Исключаются только те возможности прерывания технических средств и операционной системы, которые не могут быть распознаны любой программой (например, клавиша или комбинация клавиш для сброса системы).

Программы должны обнаруживать нарушения синтаксических правил для исходных данных. В случае, когда программа определяет исходные данные как ошибочные или неопределенные, она не должна их обрабатывать как допустимые исходные данные.

3.3.3 Практичность

В отношении практичности продукта сторонам, заключающим соглашение на основе настоящего стандарта, рекомендуется изучить возможности применения последних редакций стандартов серии ИСО 9241 [16]-[29].

Примечание - В частности, следует принимать во внимание ИСО 9241-10 [24] и ИСО 9241-13 [26].

a) Понятность

Запросы, сообщения и результаты выполнения программ должны быть понятными, например:

- путем соответствующего выбора терминов;

- путем графических представлений;

- путем представления исходной информации;

- путем пояснений из функции подсказки.

В сообщениях об ошибках должна содержаться подробная информация, разъясняющая причину или способ исправления соответствующих ошибок из-за неправильного применения продукта (например, путем ссылки на элемент документации пользователя).

b) Простота обозрения

На каждый носитель данных должно быть нанесено обозначение продукта, а если носителей несколько - различающий номер или текст.

Пользователю, работающему с программами, всегда должна быть предоставлена возможность выяснения, какая из функций выполняется.

Программы должны предоставлять пользователю информацию в таком виде, чтобы данная информация им легко воспринималась и читалась. Пользователь может руководствоваться соответствующими кодификаторами и классификаторами информации. При необходимости программы должны выдавать пользователю соответствующие уведомления.

Сообщения от программ следует проектировать таким образом, чтобы пользователь мог легко различать их типы, например:

- подтверждение приема;

- запросы от программ;

- предупреждения;

- сообщения об ошибках.

Форматы входных экранов, отчеты, а также другие исходные и выходные данные следует проектировать так, чтобы их можно было легко просматривать. Для этого могут быть использованы следующие возможности:

- алфавитно-цифровые поля и левостороннее выравнивание;

- числовые поля и правостороннее выравнивание;

- расположение в таблицах десятичных точек или запятых на одной вертикальной линии;

- распознаваемые ограничители полей;

- соответствующее распознавание полей, использование которых обязательно;

- указание ошибок ввода непосредственной засветкой на входном экране;

- привлечение внимания пользователя к изменению содержания экрана путем подачи визуального или звукового сигнала.

с) Простота использования

Исполнение функций, приводящих к серьезным последствиям при эксплуатации системы, должно быть обратимым, или программы должны выдавать четкие предупреждения о последствиях выполнения данных функций и запрашивать разрешающее подтверждение перед выполнением соответствующей команды. В частности, к серьезным последствиям могут привести стирание или перезапись данных, а также прерывания режима продолжительной обработки.

Если текст документа предоставляется в диалоговом режиме, то пользователю следует обеспечить возможность непосредственного доступа к отдельным структурным элементам текста (разделам, пунктам, абзацам и т.д.), например путем выбора данных элементов из отображенного на экране содержания документа или с помощью функции поиска по ключевым словам.

3.3.4 Эффективность

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки эффективности.

3.3.5 Сопровождаемость

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки сопровождаемости.

3.3.6 Мобильность (переносимость)

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки мобильности.

4 Указания по тестированию

Указания, приведенные в 4.1 - 4.5, определяют порядок тестирования продукта на соответствие его требованиям к качеству. Данные указания охватывают как тестирование для характеристик, присущих всем аналогичным продуктам, так и тестирование для характеристик, продекларированных в описании продукта. Указания также охватывают как тестирование путем проверки документов, так и тестирование программ и данных по принципу «черного ящика».

Данные указания описывают функциональное тестирование (тестирование по принципу «черного ящика»). Структурное тестирование данными указаниями не охватывается, потому что для его проведения необходимо наличие исходного кода.

Рассматривают только тестирование продукта в необходимых для него системах. Эргономическую оценку на рабочем пространстве вычислительной системы в настоящем стандарте не рассматривают.

Примечания:

1 Данные указания предназначены в первую очередь для тестирования, проводимого третьей стороной по некоторой схеме сертификации (см. 1 с). При производстве дешевле и эффективнее использовать структурное тестирование.

2 В разделе 4 отсутствуют требования к пакетам программ (все данные требования приведены в разделе 3). Пакет программ может быть аттестован без проведения тестирования согласно разделу 4, а подобная процедура может оказаться неэффективной для выявления существующих в продукте несоответствий.

3 Так как необходимая система определяется в описании продукта, то любое несоответствие продукта в необходимой системе трактуется как несоответствие продукта.

4 Схема сертификации может предусматривать тестирование на соответствие необязательным рекомендациям.

5 Руководство по эргономической оценке приведено в ИСО 9241-11 [16].

4.1 Необходимые условия для тестирования

4.1.1 Наличие компонентов продукта

Для тестирования пакета программ должны иметься в наличии все его поставляемые компоненты (см. 3.1.2 h), а также нормативные документы, указанные в описании продукта (см. 3.1.2 е).

4.1.2 Наличие компонентов системы

Для тестирования пакета программ необходимо наличие составных частей всех вычислительных систем, указанных в описании продукта.

4.1.3 Обучение

Если в описании продукта указана необходимость соответствующего обучения, то испытатель (тестировщик) должен иметь доступ к учебным материалам и обучающим программам.

4.2 Работы по тестированию

Описание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ:

- должны быть протестированы на соответствие требованиям раздела 3;

- могут быть протестированы на соответствие рекомендациям раздела 3.

Цели тестирования должны быть определены исходя из требований раздела 3 и должны охватывать все эти требования (полноту, непротиворечивость и т.д.).

Если в описании продукта упомянуты другие продукты, то их необходимо протестировать только по требованиям, предъявленным к ним в описании тестируемого продукта.

Подробные формулировки из описания продукта, документации пользователя, функций и данных для продукта тестировать нет необходимости, если по оценке тестировщика:

- они оказывают незначительное влияние на соответствие названной рабочей задаче;

- они могут быть протестированы в принципе, но с неоправданными затратами ресурсов.

Те подробные формулировки, которые не были протестированы, должны быть указаны в протоколах тестирования и в отчете о тестировании. Причины, по которым они не были протестированы, должны документироваться в протоколах тестирования.

4.2.1 Описание продукта

Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.

4.2.2 Документация пользователя

4.2.3 Программы и данные

Программы должны быть протестированы во всех вычислительных системах, указанных в описании продукта.

При наличии нескольких вариантов программы должен быть протестирован каждый из них. Каждая из функций, которые в соответствии с описанием продукта и документацией пользователя одинаковы в ряде вариантов, может быть протестирована в одном из вариантов.

Поставляемые программы и данные должны быть протестированы с использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Другие материалы (например, исходные программы) не проверяют, за исключением случаев, когда это необходимо при тестировании формулировок из описания продукта или документации пользователя.

Контрольные примеры должны быть методологически и систематически проработаны.

Примечание - Допускается использование методологии тестирования с применением случайных кодов.

Если в документации пользователя приведены примеры, то они должны быть использованы в качестве контрольных, но проводимое тестирование не должно быть ограничено только этими примерами.

Могут быть использованы контрольные примеры, предоставляемые поставщиком программного пакета, но проводимое тестирование не должно быть ограничено только этими примерами.

а) Установка (инсталляция)

Если в соответствии с описанием продукта установка пакета может быть выполнена пользователем, должна быть проверена возможность инсталляции программ и протестирована возможность успешной установки пакета согласно описанию, приведенному в руководстве по установке.

Любым способом должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы.

b) Выполнение программы

Контрольные примеры должны охватывать все функции, приведенные в описании продукта и документации пользователя, а также должны учитывать комбинации функций, характерные для рабочей задачи.

Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения.

При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными (см. 3.3.2).

4.3 Протоколы тестирования

Протоколы по каждому тесту должны содержать информацию, достаточную для повторения теста (Руководство ИСО/МЭК 25 [6]). Данная информация должна включать:

- план тестирования или технические требования (спецификацию) к тестированию, содержащие контрольные примеры (для каждого контрольного примера указаны его цели, см. 2.6);

- все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста;

- штат персонала, вовлеченного в тестирование.

4.4 Отчет о тестировании

В отчете о тестировании должны быть суммированы цели и результаты тестирования (описанные в протоколах тестирования для каждого теста). Отчет о тестировании должен иметь следующую структуру.

1 Обозначение продукта.

2 Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация).

3 Использованные документы (включая их обозначения).

4 Результаты тестирования описания продукта, документации пользователя, программ и данных.

5 Перечень несоответствий требованиям.

6 Либо перечень несоответствий рекомендациям, либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям.

7 Дата окончания тестирования.

В раздел 4 отчета о тестировании (Результаты тестирования) должны быть включены формулировки, соответствующие наименованию каждого пункта 3.1 - 4.2.

В разделе 6 отчета о тестировании дополнительно к формулировке, что продукт не был протестирован на соответствие рекомендациям, может быть приведен перечень замеченных несоответствий рекомендациям.

Обозначение отчета о тестировании (испытательная лаборатория, обозначение продукта, дата выпуска отчета о тестировании) и общее число его страниц должны проставляться на каждой странице отчета о тестировании. Отчет о тестировании должен включать:

- формулировку, что результаты тестирования относятся только к протестированным компонентам продукта;

- формулировку, что полная копия отчета о тестировании не может быть изготовлена без письменного разрешения соответствующей испытательной лаборатории (Руководство ИСО/МЭК 25 [6]).

Отчет о тестировании должен соответствовать положениям Руководства ИСО/МЭК 25 [6], относящимся к отчетам о тестировании.

4.5 Дополнительное тестирование

Когда продукт, который уже был протестирован, тестируется повторно (с учетом результатов предыдущего тестирования), тогда:

- все измененные части документов, функций и данных должны быть протестированы как новый продукт;

- все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт;

- все другие части должны быть по крайней мере выборочно протестированы.

ПРИЛОЖЕНИЕ А
(справочное)

Определения из других нормативных документов

В настоящем приложении приведены некоторые термины и определения, используемые в настоящем стандарте, но описанные в других нормативных документах. К моменту публикации настоящего стандарта действуют редакции нормативных документов, указанные в приложении С.

А.1 Общие термины

А.1.1 программное средство (software): Все или часть программ, процедур, правил и любой соответствующей документации системы обработки информации. (ИСО/МЭК 2382-1 [30], без примечания).

А.1.2 пакет программ (software package): Полный и документально оформленный набор программ, поставляемый отдельным пользователям для реализации общих приложений или функций (ИСО/МЭК 2382-20 [12], без примечания).

А.1.3 системное программное средство (system software): Независимое от приложения программное средство, которое обеспечивает выполнение прикладного программного средства (ИСО/МЭК 2382-20 [12]).

А.1.4 сервисная программа (utility routine, utility program): Программа (машинная программа), которая обеспечивает общие, часто используемые услуги для пользователей компьютера и обслуживающего персонала (ИСО/МЭК 2382-7 [31], без примеров).

А.1.5 функциональный модуль (functional unit): Объект технических или (и) программных средств, имеющий конкретное назначение (ИСО/МЭК 2382-1 [30]).

А.1.6 (машинная) программа [(computer) program]: Синтаксический блок, соответствующий правилам конкретного языка программирования и формирующий описания и операторы или команды, необходимые для решения (выполнения) некоторой функции, задачи или проблемы (ИСО/МЭК 2382-1 [30]).

А.1.7 интерфейс (interface): Общая граница между двумя функциональными блоками, определяемая различными характеристиками, относящимися к функциям, физическим соединениям, обменам сигналами, и другими соответствующими характеристиками блоков (ИСО/МЭК 2382-9 [32], без примечания).

А.1.8 интерфейс пользователя (user interface): Интерфейс, обеспечивающий возможность обмена информацией между пользователем (человеком) и компонентами технических или программных средств вычислительной системы (АНСИ/ИИИЭ Стд 610.12 [33]).

А.1.9 конфигурация (configuration): Способ организации и взаимосвязи технических и программных средств системы обработки информации (ИСО/МЭК 2382-1 [30]).

А.2 Характеристики продукта

А.2.1 функциональные возможности (functionality): Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).

А.2.2 надежность (reliability): Набор атрибутов, относящихся к способности программного средства сохранять свой уровень качества функционирования при установленных условиях за установленный период времени (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).

А.2.3 практичность (usability): Набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).

А.2.4 эффективность (efficiency): Набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного средства и объемом используемых ресурсов при установленных условиях (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).

А.2.5 сопровождаемость (maintainability): Набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций) (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).

А.2.6 мобильность (portability): Набор атрибутов, относящихся к способности программного средства быть перенесенным из одного окружения (среды) в другое (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).

A.3 Данные

А.3.1 данные (data): Представление информации в формализованном виде, пригодном для передачи, интерпретации или обработки (ИСО/МЭК 2382-1 [30], без примечаний).

A.3.2 носитель данных (data medium): Материал, в котором или на котором данные могут быть записаны и с которого они могут быть восстановлены (ИСО/МЭК 2382-1 [30]).

А.4 Тестирование

А.4.1 тестирование (test): Техническая операция, которая заключается в определении одной или нескольких характеристик данного продукта, процесса или услуги по соответствующей процедуре (Руководство ИСО/МЭК 2 [15]).

А.4.2 тестовые (контрольные) данные (test data): Данные, используемые для контрольной задачи (ИСО/МЭК 2382-8 [34]).

А.4.3 контрольная задача (check problem): Задача с известным решением, используемая для того, чтобы определить, правильно ли функционирует функциональный модуль (ИСО/МЭК 2382-8 [34]).

А.4.4 метод тестирования (test method): Конкретная техническая процедура для проведения тестирования (Руководство ИСО/МЭК 2 [15]).

А.4.5 план тестирования, план тестирования и оценки системы (test plan, system test and evaluation plan): План, в котором устанавливаются уточненные требования, критерии, общая методология, обязанности и проводится общее планирование тестирования и оценки системы (ИСО/МЭК 2382-20 [12]).

А.4.6 отчет о тестировании (test report): Документ, в котором представляются результаты тестирования и другая информация, относящаяся к тестированию (Руководство ИСО/МЭК 2 [15]).

А.5 Прочие термины

А.5.1 руководство по сопровождению программы (program maintenance manual): Документ, в котором приводится вся информация, необходимая для сопровождения программы (ИСО/МЭК 2382-20 [12]).

А.5.2 сопровождение системы (system maintenance): Изменение (модификация) системы в целях корректировки ошибок, повышения производительности или адаптации системы к изменившимся условиям среды эксплуатации или к изменившимся требованиям (ИСО/МЭК 2382-20 [12]).

А.5.3 рабочая задача (work task): Предусмотренный результат функционирования рабочей системы (ИСО 6385 [35]).

А.5.4 рабочая система (work system): Рабочая система охватывает сочетание людей и оборудования, участвующих совместно в процессе выполнения рабочей задачи на рабочем месте в рабочей среде при условиях, налагаемых рабочей задачей (ИСО 6385 [35]).

ПРИЛОЖЕНИЕ В
(справочное)

Пример описания продукта

Пример, приведенный в настоящем приложении, описывает в соответствии с настоящим стандартом простой гипотетический пакет программ, для того чтобы показать наличие информации, которая должна быть представлена в каждом описании продукта.

Карта описания продукта «ФЕЙЕРВЕРК» Версия 2.6

ФЕЙЕРВЕРК - программа предохранения экрана и парольной защиты.

Программа ФЕЙЕРВЕРК будет предохранять экран путем изображения великолепного, а для цветных экранов - разноцветного, фейерверка, пока вы не работаете на своем компьютере. Если вы введете пароль, то будете уведомлены, что в ваше отсутствие кто-то пытался использовать ваш компьютер.

ФЕЙЕРВЕРК резидентно устанавливается в оперативной памяти. Он будет самопроизвольно активизироваться, если вы в течение некоторого (регулируемого) времени не будете нажимать любую клавишу и двигать «мышь». Он остановится, как только вы нажмете любую клавишу или двинете «мышь». Однако если вы установили пароль, ФЕЙЕРВЕРК будет ожидать, пока вы наберете пароль.

Вы можете установить нужные вам параметры для:

- времени ожидания ФЕЙЕРВЕРКа до его самоактивизации (от 1 до 999 мин) или запретить его самоактивизацию;

- числа одновременно вспыхивающих фейерверков (от 1 до 19). Для этого в ФЕЙЕРВЕРКе будет использована диалоговая строка или окно (так же, как это делается в вашей операционной системе для изменения системной даты и времени).

Таким же образом вы можете определить пароль (от 6 до 45 символов). Если ФЕЙЕРВЕРК остановился при наборе произвольного символа или работает после набора пароля, то можно прервать ФЕЙЕРВЕРК и повторно запустить его без пароля или с другим паролем.

Можно создать резервные копии программы и провести ее настройку с помощью вашей операционной системы. При этом пароль не сохраняется.

Некоторые технические подробности:

- ФЕЙЕРВЕРК работает на персональном компьютере типа Quince Hardcore 119xi (или на совместимых с ним компьютерах), имеющем не менее 1 Мбайт оперативной памяти и накопитель на 90- или 130-миллиметровых (3,5 или 5,25 дюйма) гибких магнитных дисках (дискетах) емкостью не менее 720 Кбайт. Наличие жесткого диска не обязательно. Пакет может управляться «мышью» типа Mini-RAT с последовательным или параллельным интерфейсом (или любой другой «мышью», совместимой с ней), но наличие «мыши» не обязательно;

- для ФЕЙЕРВЕРКа необходима графическая плата типа Hercules DeLuxe или PowerEGA 16+ (или любая другая плата, совместимая с ними);

- ФЕЙЕРВЕРК работает под управлением операционной системы типа B.I.T.S 1.01 или Gnome 3.0 (или любой другой операционной системы, совместимой с одной из заданных). При заказе ФЕЙЕРВЕРКа следует указать:

- желаете ли вы получить вариант для B.I.T.S или для Gnome;

- желаете ли вы получить ФЕЙЕРВЕРК на 90- или 130-миллиметровой (3,5 или 5,25 дюйма) дискете. Пакет состоит из программы (загрузочного модуля) на одной дискете брошюры с документацией, включающей руководство по установке. Важно следующее:

- вам не нужны какие-то специальные знания для установки или использования ФЕЙЕРВЕРКа;

- программные сообщения и документация написаны на английском языке;

- ФЕЙЕРВЕРК полностью соответствует ГОСТ Р ИСО/МЭК 12119-2000 Информационная технология. Пакеты программ. Требования к качеству и тестирование.

Поддержка эксплуатации продукта и его сопровождение не обеспечиваются.

Получить ФЕЙЕРВЕРК можно по адресу:

PyroManiac Klaus P Schmidt Ltd

33 Bell Street

Berghein, SU 53844

Telephone (022) 845 3902

ПРИЛОЖЕНИЕ С
(справочное)

Библиография

[1] Руководство ИСО/МЭК 22-82* Информация в декларации изготовителя о соответствии стандартам или другим техническим требованиям

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

Примечание - Такая декларация в настоящее время называется «декларация поставщика».

[2] Руководство ИСО/МЭК 23-82* Методы указания соответствия стандартам для систем сертификации третьей стороной

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[3] Руководство ИСО/МЭК 16-78* Кодирование правил для систем сертификации третьей стороной и соответствующие стандарты

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[4] Руководство ИСО/МЭК 28-82* Общие правила для модели систем сертификации продукции третьей стороной

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[5] Руководство ИСО/МЭК 44-85* Общие правила для международных схем сертификации продукции третьей стороной по ИСО или МЭК

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[6] Руководство ИСО/МЭК 25-90* Общие требования к оценке технической компетентности испытательных лабораторий

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[7] Руководство ИСО/МЭК 40-83* Общие требования к приемке органов по сертификации

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[8] Руководство ИСО/МЭК 58-93* Системы проверки и аккредитации испытательных лабораторий. Общие требования к функционированию и признанию

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[9] ИСО/МЭК 2382-14-97 Информационная технология. Словарь. Часть 14. Надежность, ремонтопригодность и работоспособность

[10] ИСО 2382-2-76* Обработка данных. Словарь. Часть 02. Арифметические и логические операции

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[11] ИСО 2382-15-85* Обработка данных. Словарь. Часть 15. Языки программирования

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[12] ИСО/МЭК 2382-20-90* Информационная технология. Словарь. Часть 20. Разработка системы

* Оригиналы международных документов ИСО - во ВНИИКИ Госстандарта России.

[13] ГОСТ Р ИСО 9127-93 Системы обработки информации. Документация пользователя и информация на упаковке для потребительских программных пакетов

[14] ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению

[15] Руководство ИСО/МЭК 2-91* Общие термины и определения в области стандартизации и смежных видов деятельности