Целью испытаний является установление факта соответствия или несоответствия реальных функциональных возможностей изделия функциональным возможностям, указанным в документации на изделие. Данный вид испытаний не регламентируется никаким нормативным или руководящим документом, что является причиной больших разногласий экспертов в области защиты информации по критериям оценки, объемам и содержанию указанных испытаний.
Косвенная цель испытаний – доказательство достаточности и пригодности документации для последующей эксплуатации изделия на объекте эксплуатации.
Проверяемой характеристикой при испытаниях соответствия реальных и декларируемых в документации функциональных возможностей является соответствие изделия представленной для проведения сертификационных испытаний документации (качественная характеристика). Основными документами, рассматриваемыми при проведении указанных испытаний, являются Технические условия, эксплуатационные документы, указанные в ведомости эксплуатационной документации изделия.
Поскольку основным документом, определяющим функциональные возможности изделия, являются Технические условия, на их основании экспертом испытательной лаборатории осуществляется формирование декларируемых функциональных возможностей изделия, применительно к которым будут выполняться последующие проверки.
На основании актов предварительных и государственных испытаний экспертом формируется заключение о корректности и достаточности документации, выпущенной на изделие.
Считается, что соответствие изделия требованиям ТТЗ на ОКР проверено в рамках иных испытаний по ГОСТ 16504-81, поэтому экспертом на основании актов испытаний формируется заключение о признании заказчиком изделия соответствующим требованиям ТТЗ на ОКР.
Для каждой определенной в Технических условиях функциональной возможности изделия определяются документы и их разделы, содержащие описания, относящиеся к указанной функциональной возможности.
Если для всех возможностей, указанных в Технических условиях, эксперту удалось сопоставить соответствующие эксплуатационные документы, содержащие описания, их касающиеся, экспертом формируется заключение о достаточности описания функциональных возможностей изделия.
Вторым шагом проверки является формирование перечня функциональных возможностей изделия на основании сведений, содержащихся в эксплуатационной документации, и сопоставление полученного перечня функциональных возможностей с перечнем, сформированным на основании Технических условий на изделие. Если полученные перечни являются идентичными, экспертом делается вывод о полноте документирования функциональных возможностей изделия.
Третьим шагом проверки является выполнение экспертом проверочных действий в соответствии с описаниями, приведенными в эксплуатационной документации. В случае успешного выполнения проверочных действий (описания являются полными и достаточными для их выполнения, реакция системы корректно описана, сообщения, реально выдаваемые эксперту в процессе проверки, соответствуют их описанию в документации и т.п.), экспертом формируется заключение о корректности документации на изделие.
Четвертым шагом проверки является оценка пользовательского интерфейса программного обеспечения изделия. В течение сеанса эксперт тщательно изучает интерфейс и его отдельные элементы и сравнивает каждый элемент с набором эвристик, указанным в таблице 1. При этом на первом проходе эксперт составляет общее мнение о программном обеспечении изделия и выявляет базовые принципы взаимодействия с пользователем, на втором проходе эксперт концентрируется на отдельных элементах интерфейса. В процессе изучения интерфейса эксперт записывает свои комментарии, которые подтверждаются скриншотами. На основании комментариев эксперт формирует заключение о соответствии интерфейса программного обеспечения изделия каждой заданной эвристики. По результатам заключений эксперт формирует окончательную оценку пользовательского интерфейса, при этом, оценка пользовательского интерфейса является положительной, если для всех указанных эвристик получены положительные заключения.
Таблица 1| Эвристика | Объяснение |
| Простые и естественные диалоги | Диалоги не должны содержать неподходящую по смыслу информацию, или информацию, которая редко бывает нужна |
| Говорите на языке пользователя | Используйте слова и термины, понятные пользователям |
| Минимизируйте затраты памяти пользователя | Не заставляйте пользователя запоминать вещи от одного действия к другому |
| Последовательность | Пользователи должны иметь возможность обучиться последовательности действий с одной частью системы и использовать ее с другой частью |
| Обратная связь | Дайте пользователю знать, какой эффект на систему окажет его действие |
| Ясно обозначенные выходы | Если пользователь попал в область системы, которая в данный момент ему не интересна, он должен иметь возможность легко вернуться назад, ничего не повредив |
| Быстрый вызов действий | Опытные пользователи должны иметь возможность быстро вызывать нужные действия |
| Корректные сообщения об ошибках | Правильные сообщения об ошибках объясняют пользователям, в чем заключается проблема и как ее решить |
| Предотвращение ошибок | Каждый раз, когда вы выводите сообщение об ошибке, вы должны думать, можно ли этой ошибки избежать? |
| Помощь и документация | Даже если систему можно использовать без документации, все равно документация и помощью должны быть предоставлены |
При выполнении испытаний используется ручной метод тестирования, который проводиться экспертом без специальных тест-программ путем выполнения тех же действий, что и пользователь испытываемого изделия.
В целом, оценка соответствия изделия представленной для проведения сертификационных испытаний документации осуществляется методом регистрации реакции сертифицируемого изделия на тестовое воздействие (допустимое действие) с последующим сравнением зарегистрированной реакции с описанием, приведенным в документации на изделие.
Дополнительно, в рамках испытаний соответствия реальных и декларируемых в документации возможностей изделия, испытательной лабораторией осуществляется:
При формировании требований к стенду испытаний соответствия реальных и декларируемых в документации функциональных возможностей изделия должно учитываться, что стенд должен быть достаточным для проверки всех заявленных в документации функциональных возможностей изделия. С этой целью допускается применение моделирующих взаимодействие с внешними системами имитаторов. При этом испытания должны выполняться в режиме максимально-допустимой нагрузки изделия во всех заявленных режимах эксплуатации.
Обычно, испытания соответствия реальных и декларируемых в документации функциональных возможностей изделия проводят перед выполнением контроля отсутствия недекларированных возможностей программного обеспечения изделия.
