40567

Качество ПО

Лекция

Информатика, кибернетика и программирование

Эффективность Ошибки анализа необходимого количества ресурсов обычно проявляются только в определенных ситуациях Задачи обеспечения качества Обеспечение качества Измерение оценка качества программы Применение методов повышения качества Повышение качества Обнаружение ошибок и неудовлетворительных мест в программе Исправление ошибок и другие изменения программы Необходимость оценки качества Контроль текущего прогресса Оценка эффективности затрат на повышение качества Выбор наиболее эффективных методов повышения качества Основа...

Русский

2013-10-17

586.5 KB

22 чел.

 

Методы анализа и

обеспечения качества ПО

Качество ПО. Вводная лекция


Качество ПО

 Качество ПО – комплексная характеристика свойств ПО с точек зрения различных участников

 Стандартная модель качества ПО представлена в ISO 9126


Качество ПО

 Стандарт ISO 9126 учитывает точки зрения

 Разработчиков – внутреннее качество ПО

 Руководства и аттестации ПО – внешнее качество ПО

 Конечных пользователей –  качество ПО при использовании

 Качество ПО включает

 6 факторов

 27 атрибутов – для качественной оценки факторов

 метрики или показатели – для количественной оценки атрибутов

 ГОСТ Р ИСО/МЭК 9126


Функциональность

 Функциональность – способность ПО в определенных условиях решать задачи, нужные пользователям

 Функциональная пригодность – способность решать нужный набор задач

 Точность – способность выдавать нужные результаты

 Способность к взаимодействию, совместимость – способность взаимодействовать с нужным набором других систем

 Соответствие стандартам и правилам – соответствие ПО имеющимся стандартам, нормативным и законодательным актам, другим регулирующим нормам

 Защищенность – способность предотвращать неавторизованный и не разрешенный доступ к данным, коммуникациям и др


Надежность

 Надежность – способность ПО выполнять свои функции в заданных условиях

  •  Зрелость – величина, обратная частоте критических отказов,

  •  вызванных ошибками в ПО

  •  Устойчивость к отказам – способность поддерживать заданный уровень работоспособности при внутренних и внешних отказах
    •  Способность к восстановлению – способность восстанавливать определенный уровень работоспособности и целостность данных после отказа
      •  Соответствие стандартам надежности


Удобство сопровождения

 Удобство сопровождения – удобство проведения всех видов деятельности, связанных с сопровождение программ

  •  Удобство проведения анализа – удобство проведения анализа ошибок, дефектов и недостатков, а также удобство анализа необходимости изменений и их возможных последствий
    •  Удобство проверки – показатель, обратный трудозатратам на проведение тестирования и других видов проверки того, что внесенные изменения привели к нужным результатам
      •  Удобство внесения изменений – показатель, обратный трудозатратам на выполнение необходимых изменений
      •  Стабильность – показатель, обратный риску возникновения неожиданных эффектов при внесении необходимых изменений
      •  Соответствие стандартам удобства сопровождения


Эффективность

 Эффективность (производительность) – свойство ПО при заданных условиях обеспечивать необходимую работоспособность по отношению к выделяемым ресурсам

  •  Временная эффективность – способность ПО решать определенные задачи за отведенное время

  •  Эффективность использования ресурсов – способность решать нужные задачи с использованием заданных объемов ресурсов определенных видов (ресурсоемкость)
    •  Соответствие стандартам производительности


Удобство использования

 Удобство использования – способность ПО быть удобным в обучении и использовании

  •  Понятность – показатель, обратный к усилиям, которые затрачиваются пользователями на восприятие основных понятий ПО и осознание способов их использования для решения своих задач

  •  Удобство обучения – показатель, обратный к усилиям,
    •  затрачиваемым пользователями на обучение работе с ПО

  •  Удобство работы – показатель, обратный трудоемкости решения пользователями задач с помощью ПО
    •  Привлекательность – способность ПО быть привлекательным для пользователей
      •  Соответствие стандартам удобства использования


Переносимость

 Переносимость (мобильность) – способность ПО сохранять работоспособность при переносе из одного окружения в другое (аппаратное, программное окружение)

  •  Адаптируемость – способность ПО приспосабливаться к различным окружениям без специальных действий
    •  Удобство установки – способность ПО быть установленным или развернутым в определенном окружении
      •  Способность к сосуществованию – способность ПО сосуществовать в общем окружении с другими программами, разделяя с ними общие ресурсы

  •  Удобство замены другого ПО данным  – возможность применения данного ПО вместо других программных систем для решения тех же задач в определенном окружении
    •  Соответствие стандартам переносимости


Вопросы рассматриваемые в курсе

 Функциональность

 Функциональная пригодность – проверка программы на соответствие функциональной спецификации

 Защищенность – проверка программы на наличие уязвимостей безопасности

 Надежность

 Зрелость – обнаружение ошибок, имеющихся в программе, оценка числа оставшихся ошибок и их влияния на работу программы

 Эффективность

 Оценки эффективности

 Удобство сопровождения

 Удобство проведения анализа

 Удобство проверки


Причины недостаточного качества

 Функциональность

 Функциональные ошибки – несоответствия требованиям пользователей, функциональной спецификации и т.п.

 Надежность

 Нефункциональные ошибки – нарушение правил языка программирования, использования библиотечных функций и сторонних компонентов и т.п.

 Эффективность

 Ошибки анализа необходимого количества ресурсов, обычно проявляются только в определенных ситуациях


Задачи обеспечения качества

 Обеспечение качества

 Измерение (оценка) качества программы

 Применение методов повышения качества

 Повышение качества

 Обнаружение ошибок и неудовлетворительных мест в программе

 Исправление ошибок и другие изменения программы

 Необходимость оценки качества

 Контроль текущего прогресса

 Оценка эффективности затрат на повышение качества

 Выбор наиболее эффективных методов повышения качества

 Основа для измерения и повышения качества – анализ ПО


Методы анализа ПО


Ручные методы

 Персональные проверки

 Аудит кода

 Парное программирование

 Ручная верификация


Динамические методы

 Динамические методы используют результаты выполнения программы

 Тестирование

 Модульное

 Системное

 Нагрузочное

 Мониторинг

 Профилирование

 Анализ трасс выполнения


Статические методы

 Статические методы используют различные артефакты получаемые в процессе проектирования ПО (требования, спецификации, исходные код программы)

 Методы формальной верификации

 Дедуктивная верификация

 Верификация на основе проверки моделей

 Статический анализ исходного кода


Гибридные методы

 Гибридные методы используют несколько разных методов

 Создание тестов на основе статического анализа

 Статический анализ для автоматического формирования моделей,

для которых применяются формальные методы проверки моделей

 Уточнение результатов статического анализа с помощью методов проверки моделей

 Комбинирование результатов статического анализа и тестирования для повышения точности результатов


Методы повышения качества

 Методы повышения надежности

 Динамические, на основе тестирования, анализа трасс выполнения и др.

 Статические, на основе статического анализа и верификации

 Методы улучшения функциональности

 Динамические, на основе тестирования, анализа трасс выполнения и др.

 Статические, на основе методов формальной верификации


Методы оценки качества

 Методы оценки надежности

 Динамические, на основе прогнозных моделей

 Статические, на основе метрик сложности и обнаружения дефектов

 Архитектурные, на основе анализа архитектуры ПО и надежности отдельных компонентов

 Методы оценки функциональности

 Динамические, на основе тестирования программы

 Статические, на основе методов формальной верификации

 Методы оценки эффективности

 Динамические, на основе профилирования

 Статические, на основе анализа возможных путей выполнения


1.  Основы тестирования

2.  Полнота тестирования: оценка и обеспечение

3.  Тестирование и жизненный цикл ПО


1.  Теоретические основы статического анализа ПО

2.  Обнаружение программных дефектов методами статического анализа

3.  Статический анализ параллельных программ

4.  Системы типов и эффектов


1.  Введение в верификацию на основе проверки модели

2.  Метод проверки модели. Методы снижения размерности задачи

3.  Построение абстрактных программ с помощью SAT- solvers


1.  Математический аппарат дедуктивной верификации ПО

2.  Изоморфизм Карри-Говарда


 Надежность по является одной из важнейшей характеристик качества

 Надежность ПО – вероятность его работы без отказов в течении периода времени, рассчитанная с учетом стоимости каждого отказа (Майерс)

 Надежность ПО должна учитывать не только частоту проявления ошибок, но и серьезность их последствий для пользователя системы.

 Оценивать и повышать надежность можно на любой стадии проектирования, на основе одного или нескольких представлений программы, при этом можно говорить только о надежности исполняемой программы


Для каждой программы можно определить необходимый уровень надежности

Назначение

Область применения

Требования к надежности

Программа, демонстрирующая возможности транзакций

Курс лабораторных работ по предмету

«Базы данных»

Время работы – единицы минут, корректно работает при заранее определенных действиях пользователя

Программа расчета заработной платы

Финансовый отдел предприятия

Время работы – десятки часов, устойчива к любым действиям пользователя, обеспечивает восстановление данных после сбоя.

Программа управления срабатыванием подушки безопасности

Автомобиль

Время работы – десятки тысяч часов, устойчива к любым внешним воздействиям, определяет случаи перехода в нерабочее состояние.

Программа управления опасным объектом

Промышленность,

авиация и космос, ВС

???


Основными источниками ненадежности аппаратных систем являются внешние факторы, обычно неподвластные человеку:

 скачки напряжения питания;

 электромагнитное излучение;

 радиация;

 

Источником ненадежности программ являются ошибки, сделанные разработчиками программ, на разных стадиях проектирования

Будем считать программу правильной, если она не содержит ошибок разработчиков, такая программа не дает неверных результатов

Абсолютно надежна


Что такое ошибка в программе ?

Если программа не соответствует

 Спецификации – в ней то же могут быть ошибки

 Неформальным требованиям пользователя – пользователь может не учесть  всех  возможных  ситуаций  или  неправильно сформулировать свои требования, у программы может быть много пользователей с различными требованиями

 Непредусмотренные входные данные и воздействия

 Ошибки окружения программы – некорректная работа другого ПО и аппаратуры

Является ли луна вражеским объектом ?

Одна из первых компьютерных систем противовоздушной обороны США (60-е годы) в первое же дежурство подняла тревогу, приняв восходящую из-за горизонта Луну за вражескую ракету, поскольку этот «объект» приближался к территории США и не подавал сигналов что он «свой»


В программе имеется ошибка, если она не выполняет действия, которые ожидает от нее некий абстрактный пользователь(эксперт), в том числе и при недопустимых внешних воздействиях и входных данных, а также при отказах другого ПО и сбоях и отказах аппаратуры.

Наличие ошибки – функция самой программы и нереализованных ожиданий ее пользователей (Майерс)

Из этого определения следует:

Программа не имеющая ошибок может давать неверные результаты, однако стремится минимизировать возможный ущерб

Такой программы не существует


 Ошибки имеются практически во всех программах

 Для программ на языке C в среднем

0,25 ошибок на 1 KLOC

 Примерно 45% ошибок являются критическими

 В ядре ОС Android (765 KLOC) найдено 359 ошибок*

* Coverity Scan: 2010 Open Source Integrity Report


 Переоблучение больных из за ошибки в программе управления радиотерапевтической установкой

 Печально известная ошибка в линейном ускорителе Therac-25 стала причиной гибели нескольких больных, получивших смертельные дозы радиации во время лечения, проводимого с июня 1985-го по январь 1987 года в нескольких онкологических клиниках в США и Канаде. Эти дозы, как было оценено позже, более чем в 100 раз превышали те, что обычно применяются при лечении. Частично причиной этих несчастий стала ошибка типа race condition.


 Авария при запуске французской ракеты «Ариан-5» (1996)

 на 37-й секунде полёта компьютер,

находившийся на борту ракеты, получил от датчиков системы управления неверную информацию о пространственной ориентации ракеты. Исходя из этой информации, компьютер начал корректировать траекторию полёта для того, чтобы компенсировать несуществующую на самом деле погрешность. Ракета стала отклоняться от курса, что привело к возрастанию нагрузок на её корпус. В результате чрезмерных нагрузок верхняя часть ракеты отвалилась, и по команде

земли ракета была взорвана.


 Неудача при запуске первого американского спутника к Венере

 Единственная ошибка в программе на Фортране – вместо требуемой в операторе запятой программист поставил точку.

 Потеря связи с космической станцией «Фобос-1»

 Произошла из-за ошибочной команды, переданной с Земли на бортовой компьютер

 Ошибка не учета отрицательной высоты

 При полетах над Мертвым морем американских самолетов произошла ошибка деления на ноль что привело к перезагрузке системы

 Падение спутников системы ГЛОНАСС

 Три спутника навигационной системы ГЛОНАСС упали в Тихий океан недалеко от Гавайских островов вскоре после их запуска. Причина аварии была признана ошибка в программировании, которая привела к тому, что в ракету залили неправильное количество топлива.


Фобос-Грунт

 «… никаких фатальных ошибок и дефектов при создании станции обнаружено не было". Причиной возникновения "нештатной ситуации", установили специалисты, стал "перезапуск двух полукомплектов устройства ЦВМ22 БВК, выполнявших на этом участке полета управление КА "Фобос-Грунт"…


 

А также другие работы, которые могут Вас заинтересовать

20921. ДОСЛІДЖЕННЯ РОБОТИ МУЛЬТИВІБРАТОРА 64.5 KB
  2 із зображенням мультивібратора рис. Визначити за допомогою осцилографа амплітуду частоту і шпаруватість сигналу на виході мультивібратора. Часові діаграми роботи мультивібратора показані на рис.
20922. ДОСЛІДЖЕННЯ ІНТЕГРАТОРА 184 KB
  Експериментальне визначення перехідних характеристик інтегратора рис. Натисніть кнопку 20 сек панелі і кнопку С1 Інтегратор відлічуючи по секундоміру стенду час за допомогою U вих виконайте вимірювання зміни в часі вихідної напруги інтегратора. побудуйте перехідні характеристики інтегратора.
20923. ДОСЛІДЖЕННЯ ЕЛЕМЕНТІВ, ЩО ВИКОНУЮТЬ ЛОГІЧНІ ОПЕРАЦІЇ 105.5 KB
  Мета роботи: ознайомитися з принципом і режимом роботи логічних елементів. При виконанні роботи визначаються передавальні характеристики логічного елементу при різних опорах навантаження а також складаються таблиці станів для логічних елементів €œІ€ €œНІ€ €АБО€ €АБОНІ€ €ІНІ€. Визначення передавальних характеристик логічних елементів рис. Складання таблиць істинності логічних елементів.
20924. ДОСЛІДЖЕННЯ ТРИГЕРІВ 241 KB
  При виконанні цієї роботи вивчається дія асинхронного RSтригера а також двох синхронних: Ттригера і JКтригера Порядок виконання роботи Робота виконується на лабораторному стенді ЭС21. Дослідження RS тригера рис. З'єднати входи R і S тригера з клемами панелі Рівень логічний. З'єднати прямий вихід тригера з клемами вольтметра що вимірює вихідний сигнал.
20925. ДОСЛІДЖЕННЯ ЛІЧИЛЬНИКІВ 1.12 MB
  Порядок виконання роботи Робота виконується на стенді ЭС21 Дослідження двійкового лічильника рис11. З'єднати вхід R лічильника з клемою панелі €œРівень логічний€ а вхід С лічильника з клемою панелі €œІмпульс одиночний€ і з клемою €œВхід€ панелі €œЛічильник імпульсів€. Натисненням кнопки панелі €œІмпульс одиночний€ подавати імпульси на вхід С досліджуваного лічильника. Після подачі чергового імпульсу визначати стан всіх виходів досліджуваного лічильника за допомогою вольтметра €œ U вих.
20926. ДОСЛІДЖЕННЯ ФОТОЕЛЕМЕНТІВ І ФОТОРЕЛЕ 806 KB
  Величина напруги необхідної для зняття характеристик встановлюється за допомогою відповідних потенціометрів а світлового потоку перемикачами розташованими під вікном з фотоелементами. Порядок виконання роботи Зібрати схему дослідження вакуумного фотоелемента СЦВ3 рис. Рис.
20927. ДОСЛІДЖЕННЯ МАЛОПОТУЖНОГО ДЖЕРЕЛА ЖИВЛЕННЯ 262 KB
  Накреслити осцилограми напруги на навантаженні при величині струму Iн = 60 мА. Виміряти за допомогою цифрового вольтметра змінну складову напруги на навантаженні і постійну напругу при струмі навантаження Iн = 60 мА. Обчислити коефіцієнт пульсацій випрямленої напруги: де U m – амплітуда змінної складової вихідної напруги. Накреслити осцилограму напруги на навантаженні.
20928. ДОСЛІДЖЕННЯ БІПОЛЯРНОГО ТРАНЗИСТОРА 378 KB
  Для зняття вхідних статичних характеристик транзистора необхідно: а включити тумблери B1 ВЗ В4 В6 В9 B11 вимкнути тумблери В2 В5; тумблер В12 поставити в положення ; б за допомогою ручки РЕГ. Для зняття вихідних статичних характеристик транзистора потрібно: а встановити необхідне значення базового струму регулятором РЕГ.2; б змінюючи напругу Uке через інтервали вказані викладачем вимірювати значення колекторного струму транзистора міліамперметром СТРУМ Iк .
20929. ДОСЛІДЖЕННЯ ОДИНОЧНИХ КАСКАДІВ ТРАНЗИСТОРНИХ ПІДСИЛЮВАЧІВ 97 KB
  Зібрати схему дослідження підсилювача із спільним емітером рис. а BI4 в положення Із спільним емітером ; тумблери В2 В5 В9 BI1 поставити в положення Вкл. Зібрати схему дослідження підсилювача із спільним колектором рис.