36213

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз

Доклад

Математика и математический анализ

МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi – наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.

Русский

2013-09-21

112.5 KB

20 чел.

11  Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хNj – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b1 f1(x) + … + bk fk(x),                                     (2.1)

где fu(x) – заданные функции; bu – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки  коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где уi – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Фij] =  [fj(xi)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

T Ф)  = ФT y.                                             (2.2)

Значит

= (ФT Ф)–1 ФT y.                                              (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = уДЕТ(х) + уСЛУЧ() = у(х) + ,

где – случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;

   у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что       у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[] = 2T Ф)–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def.  Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def.  Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим  – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним: = у – M[y]. Из уравнения (2.2) имеем

ФТ (у – Ф) = ФТ =.                                        (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: zТ Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.

Обозначим уj и оценим величину QОБЩ = j – )2 – разброс компонент вектора у. Имеем

QОБЩ = [(уj –) + ] 2 = j –) 2 + 2j –) +  2.

Найдем А = j –)= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим  = 0. Следовательно, А = 0. Отсюда

QОБЩ = j –) 2  +  2 = QОСТАТ + QРЕГР,

где QОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

      QРЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат –  R2  90%.

5. Анализ уравнения регрессии: остаточная дисперсия

Def.  Остаточной дисперсией уравнения регрессии называется величина

,

равная среднему квадрату отклонения экспериментальных данных от расчетных (k – число коэффициентов модели (2.1)).

Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.

Следствие.TФ)–1  – несмещенная оценка.

6. МНК-прогноз

Пусть х – фиксированный вектор входных параметров. С помощью модели (х) =  можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) – прогноз выхода при заданном входе. Так как МНК-оценки – случайные величины, то (х) – тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.

Обозначим f(x) = [f1(x),…, fk(x)]Т – вектор базисных функций. Тогда  (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).

D[(х)] = fT(x) D[] f(x) =  2 fT(x) (ФT Ф)–1f(x).

Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии

[(х)] =fT(x) (ФT Ф)–1f(x).

Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.


 

А также другие работы, которые могут Вас заинтересовать

23399. Методи штучного інтелекту 326 KB
  підпис прізвище €œ ____ €œ _____________ 2011 року ЛАБОРАТОРНЕ ЗАНЯТТЯ № 9 з навчальної дисципліни __моделювання комп’ютерних мереж напряму підготовки _______інформаційні технології________ освітньокваліфікаційного рівня ____cпеціаліст_____________ спеціальності _____ ком’пютерні системи та мережі_________ Тема Методи штучного інтелекту повна назва лекції Лабораторне заняття №8 розроблено стар. вчена ступінь та звання прізвище та ініціали автора Обговорено на засіданні...
23400. Етапи моделювання систем 80 KB
  То же самое можно сказать и о моделировании. Конечный этап моделирования принятие решения на основании знаний об объекте. Цепочка выглядит следующим образом: Прототип объект процесс Моделирование Принятие решения Моделирование творческий процесс. Содержание этапов определяется поставленной задачей и целями моделирования.
23401. Системи і проблеми 267 KB
  Системы и проблемы. Методы системного анализа Понятие системы тесно связано с понятием проблемы. Любую проблему можно представить как отражение процесса функционирования реальной физической системы естественного или искусственного происхождения в которой при контролируемом входном воздействии создаваемая выходная реакция отличается от требуемой реакции. Первый из них связан с более глубоким познанием действующей системы и направлен на ее развитие эволюцию прежде всего в плане коррекции совершенствования общего процесса ее...
23402. Імітаційне моделювання 78 KB
  Етапи процесу побудови математичної моделі складної системи Формулируются основные вопросы о поведении системы ответы на которые мы хотим получить с помощью модели. Из множества законов управляющих поведением системы выбираются те влияние которых существенно при поиске ответов на поставленные вопросы. В пополнение к этим законам если необходимо для системы в целом или отдельных ее частей формулируются определенные гипотезы о функционировании. Трудности при построении математической модели сложной системы: Если модель содержит много...
23403. Імітаційне моделювання систем масового обслуговування 162.5 KB
  вчена ступінь та звання прізвище та ініціали автора Обговорено на засіданні кафедри ПМК Протокол № __________ €œ ____ €œ _____________ 2011 року Київ Навчальні цілі: Вивчення основних понять моделювання ознайомлення з поняттями системи та моделі співвідношенням між моделлю та системою класифікацією моделей видами моделей технологію моделювання; Виховні цілі: Формування у студентів інженернотехнічного кругозору методами імітаційного моделювання для побудови комп’ютерних систем та мереж вміння ставити та вирішувати складні...
23404. Етапи розробки комп’ютерної імітаційної моделі системи 162 KB
  НАВЧАЛЬНОМАТЕРІАЛЬНЕ ЗАБЕЗПЕЧЕННЯ наочні посібники схеми таблиці ТЗН та інше Діапроектор дидактичні слайди НАВЧАЛЬНІ МАТЕРІАЛИ Етапи розробки імітаційної моделі системи Независимо от способа исходного описания исследуемой системы и внешней среды следует выделить следующие этапы создания ИМ в обобщенном виде представленные на рис. Составление содержательного описания объекта моделирования включая: определение объекта имитации как системы; определение целей моделирования; установление перечня количественных показателей эффективности...
23405. Мови та інструментальні засоби ІМ і CASE-технології 79 KB
  НАВЧАЛЬНОМАТЕРІАЛЬНЕ ЗАБЕЗПЕЧЕННЯ наочні посібники схеми таблиці ТЗН та інше Діапроектор дидактичні слайди НАВЧАЛЬНІ МАТЕРІАЛИ Універсальні мови високого рівня Современные ЭВМ вычислительные комплексы и сети являются мощными средствами исследования сложных систем с использованием технологий имитационного моделирования. Соответствующим образом осуществляется развитие и инструментальных программных средств обеспечивающих решение широкого спектра задач методами имитационного моделирования. Эти средства можно условно разделить на три...
23406. Імітаційне моделювання 87.5 KB
  Імітаційне моделювання – це метод конструювання моделі системи та проведення експериментів. Термін моделювання відповідає англійському тобто побудова моделі та її аналізу. Перш за все слід подати в моделі структуру системи тобто загальний опис елементів і зв’язків між ними потім визначити засоби відтворення в моделі поведінки системи.Розроблення концептуальної моделі.
23407. Імітаційна модель ПК 77 KB
  Формування у студентів інженерно-технічного кругозору, методами імітаційного моделювання для побудови комп’ютерних систем та мереж, вміння ставити та вирішувати складні інженерні задачі, проводити аналіз, аргументовано робити висновки.