36213

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз

Доклад

Математика и математический анализ

МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi – наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.

Русский

2013-09-21

112.5 KB

18 чел.

11  Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хNj – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b1 f1(x) + … + bk fk(x),                                     (2.1)

где fu(x) – заданные функции; bu – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки  коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где уi – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Фij] =  [fj(xi)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

T Ф)  = ФT y.                                             (2.2)

Значит

= (ФT Ф)–1 ФT y.                                              (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = уДЕТ(х) + уСЛУЧ() = у(х) + ,

где – случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;

   у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что       у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[] = 2T Ф)–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def.  Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def.  Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим  – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним: = у – M[y]. Из уравнения (2.2) имеем

ФТ (у – Ф) = ФТ =.                                        (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: zТ Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.

Обозначим уj и оценим величину QОБЩ = j – )2 – разброс компонент вектора у. Имеем

QОБЩ = [(уj –) + ] 2 = j –) 2 + 2j –) +  2.

Найдем А = j –)= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим  = 0. Следовательно, А = 0. Отсюда

QОБЩ = j –) 2  +  2 = QОСТАТ + QРЕГР,

где QОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

      QРЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат –  R2  90%.

5. Анализ уравнения регрессии: остаточная дисперсия

Def.  Остаточной дисперсией уравнения регрессии называется величина

,

равная среднему квадрату отклонения экспериментальных данных от расчетных (k – число коэффициентов модели (2.1)).

Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.

Следствие.TФ)–1  – несмещенная оценка.

6. МНК-прогноз

Пусть х – фиксированный вектор входных параметров. С помощью модели (х) =  можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) – прогноз выхода при заданном входе. Так как МНК-оценки – случайные величины, то (х) – тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.

Обозначим f(x) = [f1(x),…, fk(x)]Т – вектор базисных функций. Тогда  (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).

D[(х)] = fT(x) D[] f(x) =  2 fT(x) (ФT Ф)–1f(x).

Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии

[(х)] =fT(x) (ФT Ф)–1f(x).

Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.


 

А также другие работы, которые могут Вас заинтересовать

47133. Транснациональные корпорации 62.66 KB
  Так стороны Конвенции о транснациональных корпорациях признают под понятием транснациональная корпорация юридическое лицо совокупность юридических лиц: имеющее в собственности хозяйственном ведении или оперативном управлении обособленное имущество на территориях двух и более сторон; образованное юридическими лицами двух и более сторон; зарегистрированное в качестве корпорации в соответствии с Конвенцией.С развитием и совершенствованием правового регулирования деликтных отношений такое единообразие в подходе было дополнено...
47134. ФОРМЫ И ФУНКЦИИ ПОДРАЖАНИЯ В ДЕТСТВЕ (По Обуховой) 63.5 KB
  Ими было установлено что подражание или имитация такая форма поведения которая находится в непрерывном изменении и вносит важный вклад в формирование интеллекта личности ребенка помогает ему в освоении норм социальной жизни. Связь подражания ребенка определенного возраста со специфической социальной ситуацией его развития; установили функции отдельных видов подражания; выявили его родство с ориентировочноисследовательской деятельностью. Опираясь на идеи Эльконина и его концепцию периодизации психического развития и Гальперина и его...
47136. Понятие и виды экологических правонарушений 64.24 KB
  Экологическое правонарушение –это противоправное, виновное деяние (действие или бездействие), совершаемое праводееспособным субъектом, причиняющее экологический вред или несущее угрозу причинения либо нарушающее права и законные интересы субъектов экологического права.
47138. Cтруктура и закономерности развития экономических отношений. Производительные силы: средства производства и рабочая сила. Место и роль человека в экономике 64.68 KB
  Производительные силы: средства производства и рабочая сила. Экономические отношения объективно складывающиеся отношения между людьми по поводу производства присвоения обмена и потребления благ в особенности продуктов труда. Если экономические отношения охватывают весь комплекс отношений в ходе хозяйственной деятельности людей то производственные – лишь социальноэкономическое звено отношений в системе общественного производства. Их можно классифицировать по ряду оснований: в зависимости от фазы воспроизводства выделяются отношения...