36213

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз

Доклад

Математика и математический анализ

МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi – наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.

Русский

2013-09-21

112.5 KB

20 чел.

11  Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хNj – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b1 f1(x) + … + bk fk(x),                                     (2.1)

где fu(x) – заданные функции; bu – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки  коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где уi – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Фij] =  [fj(xi)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

T Ф)  = ФT y.                                             (2.2)

Значит

= (ФT Ф)–1 ФT y.                                              (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = уДЕТ(х) + уСЛУЧ() = у(х) + ,

где – случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;

   у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что       у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[] = 2T Ф)–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def.  Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def.  Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим  – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним: = у – M[y]. Из уравнения (2.2) имеем

ФТ (у – Ф) = ФТ =.                                        (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: zТ Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.

Обозначим уj и оценим величину QОБЩ = j – )2 – разброс компонент вектора у. Имеем

QОБЩ = [(уj –) + ] 2 = j –) 2 + 2j –) +  2.

Найдем А = j –)= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим  = 0. Следовательно, А = 0. Отсюда

QОБЩ = j –) 2  +  2 = QОСТАТ + QРЕГР,

где QОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

      QРЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат –  R2  90%.

5. Анализ уравнения регрессии: остаточная дисперсия

Def.  Остаточной дисперсией уравнения регрессии называется величина

,

равная среднему квадрату отклонения экспериментальных данных от расчетных (k – число коэффициентов модели (2.1)).

Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.

Следствие.TФ)–1  – несмещенная оценка.

6. МНК-прогноз

Пусть х – фиксированный вектор входных параметров. С помощью модели (х) =  можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) – прогноз выхода при заданном входе. Так как МНК-оценки – случайные величины, то (х) – тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.

Обозначим f(x) = [f1(x),…, fk(x)]Т – вектор базисных функций. Тогда  (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).

D[(х)] = fT(x) D[] f(x) =  2 fT(x) (ФT Ф)–1f(x).

Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии

[(х)] =fT(x) (ФT Ф)–1f(x).

Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.


 

А также другие работы, которые могут Вас заинтересовать

43960. Выбор и обоснование структуры данных для алгоритма построения AVL дерева 16.14 KB
  АVL - дерево с такими же значениями, как и в узлах предыдущего дерева можно представить так. Следует заметить, что сбалансированные деревья очень эффективны для поиска.
43962. Совершенствование сервисного обслуживания оборудования нефтяных скважин на базе ОАО «Северо-Западные Магистральные нефтепроводы» г. Пермь, с целью улучшения качества оказываемых услуг 1.12 MB
  В сервисном разделе были проанализирован рынок нефти процесс добычи нефти выявлены недостатки при добычи нефти предприятия ОАО Северо-Западные Магистральные нефтепроводы г. В производственно технологическом разделе проанализированы возможные методы увеличения производительности скважин рассмотрен опыт применения кислотного гидроразрыва пласта на Гагаринском месторождении предложено внедрение кислотного гидроразрыва пласта при добыче нефти. В разделе Безопасность жизнедеятельности рассмотрено обеспечение безопасности условий...
43963. Посредничество и регулирование конфликтного взаимодействия в рамках деловой коммуникации 163 KB
  Социально-психологические характеристики конфликтного взаимодействия Переговоры в структуре конфликтологии Социально-психологические аспекты конфликта Ситуационный подход к изучению проблематики кооперация-конфликт Медиация отличается от других способов разрешения конфликта консалтинга прямых переговоров арбитражного и судебного разбирательств – с её помощью может быть лучше понят сам конфликт а вследствие этого переведен на более управляемый уровень...
43964. AVL дерево как инструмент повышения эффективности поиска. Оценки сложности поиска 17.8 KB
  Бинарные деревья поиска предназначены для быстрого доступа к данным. В идеале разумно сбалансированное дерево имеет высоту порядка O(log2n)...
43965. Изучении основ управления ОАО ГК «Армада» и разработке рекомендаций, направленных на совершенствование управления персоналом 924 KB
  Аналитическая часть работы включает в себя анализ организации управления персоналом на данном предприятии разработки решений по более эффективному управлению. Окончательно оформившись в конце XX века как массовое социальное явление работа по найму потребовала профессионального подхода к ее организации что породило управление менеджмент сначала как особый вид деятельности а затем и особую научную дисциплину. Гуманистический человек понимается как важнейшая ценность общества организации; ориентация на профессионализм интеллектуальный...
43966. Оптимизация алгоритма построения AVL дерева 63.34 KB
  По определению идеально сбалансированное дерево это дерево, все уровни которого, за исключением, может быть, последнего, полностью заполнены. (В бинарном дереве полностью заполненный уровень n содержит 2n узлов). При соблюдении данного условия бинарное дерево предоставляет оптимальнейшие условия для поиска в нем
43968. Державне регулювання субєктів зовнішньоекономічної діяльності 396.36 KB
  Необхідною умовою розвитку національної економіки, поглиблення співпраці з іншими державами, створення сприятливого середовища для залучення іноземних інвестицій є належне державне регулювання зовнішньоекономічної діяльності, яка становить важливий напрям загальної господарської діяльності держави.