36213

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз

Доклад

Математика и математический анализ

МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.

Русский

2013-09-21

112.5 KB

20 чел.

11  Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хNj – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b1 f1(x) + … + bk fk(x),                                     (2.1)

где fu(x) – заданные функции; bu – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки  коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где уi – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Фij] =  [fj(xi)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

T Ф)  = ФT y.                                             (2.2)

Значит

= (ФT Ф)–1 ФT y.                                              (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = уДЕТ(х) + уСЛУЧ() = у(х) + ,

где – случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;

   у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что       у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[] = 2T Ф)–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def.  Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def.  Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим  – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним: = у – M[y]. Из уравнения (2.2) имеем

ФТ (у – Ф) = ФТ =.                                        (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: zТ Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.

Обозначим уj и оценим величину QОБЩ = j – )2 – разброс компонент вектора у. Имеем

QОБЩ = [(уj –) + ] 2 = j –) 2 + 2j –) +  2.

Найдем А = j –)= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим  = 0. Следовательно, А = 0. Отсюда

QОБЩ = j –) 2  +  2 = QОСТАТ + QРЕГР,

где QОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

      QРЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат –  R2  90%.

5. Анализ уравнения регрессии: остаточная дисперсия

Def.  Остаточной дисперсией уравнения регрессии называется величина

,

равная среднему квадрату отклонения экспериментальных данных от расчетных (k – число коэффициентов модели (2.1)).

Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.

Следствие.TФ)–1  – несмещенная оценка.

6. МНК-прогноз

Пусть х – фиксированный вектор входных параметров. С помощью модели (х) =  можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) – прогноз выхода при заданном входе. Так как МНК-оценки – случайные величины, то (х) – тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.

Обозначим f(x) = [f1(x),…, fk(x)]Т – вектор базисных функций. Тогда  (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).

D[(х)] = fT(x) D[] f(x) =  2 fT(x) (ФT Ф)–1f(x).

Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии

[(х)] =fT(x) (ФT Ф)–1f(x).

Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.


 

А также другие работы, которые могут Вас заинтересовать

65507. КУЛЬТУРНА ЕЛІТА ДОНБАСУ В 1953-1964 РОКАХ 197 KB
  Предметом дослідження є культурна еліта Донбасу конкретно літератори і митці музичнотеатральної та образотворчої сфери її творча діяльність участь у культурному і громадському житті регіону функціонування творчих спілок зусилля держави спрямовані на формування...
65508. ЗВ’ЯЗАНІ ТЕРМОМЕХАНІЧНІ КОЛИВАННЯ В АПАРАТАХ ХІМІЧНОГО МАШИНОБУДУВАННЯ 1.89 MB
  В багатьох конструкціях сучасного хімічного машинобудування застосовуються елементи у вигляді скінченних циліндричних тіл або масивних плит, які за конструктивними або технологічними міркуваннями можуть бути ослаблені отворами.
65509. РОЗВИТОК МЕТОДІВ РОЗРАХУНКУ МАЛОЦИКЛІЧНИХ РЕЖИМІВ ХОЛОДНОЇ ВАЛКОВОЇ ПРОКАТКИ І ПРАВКИ ПРИ ВИГОТОВЛЕННІ ТЕПЛООБМІННИХ ТРУБ З РЕГЛАМЕНТОВАНИМИ ПОКАЗНИКАМИ ЯКОСТІ 254 KB
  До безшовних теплообмінних труб які отримують на станах типу ХПТ, ставляться підвищені вимоги щодо точності розмірів, якості поверхні, механічних і структурних властивостей металу. Зазвичай, вони виготовляються у багатоциклічних технологічних процесах, які включають прокатку, термічну обробку та правку.
65510. СИСТЕМА МОДЕЛЮВАННЯ ПРОГНОЗУ РОСТУ ШТУЧНИХ СОСНОВИХ ЛІСОСТАНІВ ПОЛІССЯ УКРАЇНИ 365 KB
  Поглиблене вивчення закономірностей росту модальних деревостанів має особливе значення при проведенні безперервного лісовпорядкування оскільки воно враховує не лише сучасний стан насаджень а й їх зміну в динаміці.
65511. Індукція генних мутацій зразками копчених ковбасних виробів різних технологій виробництва 6.29 MB
  Мета дослідження встановити закономірності мутагенної дії зразків копчених ковбасних виробів трьох технологій виробництва. Вивчити сумарну мутагенну дію зразків неорганічної і органічної фракцій варенокопчених ковбас ВК.
65512. ЧЕРВОНИХ СТОЛОВИХ ВИН НА ОСНОВІ ВИКОРИСТАННЯ ВУГЛЕКИСЛОТНОЇ МАЦЕРАЦІЇ 932 KB
  Найважливішою тенденцією розвитку сучасної виноробної галузі є підвищення якості та розширення асортименту виноградних вин. Основний об'єм столових вин України складають вина, які випускають без витримки і реалізують не раніше 1 січня наступного за врожаєм року.
65513. СПЕЦИФІКА ЛЮДСЬКОГО ІСНУВАННЯ У РЕЛІГІЙНІЙ ФІЛОСОФІЇ В. РОЗАНОВА 211 KB
  Розанова провидця що у своїх численних замальовках зумів передбачити багато епохальних у тому числі й філософських подій ХХ ст. Розанова актуально й для сучасної культури. Розанова як ідеолога національного і особистого самовизначення який шукав зміст народної душі...
65514. ДЕРЖАВНИЙ КОНТРОЛЬ ЗА ДІЯЛЬНІСТЮ МІЛІЦІЇ 184.5 KB
  Держава керуючись невідкладними завданнями які вона ставить перед собою в певний період розвитку має контролювати їхнє виконання консолідувати зусилля на подолання перешкод а також визначати і завдання контролю та механізм його здійснення.
65515. МЕТОД РОЗРАХУНКУ ТЕМПЕРАТУРНОГО НАПРУЖЕНО-ДЕФОРМОВАНОГО СТАНУ КОМПОЗИТНИХ СТРИНГЕРІВ ПАНЕЛЕЙ ОБШИВКИ 1.26 MB
  Наукова новизна одержаних результатів полягає у такому: уперше виявлено і обґрунтовано механізм виникнення згинально-крутильних деформацій композитних стержнів з неоднорідним перерізом при зміні температури та або внаслідок усадки...