ID: 36213

Название работы: Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз

Категория: Доклад

Предметная область: Математика и математический анализ

Описание: МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.

Язык: Русский

Дата добавления: 2013-09-21

Размер файла: 112.5 KB

Работу скачали: 20 чел.

11  Вопрос

Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.

2. Метод наименьших квадратов

Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хN (хj – векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.

Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b1 f1(x) + … + bk fk(x),                                     (2.1)

где fu(x) – заданные функции; bu – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки  коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где уi – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Фij] =  [fj(xi)] – регрессионная (N  k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение

(ФT Ф)  = ФT y.                                             (2.2)

Значит

= (ФT Ф)–1 ФT y.                                              (2.3)

Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.

Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.

Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.

1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:

у = уДЕТ(х) + уСЛУЧ() = у(х) + ,

где  – случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;

   у(х) = М [y /x] = M[y] – условное матожидание вектора у при фиксированном входе х.

2) rank Ф = k.

3) Существует вектор b истинных коэффициентов модели, такой что       у(х) = Фb = M[y].

Тогда

1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.

2) D[] = 2 (ФT Ф)–1.

3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.

Для справок.

Def.  Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.

Def.  Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.

4. Анализ уравнения регрессии: коэффициент детерминации

Обозначим  – статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим – оценка вектора случайных ошибок . Напомним:  = у – M[y]. Из уравнения (2.2) имеем

ФТ (у – Ф) = ФТ =.                                        (2.4)

Отсюда получаем

а) Для любого вектора z выполняется: zТ Ф = 0.

б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.

Обозначим уj и оценим величину QОБЩ = (уj – )2 – разброс компонент вектора у. Имеем

QОБЩ = [(уj –) + ] 2 = (уj –) 2 + 2(уj –) +  2.

Найдем А = (уj –)= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим  = 0. Следовательно, А = 0. Отсюда

QОБЩ = (уj –) 2  +  2 = QОСТАТ + QРЕГР,

где QОСТАТ – остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);

      QРЕГР – сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).

Введем величину

–

коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат –  R2  90%.

5. Анализ уравнения регрессии: остаточная дисперсия

Def.  Остаточной дисперсией уравнения регрессии называется величина

,

равная среднему квадрату отклонения экспериментальных данных от расчетных (k – число коэффициентов модели (2.1)).

Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.

Следствие. (ФTФ)–1  – несмещенная оценка.

6. МНК-прогноз

Пусть х – фиксированный вектор входных параметров. С помощью модели (х) =  можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) – прогноз выхода при заданном входе. Так как МНК-оценки – случайные величины, то (х) – тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.

Обозначим f(x) = [f1(x),…, fk(x)]Т – вектор базисных функций. Тогда  (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).

D[(х)] = fT(x) D[] f(x) =  2 fT(x) (ФT Ф)–1f(x).

Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии

[(х)] =fT(x) (ФT Ф)–1f(x).

Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.