36213
Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз
Доклад
Математика и математический анализ
МНКпрогноз. Согласно методу наименьших квадратов МНК эти оценки находят из условия минимума функции Qb = где уi наблюдаемое значение выходного параметра в iм эксперименте.1 МНКоценок и представляет прежде всего теоретический интерес.
Русский
2013-09-21
112.5 KB
22 чел.
11 Вопрос
Метод наименьших квадратов (МНК). Теорема Гаусса-Маркова. Анализ уравнения регрессии посредством коэффициента детерминации и остаточной дисперсии. МНК-прогноз.
2. Метод наименьших квадратов
Пусть по результатам наблюдений над некоторым объектом в точках х1, х2,…, хN (хj векторы) необходимо построить модель типа вход-выход, т.е. отражающую зависимость скалярной выходной величины у данного объекта от значения входной величины х, в общем случае векторной. Уравнение, отображающее такую зависимость, называется уравнением регрессии.
Будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.
у = b1 f1(x) + … + bk fk(x), (2.1)
где fu(x) заданные функции; bu неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции
Q(b) = ,
где уi наблюдаемое значение выходного параметра в i-м эксперименте.
Обозначим: Ф = [Фij] = [fj(xi)] регрессионная (N k)-матрица; b вектор коэффициентов; у вектор значений выхода. Для вектора оценок коэффициентов имеем уравнение
(ФT Ф) = ФT y. (2.2)
Значит
= (ФT Ф)1 ФT y. (2.3)
Выражение (2.3) представляет собой явную формулу оценок вектора коэффициентов модели (2.1) (МНК-оценок) и представляет, прежде всего, теоретический интерес. На практике для вычисления коэффициентов модели ее не используют, а предпочитают решать уравнение (2.2), поскольку метод решения линейной системы уравнений проще, чем алгоритм обращения матрицы и решение при этом обычно получается более точным.
Теорема Гаусса-Маркова формулирует основные свойства МНК-оценок и является теоретическим обоснованием МНК.
Теорема 2.1 (Гаусса-Маркова). Пусть выполнены следующие предположения.
1) Значение вектора у выходных параметров, полученного в результате серии экспериментов представляет собой сумму детерминированной и случайной составляющих:
у = уДЕТ(х) + уСЛУЧ() = у(х) + ,
где случайный N-мерный вектор с параметрами M[] = 0; D[] = 2I;
у(х) = М [y /x] = M[y] условное матожидание вектора у при фиксированном входе х.
2) rank Ф = k.
3) Существует вектор b истинных коэффициентов модели, такой что у(х) = Фb = M[y].
Тогда
1) МНК-оценка (2.3) является несмещенной оценкой вектора b истинных коэффициентов.
2) D[] = 2 (ФT Ф)1.
3) МНК-оценка эффективна в классе линейных по у несмещенных оценок.
Для справок.
Def. Статистическая оценка, математическое ожидание которой равно истинному значению оцениваемого параметра, называется несмещенной.
Def. Эффективной называют статистическую оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию.
4. Анализ уравнения регрессии: коэффициент детерминации
Обозначим статистическая оценка вектора M[у], полученная с помощью МНК. Обозначим оценка вектора случайных ошибок . Напомним: = у M[y]. Из уравнения (2.2) имеем
ФТ (у Ф) = ФТ =. (2.4)
Отсюда получаем
а) Для любого вектора z выполняется: zТ Ф = 0.
б) Предположим, что модель (2.1) имеет свободный член, т.е. f1(x) 1. Тогда 1-й столбец матрицы Ф полностью состоит из единиц. Следовательно, для 1-го столбца уравнение (2.4) примет вид = 0.
Обозначим уj и оценим величину QОБЩ = (уj )2 разброс компонент вектора у. Имеем
QОБЩ = [(уj ) + ] 2 = (уj ) 2 + 2(уj ) + 2.
Найдем А = (уj )= . Вторая сумма равна 0 по свойству б). Первую сумму представим в виде . Полагая в выражении а) z = , получим = 0. Следовательно, А = 0. Отсюда
QОБЩ = (уj ) 2 + 2 = QОСТАТ + QРЕГР,
где QОСТАТ остаточная сумма квадратов (обусловлена случайными отклонениями экспериментальных данных от расчетных);
QРЕГР сумма квадратов, обусловленная регрессией (отклонение расчетных данных от среднего).
Введем величину
коэффициент детерминации, показывающий процентную долю общего разброса компонент вектора у, объясняемую регрессией (влиянием входных контролируемых параметров). С его помощью можно оценивать качество построенной модели: чем больше R2, тем точнее считается уравнение регрессии. Как показывает опыт, достаточно хороший результат R2 90%.
5. Анализ уравнения регрессии: остаточная дисперсия
Def. Остаточной дисперсией уравнения регрессии называется величина
,
равная среднему квадрату отклонения экспериментальных данных от расчетных (k число коэффициентов модели (2.1)).
Теорема 2.2 (о несмещенногсти остаточной дисперсии). Если выполнены условия теоремы Гаусса-Маркова, то остаточная дисперсия является несмещенной оценкой параметра 2.
Следствие. (ФTФ)1 несмещенная оценка.
6. МНК-прогноз
Пусть х фиксированный вектор входных параметров. С помощью модели (х) = можно предсказать каким в среднем будет значение выходного параметра у при входе х, т.е. (х) прогноз выхода при заданном входе. Так как МНК-оценки случайные величины, то (х) тоже случайная величина, как и всякая статистическая оценка. Ее дисперсия характеризует среднюю точность прогноза. Найдем D[(х)] и ее оценку.
Обозначим f(x) = [f1(x),…, fk(x)]Т вектор базисных функций. Тогда (х) = fT(x). Воспользуемся теоремой 1.2 о линейно зависимых векторах и (х), положив в ней А = fT(x).
D[(х)] = fT(x) D[] f(x) = 2 fT(x) (ФT Ф)1f(x).
Значит, согласно следствию их теоремы 2.2 об остаточной дисперсии
[(х)] =fT(x) (ФT Ф)1f(x).
Теорема 2.3 (об МНК-прогнозе). Если выполнены условия теоремы Гаусса-Маркова, то прогноз (х) является эффективной оценкой в классе линейных по у несмещенных оценок.
А также другие работы, которые могут Вас заинтересовать | |||
66806. | ОСНОВИ НАУКОВИХ ДОСЛІДЖЕНЬ | 2.27 MB | |
Акцентується увага на визначення параметрів функціональної залежності загального виду по способу найменших квадратів складання початкових умовних рівнянь рівнянь поправок і нормальних рівнянь. Значна увага приділяється рішенню нормальних рівнянь і оцінці точності зрівноважених елементів. | |||
66808. | Материал для расчета корректной конфигурации для сетей Ethernet и Fast Ethernet | 3.24 MB | |
Наиболее часто приходится проверять ограничения связанные с длиной отдельного сегмента кабеля а также количеством повторителей и общей длиной сети. Правила 543 для коаксиальных сетей и 4х хабов для сетей на основе витой пары и оптоволокна не только дают гарантии работоспособности сети но и оставляют большой запас прочности сети. | |||
66810. | ПІДВИЩЕННЯ СПОРТИВНОЇ МАЙСТЕРНОСТІ З ОБРАНОГО ВИДУ СПОРТУ | 146 KB | |
Виконання студентами-заочниками контрольної роботи сприяє поглибленню та закріпленню теоретичних знань з теорії та методики обраного виду спорту. Студенти набувають навичок самостійної роботи з літературою, навчаються порівнювати... | |||
66814. | Методи та технології інтерактивного навчання | 88.45 KB | |
За метою та початковою фазою дуже нагадує попередній варіант групової роботи. Аде після об'єднання в групи й виконання завдання учні не роблять записів на дошці, а передають свій варіант іншим групам. Ті доповнюють його своїми думками, підкреслюють те, Із чим не погоджуються. | |||