87840

Состоятельность и несмещенность МНК-оценок

Лекция

Экономическая теория и математическое моделирование

Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности. Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка.

Русский

2015-04-23

395.62 KB

11 чел.

ЛЕКЦИЯ №5

Состоятельность и несмещенность МНК-оценок

 Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности.

 Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка. Т.к. – случайные величины, и – функция от них, то – случайная величина.

1. Несмещенность

Оценка называется несмещенной, если Проверим несмещенность и  Ранее были получены формулы:

         (1)

         (2)

Проверим выполнение равенств:

 Доказательство:

Тогда:

Несмещенность оценок доказана.

2. Состоятельность

Оценка называется состоятельной, если сходится по вероятности к Это означает, что или

Докажем состоятельность оценок Для этого воспользуемся I неравенством Чебышева: Для нашего случая:

Дисперсии оценок (1), (2):

         (3)

         (4)

Запишем неравенство Чебышева:

при  

Аналогично: 

при  

Было доказано, что оценки и состоятельны. Анализ (3), (4) показывает, что и прямо пропорциональны Чем больше фактор случайности, тем хуже оценки; с другой стороны, чем больше , тем более точным будут оценки.

 Замечание. Формулы (3), (4) дают дисперсии оценок коэффициентов регрессии в том случае, если дисперсия известна. На практике, как правило, не известна, и оценивают по наблюдениям одновременно с коэффициентами регрессии . В этом случае вместо и можно получить лишь оценки дисперсии , заменив на где

         (5)

         (6)

        (7)

Замечание. Рассмотрим матрицу:

Определитель матрицы равен:

Тогда:

 

оценка ковариационной матрицы коэффициентов регрессии и

 Замечание. Числа будем называть «стандартной ошибкой» соответствующих коэффициентов регрессии. В компьютерных программах «стандартные ошибки» рассчитываются одновременно с и . Например, если  то 

3. Эффективность

Несмещенная оценка эффективна, если Так как то эффективность оценки означает, что погрешность при замене неизвестного параметра его оценки минимальна. Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Эффективность оценок МНК. Теорема Гаусса-Маркова

 Эффективность оценок неизвестных коэффициентов модели регрессии, полученные с помощью метода наименьших квадратов (МНК) доказывается с помощью теоремы Гаусса-Маркова.

Нормальная или классическая линейная модель парной регрессии строится на основании следующих условий:

  1.   − спецификация модели.
  2.  − детерминированный вектор, т.е. переменная – неслучайная (детерминированная) величина, не зависящая от распределения случайной ошибки модели регрессии   неколлинеарен вектору т.е. среди хотя бы две величины различны.
  3.    где т.е. матожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях. т.е. дисперсия случайной ошибки модели регрессии постоянна во всех наблюдениях.
  4.   где т.е. случайные ошибки модели регрессии не коррелируют между собой. Это условие не выполняется для временных рядов.
  5.  , т.е. случайная ошибка модели регрессии – СВ, подчиняющая нормальному закону распределение с нулевым матожиданием и дисперсией . В этом случае модель называют нормальной линейной регрессионной.

Замечание. Условия 3, 4 можно записать в терминах зависимой переменной: Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Если же дисперсия ошибок зависит от номера наблюдения то такую модель называют гетероскедастичной.

Теорема Гаусса-Маркова

При выполнении перечисленных пяти условий оценки неизвестных коэффициентов модели регрессии, полученные классическим методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (без доказательства).

Матрица ковариаций МНК-оценок коэффициентов линейной модели парной регрессии: 

 

где и – дисперсии МНК-оценок коэффициентов и соответственно.

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

где – дисперсия случайной ошибки модели регрессии ; – дисперсия независимой переменной модели регрессии ; – объем выборки.

Оценка дисперсии случайной ошибки для линейной модели парной регрессии:

  

где – остатки модели регрессии.

Характеристики качества модели регрессии

 Существует несколько показателей, характеризующих качество моделей регрессии, т.е. степень соответствия построенной модели исходным данным.

  1.  Парный линейный коэффициент корреляции оценивает качество линейной модели парной регрессии:

 

где - среднеквадратическое отклонение факторной переменной; - среднеквадратическое отклонение результативной переменной. Можно выделить несколько особенностей парного корреляционного коэффициента.

Коэффициент изменяется в пределах  

Если то связь между переменными прямая.

Если то связь между переменными обратная.

Если то связь между переменными отсутствует. Регрессионный анализ между изучаемыми переменными не проводится, если или  

  1.  Коэффициент детерминации рассчитывается как квадрат парного линейного коэффициента корреляции Коэффициент детерминации характеризует в процентном отношении зависимость вариации результативной переменной от вариации факторной переменной в общем объеме вариации.
  2.  Среднеквадратическая ошибка модели регрессии:

 

где - число коэффициентов модели регрессии.

Модель регрессии считается качественной, если среднеквадратическая ошибка меньше среднеквадратического отклонения наблюдаемых значений результативной переменной от модельных значений (рассчитанных по модели регрессии).

Распределение оценки дисперсии ошибок S2 

 Пусть выполняется условие нормальной линейной регрессионной модели, а именно где единичная матрица размера   - символ Кронекера; - многомерная нормальная СВ. Но тогда - тоже многомерная нормальная СВ и оценки и по МНК, являясь линейной комбинацией имеют совместное нормальное распределение вероятности.

При этом:

Теорема

Если то т.е. имеет - распределение с n-2 степенями свободы.

(без доказательства)

Проверка гипотезы о значимости коэффициентов модели парной регрессии

 Проверка гипотезы о значимости коэффициентов модели парной регрессии является весьма важным этапом перед практическим использованием построенной модели регрессии. Значимость коэффициентов означает их значимое отличие от нуля. Проверяются гипотезы:

 

Вызванные гипотезы проверяются с помощью -статистики или -критерия Стьюдента. При этом наблюдаемое значение -критерия сравнивают со значение -критерия, определяем по таблице распределения Стьюдента или с критическим значением Критическое значение -критерия зависит от уровня значимости и - числа степеней свободы. Число степеней свободы определяется как разность между объемом выборки  и числом оцениваемых параметров по данной выборке  Для модели парной линейной регрессии число степеней свободы равно так как по выборке оцениваются только два параметра и Найдем наблюдаемое значение -критерия Стьюдента для проверки гипотезы  

где - оценка коэффициента модели регрессии   - величина стандартной ошибки коэффициента модели регрессии

где Наблюдаемое значение -критерия Стьюдента для проверки гипотезы

 

 

где - оценка коэффициента модели регрессии  - величина стандартной ошибки коэффициента модели регрессии  

Если основная гипотеза о незначимости коэффициентов модели регрессии отвергается (коэффициенты регрессии значимо отличаются от нуля). Если то с вероятностью основная гипотезы о незначимости коэффициентов модели регрессии почти не отличаются от нуля или равны нулю.

Проверка гипотезы о значимости парного коэффициента корреляции

 Значимость парного коэффициента корреляции между факторной переменной и результативной переменной означает его значимое отличие от нуля. Основной гипотезой, выдвигаемой  при проверке значимости коэффициента корреляции, является гипотеза о незначимости полученного коэффициента:  Обратной (или альтернативной) является гипотеза о значимости парного коэффициента корреляции: Выдвинутые гипотезы проверяются с помощью -статистики или -критерия Стьюдента в том случае, если объем выборки достаточно велик и коэффициент корреляции по модулю значительно меньше единицы Наблюдаемое значение -критерия сравнивают со значением -критерия, определяемым по таблице распределения Стьюдента, или с критическим значением где - уровень значимости; - число оцениваемых по выборке коэффициентов; - число степеней свободы, определяется по таблице распределений -критерия  Стьюдента для проверки гипотезы: в случае линейной модели парной регрессии:  где - выборочный парный коэффициент корреляции между переменными и Если то основная гипотеза о незначимости парного линейного коэффициента отвергается. Между переменными и существует  корреляционная связь, которую можно оценить с помощью построения модели парной регрессии. Если то гипотеза о незначимости коэффициента корреляции принимается. Основная гипотеза может быть проверена (помимо -критерия) с помощью -статистики Фишера в том случае, если модуль парного коэффициента корреляции близок к единице. Проверка основной гипотезы отождествляется с проверкой гипотезы о незначимости величины где - стандартная ошибка величины Критическое значение определяется по таблице нормального распределения -распределения.

Проверка гипотезы о значимости уравнения парной регрессии

 Значимость линейной модели парной регрессии зависимости между факторной переменной и результативной означает незначимое отличие от нуля. Проверка гипотезы о значимости модели регрессии равнозначна проверке гипотез о значимости парного коэффициента детерминации или коэффициентов регрессии и  Если значимость модели парной регрессии проверяется через значимость парного коэффициента детерминации, то выдвигается основная гипотеза о незначимости данного коэффициента и, следовательно, о незначимости модели парной регрессии в целом. Обратной (или альтернативной) является гипотеза о значимом отличии от нуля парного коэффициента детерминации, следовательно, о значимости модели парной регрессии.

Если значимость модели парной регрессии проверяется через значимость коэффициентов регрессии, то выдвигаются основные гипотезы: и об их незначимости и, следовательно, о незначимости модели парной регрессии в целом. Обратными (или альтернативными) являются гипотезы и о значимом отличии от нуля коэффициентов регрессии и, следовательно, о значимости построенной модели парной регрессии.

Для проверки гипотезы о значимости модели парной регрессии в целом используется -критерий Фишера-Снедекора. При этом наблюдаемое значение -критерия сравнивают с критическим значением -критерия определяемым по таблице Фишера-Снедекора. Наблюдаемое значение -критерия для проверки гипотезы о незначимости линейной модели парной регрессии Критическое значение -критерия определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости и числа степеней свободы где - объем выборочной совокупности, - число оцениваемых по выборке коэффициентов. Если т.е. наблюдаемое значение -критерия больше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии отвергается, и модель парной регрессии значимо отличается от нуля. Если т.е. наблюдаемое значение -критерия меньше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии принимается, и полученная модель парной регрессии является незначимой.


 

А также другие работы, которые могут Вас заинтересовать

36963. Робота з базою знань «План-карта шляхів» 40 KB
  COM командою lod ‘edit Сформувати файл програми для роботи з базою знань defun можливо стан карта mpcn 'lmbd правило if eql стан cr правило list правило nil карта defun вглибину поточнийплан ppend можливо cdr cr поточнийплан план1...
36964. Комп’ютера, як мультимедійний центр 183.74 KB
  Теоретичні відомості Програма Windows Movie Mker призначена для створення слайдівфільмів і відеокліпів на основі записаного вихідного матеріалу. Відкриття програми Windows Movie Mker Пуск Все программы Windows Movie Mker. або Пуск Все программыСтандартныеWindows Movie Mker. Програми Windows Movie Mker дозволяє записувати на комп'ютер зображення і звук з таких пристроїв як відеокамера цифрова чи аналогова відеокасета звичайна антена сигнал кабельного чи супутникового телебачення.
36965. Створення Windows Forms додатків на мові програмування C# 35 KB
  Створити Windows Forms додаток для вирішення відповідної задачі для чого: Розробити необхідну структуру вхідних віхідних даних та діалогових вікон додатку в яких розмістити необхідні елементи керування. Розробити додаток Облік успішності студентів для оперативного обліку успішності студентів в сесію деканом заступниками декана і співробітниками деканату. Розробити додаток Особисті справи студентів для отримання відомостей про студентів співробітниками деканату профкому і відділу кадрів. Розробити додаток Філіали банків .
36966. Дослідження базових схем підсілюваньніх каскадів на біполярніх транзисторах 284 KB
  Re емітерний опір Rl R2 резистори дільника що задає режим каскаду по постійному струму. Особливістю класичної схеми каскаду з СБ рис. Залежно від струму колектора транзистора і величини падіння напруги на електродах транзистора усилительного каскаду а також від амплітуди вхідного сигналу розрізняють наступні режими підсилення: режим А; режим В; режим С; режим D і проміжні режими наприклад АВ. Підсилювальний каскад по схемі з СЕ Для підсилювального каскаду класу А розрахунок статичного режиму полягає у виборі такого колекторного...
36968. Захист мережевого сервісу (засобами ОС Windows 2003 Server, OC Linux) 259.5 KB
  Типове ім'я принципіалу виглядає так root dmin@GRINDER.COM що означає ім'я primry nme root характеристику instnce який належить сектору GRINDER.conf [libdefults] defult_relm = GRINDER.COM kdc і dmin сервер для GRINDER.
36969. Дослідження процесу програмування взаємодій за допомогою засобів С++ або С# 14.5 KB
  Система забезпечує сканування кожної книги і обчислює загальну вартість покупки. Система дозволяє клієнту розрахуватися готівкою або кредитною картою. Після підтвердження оплати система контролю покупок друкує чек та зберігає дані про зроблені покупки. При цьому система веде облік повернених покупок.
36970. ЗРІВНОВАЖУВАННЯ ОБЕРТОВИХ МАС 357.36 KB
  Зміст роботи: провести балансування вала із закріпленими на ньому кількома незрівноваженими дисками розміщенням в його опорних перерізах противаг масу і розташування яких визначити з умови статичної та динамічної рівноваги обертових мас у векторній формі.1 а із закріпленими на його валу масами m1 і m2 положення яких задано координатами iri αi. Схема балансування незрівноваженого ротора Припустимо що маси незрівноважені тобто головний вектор і головний момент сил інерції системи не дорівнюють нулю.
36971. Організація VPN-мереж 295 KB
  Відкрийте службу Маршрутизація і віддалений доступ і зайдіть у властивості сервера. Зайдіть на вкладку IP виберіть назву внутрішнього адаптера і створіть статичний пул адрес відмінний від внутрішнього який буде присвоюватися VPNклієнтам. У вкладці Журнал событий виставіть параметр вести журнал всех событий Конфігурація портів Зайдіть у властивості Порты . В результаті у вас зявиться таке вікно: Конфігуруємо NT Зайдіть у IPмаршрутизация NTпреобразование сетевых адресов .