87840

Состоятельность и несмещенность МНК-оценок

Лекция

Экономическая теория и математическое моделирование

Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности. Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка.

Русский

2015-04-23

395.62 KB

9 чел.

ЛЕКЦИЯ №5

Состоятельность и несмещенность МНК-оценок

 Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности.

 Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка. Т.к. – случайные величины, и – функция от них, то – случайная величина.

1. Несмещенность

Оценка называется несмещенной, если Проверим несмещенность и  Ранее были получены формулы:

         (1)

         (2)

Проверим выполнение равенств:

 Доказательство:

Тогда:

Несмещенность оценок доказана.

2. Состоятельность

Оценка называется состоятельной, если сходится по вероятности к Это означает, что или

Докажем состоятельность оценок Для этого воспользуемся I неравенством Чебышева: Для нашего случая:

Дисперсии оценок (1), (2):

         (3)

         (4)

Запишем неравенство Чебышева:

при  

Аналогично: 

при  

Было доказано, что оценки и состоятельны. Анализ (3), (4) показывает, что и прямо пропорциональны Чем больше фактор случайности, тем хуже оценки; с другой стороны, чем больше , тем более точным будут оценки.

 Замечание. Формулы (3), (4) дают дисперсии оценок коэффициентов регрессии в том случае, если дисперсия известна. На практике, как правило, не известна, и оценивают по наблюдениям одновременно с коэффициентами регрессии . В этом случае вместо и можно получить лишь оценки дисперсии , заменив на где

         (5)

         (6)

        (7)

Замечание. Рассмотрим матрицу:

Определитель матрицы равен:

Тогда:

 

оценка ковариационной матрицы коэффициентов регрессии и

 Замечание. Числа будем называть «стандартной ошибкой» соответствующих коэффициентов регрессии. В компьютерных программах «стандартные ошибки» рассчитываются одновременно с и . Например, если  то 

3. Эффективность

Несмещенная оценка эффективна, если Так как то эффективность оценки означает, что погрешность при замене неизвестного параметра его оценки минимальна. Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Эффективность оценок МНК. Теорема Гаусса-Маркова

 Эффективность оценок неизвестных коэффициентов модели регрессии, полученные с помощью метода наименьших квадратов (МНК) доказывается с помощью теоремы Гаусса-Маркова.

Нормальная или классическая линейная модель парной регрессии строится на основании следующих условий:

  1.   − спецификация модели.
  2.  − детерминированный вектор, т.е. переменная – неслучайная (детерминированная) величина, не зависящая от распределения случайной ошибки модели регрессии   неколлинеарен вектору т.е. среди хотя бы две величины различны.
  3.    где т.е. матожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях. т.е. дисперсия случайной ошибки модели регрессии постоянна во всех наблюдениях.
  4.   где т.е. случайные ошибки модели регрессии не коррелируют между собой. Это условие не выполняется для временных рядов.
  5.  , т.е. случайная ошибка модели регрессии – СВ, подчиняющая нормальному закону распределение с нулевым матожиданием и дисперсией . В этом случае модель называют нормальной линейной регрессионной.

Замечание. Условия 3, 4 можно записать в терминах зависимой переменной: Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Если же дисперсия ошибок зависит от номера наблюдения то такую модель называют гетероскедастичной.

Теорема Гаусса-Маркова

При выполнении перечисленных пяти условий оценки неизвестных коэффициентов модели регрессии, полученные классическим методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (без доказательства).

Матрица ковариаций МНК-оценок коэффициентов линейной модели парной регрессии: 

 

где и – дисперсии МНК-оценок коэффициентов и соответственно.

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

где – дисперсия случайной ошибки модели регрессии ; – дисперсия независимой переменной модели регрессии ; – объем выборки.

Оценка дисперсии случайной ошибки для линейной модели парной регрессии:

  

где – остатки модели регрессии.

Характеристики качества модели регрессии

 Существует несколько показателей, характеризующих качество моделей регрессии, т.е. степень соответствия построенной модели исходным данным.

  1.  Парный линейный коэффициент корреляции оценивает качество линейной модели парной регрессии:

 

где - среднеквадратическое отклонение факторной переменной; - среднеквадратическое отклонение результативной переменной. Можно выделить несколько особенностей парного корреляционного коэффициента.

Коэффициент изменяется в пределах  

Если то связь между переменными прямая.

Если то связь между переменными обратная.

Если то связь между переменными отсутствует. Регрессионный анализ между изучаемыми переменными не проводится, если или  

  1.  Коэффициент детерминации рассчитывается как квадрат парного линейного коэффициента корреляции Коэффициент детерминации характеризует в процентном отношении зависимость вариации результативной переменной от вариации факторной переменной в общем объеме вариации.
  2.  Среднеквадратическая ошибка модели регрессии:

 

где - число коэффициентов модели регрессии.

Модель регрессии считается качественной, если среднеквадратическая ошибка меньше среднеквадратического отклонения наблюдаемых значений результативной переменной от модельных значений (рассчитанных по модели регрессии).

Распределение оценки дисперсии ошибок S2 

 Пусть выполняется условие нормальной линейной регрессионной модели, а именно где единичная матрица размера   - символ Кронекера; - многомерная нормальная СВ. Но тогда - тоже многомерная нормальная СВ и оценки и по МНК, являясь линейной комбинацией имеют совместное нормальное распределение вероятности.

При этом:

Теорема

Если то т.е. имеет - распределение с n-2 степенями свободы.

(без доказательства)

Проверка гипотезы о значимости коэффициентов модели парной регрессии

 Проверка гипотезы о значимости коэффициентов модели парной регрессии является весьма важным этапом перед практическим использованием построенной модели регрессии. Значимость коэффициентов означает их значимое отличие от нуля. Проверяются гипотезы:

 

Вызванные гипотезы проверяются с помощью -статистики или -критерия Стьюдента. При этом наблюдаемое значение -критерия сравнивают со значение -критерия, определяем по таблице распределения Стьюдента или с критическим значением Критическое значение -критерия зависит от уровня значимости и - числа степеней свободы. Число степеней свободы определяется как разность между объемом выборки  и числом оцениваемых параметров по данной выборке  Для модели парной линейной регрессии число степеней свободы равно так как по выборке оцениваются только два параметра и Найдем наблюдаемое значение -критерия Стьюдента для проверки гипотезы  

где - оценка коэффициента модели регрессии   - величина стандартной ошибки коэффициента модели регрессии

где Наблюдаемое значение -критерия Стьюдента для проверки гипотезы

 

 

где - оценка коэффициента модели регрессии  - величина стандартной ошибки коэффициента модели регрессии  

Если основная гипотеза о незначимости коэффициентов модели регрессии отвергается (коэффициенты регрессии значимо отличаются от нуля). Если то с вероятностью основная гипотезы о незначимости коэффициентов модели регрессии почти не отличаются от нуля или равны нулю.

Проверка гипотезы о значимости парного коэффициента корреляции

 Значимость парного коэффициента корреляции между факторной переменной и результативной переменной означает его значимое отличие от нуля. Основной гипотезой, выдвигаемой  при проверке значимости коэффициента корреляции, является гипотеза о незначимости полученного коэффициента:  Обратной (или альтернативной) является гипотеза о значимости парного коэффициента корреляции: Выдвинутые гипотезы проверяются с помощью -статистики или -критерия Стьюдента в том случае, если объем выборки достаточно велик и коэффициент корреляции по модулю значительно меньше единицы Наблюдаемое значение -критерия сравнивают со значением -критерия, определяемым по таблице распределения Стьюдента, или с критическим значением где - уровень значимости; - число оцениваемых по выборке коэффициентов; - число степеней свободы, определяется по таблице распределений -критерия  Стьюдента для проверки гипотезы: в случае линейной модели парной регрессии:  где - выборочный парный коэффициент корреляции между переменными и Если то основная гипотеза о незначимости парного линейного коэффициента отвергается. Между переменными и существует  корреляционная связь, которую можно оценить с помощью построения модели парной регрессии. Если то гипотеза о незначимости коэффициента корреляции принимается. Основная гипотеза может быть проверена (помимо -критерия) с помощью -статистики Фишера в том случае, если модуль парного коэффициента корреляции близок к единице. Проверка основной гипотезы отождествляется с проверкой гипотезы о незначимости величины где - стандартная ошибка величины Критическое значение определяется по таблице нормального распределения -распределения.

Проверка гипотезы о значимости уравнения парной регрессии

 Значимость линейной модели парной регрессии зависимости между факторной переменной и результативной означает незначимое отличие от нуля. Проверка гипотезы о значимости модели регрессии равнозначна проверке гипотез о значимости парного коэффициента детерминации или коэффициентов регрессии и  Если значимость модели парной регрессии проверяется через значимость парного коэффициента детерминации, то выдвигается основная гипотеза о незначимости данного коэффициента и, следовательно, о незначимости модели парной регрессии в целом. Обратной (или альтернативной) является гипотеза о значимом отличии от нуля парного коэффициента детерминации, следовательно, о значимости модели парной регрессии.

Если значимость модели парной регрессии проверяется через значимость коэффициентов регрессии, то выдвигаются основные гипотезы: и об их незначимости и, следовательно, о незначимости модели парной регрессии в целом. Обратными (или альтернативными) являются гипотезы и о значимом отличии от нуля коэффициентов регрессии и, следовательно, о значимости построенной модели парной регрессии.

Для проверки гипотезы о значимости модели парной регрессии в целом используется -критерий Фишера-Снедекора. При этом наблюдаемое значение -критерия сравнивают с критическим значением -критерия определяемым по таблице Фишера-Снедекора. Наблюдаемое значение -критерия для проверки гипотезы о незначимости линейной модели парной регрессии Критическое значение -критерия определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости и числа степеней свободы где - объем выборочной совокупности, - число оцениваемых по выборке коэффициентов. Если т.е. наблюдаемое значение -критерия больше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии отвергается, и модель парной регрессии значимо отличается от нуля. Если т.е. наблюдаемое значение -критерия меньше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии принимается, и полученная модель парной регрессии является незначимой.


 

А также другие работы, которые могут Вас заинтересовать

83048. Местное управление и самоуправление в идеологических процессах 48.44 KB
  Местное самоуправление в Республике Беларусь является существенным элементом конституционного строя республиканской Беларуси и одной из форм осуществления власти народа: это форма активного участия, организации и деятельности граждан для самостоятельного решения непосредственно или через избираемые...
83049. Биосфера как глобальная экосистема 41.99 KB
  Воздействие человека на биосферу сопровождающееся ухудшением качества воды сведением лесов или выбросом в атмосферу загрязняющих веществ может создать угрозу жизни на Земле. Первичный состав атмосферы Земли определили газообразные продукты химических реакций происходивших в первичном веществе...
83050. Семья как социальный институт 123.5 KB
  Характерные признаки семьи ее структура и функции. В свою очередь институт семьи включает множество более частных институтов а именно институт брака институт родства институт материнства и отцовства институт собственности институт социальной защиты детства и опеки и другие.
83051. Деятельность сотрудников ИУ при выявлении и на первоначальном этапе расследования убийства 81.9 KB
  Поэтому говоря о соблюдении прав осужденных следует помнить что по своему правовому статусу лица осужденные к отбыванию наказания в виде лишения свободы приговором суда частично ограничены в своих конституционных правах а оперативные работники действуя в пределах своих полномочий ограничивают...
83052. Свобода научных исследований и социальная ответственность ученого 81.81 KB
  Современные перемены и кризисы в различных областях последствия которых сказываются на жизни миллионов людей и зачастую привносят изменения поистине мирового характера создают особую зону ответственности для науки как фактора влияющего на возникновение таких ситуаций и на самих ученых.
83053. Инвестиционная деятельность предприятия 39.3 KB
  Стратегическое планирование инвестиционной деятельности предусматривает моделирование будущей успешной деятельности предприятия и базируется на прогнозировании условий адаптации к изменениям внешней среды в осуществлении инвестиционной деятельности (инвестиционного климата) и конъюнктуры...
83054. Екатерина II Великая 1.23 MB
  Контакты с европейскими просветителями были со стороны Екатерины II данью моде но и духовной потребностью. Отношения учителя с учениками строились в соответствии с взглядами Екатерины: например были строго запрещены любые наказания.
83055. Оптоволоконні лінії зв’язку 25.23 KB
  Найважливіший з компонентів ВОЛЗ - оптичне волокно. Для передачі сигналів застосовуються два види волокна: одномодове і багатомодове. Свою назву волокна отримали від способу розповсюдження випромінювання в них. Волокно складається з серцевини і оболонки з різними показниками заломлення.
83056. Цивільне право 39.71 KB
  3 появою в нашій державі відносин які базуються на приватній економічній свободі підприємництві рівності усіх форм власності виникає необхідність у більш ефективних засобах їх правового регулювання а відтак удосконаленні існуючих та запровадженні принципово нових норм цивільного права.