87840

Состоятельность и несмещенность МНК-оценок

Лекция

Экономическая теория и математическое моделирование

Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности. Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка.

Русский

2015-04-23

395.62 KB

11 чел.

ЛЕКЦИЯ №5

Состоятельность и несмещенность МНК-оценок

 Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности.

 Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка. Т.к. – случайные величины, и – функция от них, то – случайная величина.

1. Несмещенность

Оценка называется несмещенной, если Проверим несмещенность и  Ранее были получены формулы:

         (1)

         (2)

Проверим выполнение равенств:

 Доказательство:

Тогда:

Несмещенность оценок доказана.

2. Состоятельность

Оценка называется состоятельной, если сходится по вероятности к Это означает, что или

Докажем состоятельность оценок Для этого воспользуемся I неравенством Чебышева: Для нашего случая:

Дисперсии оценок (1), (2):

         (3)

         (4)

Запишем неравенство Чебышева:

при  

Аналогично: 

при  

Было доказано, что оценки и состоятельны. Анализ (3), (4) показывает, что и прямо пропорциональны Чем больше фактор случайности, тем хуже оценки; с другой стороны, чем больше , тем более точным будут оценки.

 Замечание. Формулы (3), (4) дают дисперсии оценок коэффициентов регрессии в том случае, если дисперсия известна. На практике, как правило, не известна, и оценивают по наблюдениям одновременно с коэффициентами регрессии . В этом случае вместо и можно получить лишь оценки дисперсии , заменив на где

         (5)

         (6)

        (7)

Замечание. Рассмотрим матрицу:

Определитель матрицы равен:

Тогда:

 

оценка ковариационной матрицы коэффициентов регрессии и

 Замечание. Числа будем называть «стандартной ошибкой» соответствующих коэффициентов регрессии. В компьютерных программах «стандартные ошибки» рассчитываются одновременно с и . Например, если  то 

3. Эффективность

Несмещенная оценка эффективна, если Так как то эффективность оценки означает, что погрешность при замене неизвестного параметра его оценки минимальна. Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Эффективность оценок МНК. Теорема Гаусса-Маркова

 Эффективность оценок неизвестных коэффициентов модели регрессии, полученные с помощью метода наименьших квадратов (МНК) доказывается с помощью теоремы Гаусса-Маркова.

Нормальная или классическая линейная модель парной регрессии строится на основании следующих условий:

  1.   − спецификация модели.
  2.  − детерминированный вектор, т.е. переменная – неслучайная (детерминированная) величина, не зависящая от распределения случайной ошибки модели регрессии   неколлинеарен вектору т.е. среди хотя бы две величины различны.
  3.    где т.е. матожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях. т.е. дисперсия случайной ошибки модели регрессии постоянна во всех наблюдениях.
  4.   где т.е. случайные ошибки модели регрессии не коррелируют между собой. Это условие не выполняется для временных рядов.
  5.  , т.е. случайная ошибка модели регрессии – СВ, подчиняющая нормальному закону распределение с нулевым матожиданием и дисперсией . В этом случае модель называют нормальной линейной регрессионной.

Замечание. Условия 3, 4 можно записать в терминах зависимой переменной: Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Если же дисперсия ошибок зависит от номера наблюдения то такую модель называют гетероскедастичной.

Теорема Гаусса-Маркова

При выполнении перечисленных пяти условий оценки неизвестных коэффициентов модели регрессии, полученные классическим методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (без доказательства).

Матрица ковариаций МНК-оценок коэффициентов линейной модели парной регрессии: 

 

где и – дисперсии МНК-оценок коэффициентов и соответственно.

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

где – дисперсия случайной ошибки модели регрессии ; – дисперсия независимой переменной модели регрессии ; – объем выборки.

Оценка дисперсии случайной ошибки для линейной модели парной регрессии:

  

где – остатки модели регрессии.

Характеристики качества модели регрессии

 Существует несколько показателей, характеризующих качество моделей регрессии, т.е. степень соответствия построенной модели исходным данным.

  1.  Парный линейный коэффициент корреляции оценивает качество линейной модели парной регрессии:

 

где - среднеквадратическое отклонение факторной переменной; - среднеквадратическое отклонение результативной переменной. Можно выделить несколько особенностей парного корреляционного коэффициента.

Коэффициент изменяется в пределах  

Если то связь между переменными прямая.

Если то связь между переменными обратная.

Если то связь между переменными отсутствует. Регрессионный анализ между изучаемыми переменными не проводится, если или  

  1.  Коэффициент детерминации рассчитывается как квадрат парного линейного коэффициента корреляции Коэффициент детерминации характеризует в процентном отношении зависимость вариации результативной переменной от вариации факторной переменной в общем объеме вариации.
  2.  Среднеквадратическая ошибка модели регрессии:

 

где - число коэффициентов модели регрессии.

Модель регрессии считается качественной, если среднеквадратическая ошибка меньше среднеквадратического отклонения наблюдаемых значений результативной переменной от модельных значений (рассчитанных по модели регрессии).

Распределение оценки дисперсии ошибок S2 

 Пусть выполняется условие нормальной линейной регрессионной модели, а именно где единичная матрица размера   - символ Кронекера; - многомерная нормальная СВ. Но тогда - тоже многомерная нормальная СВ и оценки и по МНК, являясь линейной комбинацией имеют совместное нормальное распределение вероятности.

При этом:

Теорема

Если то т.е. имеет - распределение с n-2 степенями свободы.

(без доказательства)

Проверка гипотезы о значимости коэффициентов модели парной регрессии

 Проверка гипотезы о значимости коэффициентов модели парной регрессии является весьма важным этапом перед практическим использованием построенной модели регрессии. Значимость коэффициентов означает их значимое отличие от нуля. Проверяются гипотезы:

 

Вызванные гипотезы проверяются с помощью -статистики или -критерия Стьюдента. При этом наблюдаемое значение -критерия сравнивают со значение -критерия, определяем по таблице распределения Стьюдента или с критическим значением Критическое значение -критерия зависит от уровня значимости и - числа степеней свободы. Число степеней свободы определяется как разность между объемом выборки  и числом оцениваемых параметров по данной выборке  Для модели парной линейной регрессии число степеней свободы равно так как по выборке оцениваются только два параметра и Найдем наблюдаемое значение -критерия Стьюдента для проверки гипотезы  

где - оценка коэффициента модели регрессии   - величина стандартной ошибки коэффициента модели регрессии

где Наблюдаемое значение -критерия Стьюдента для проверки гипотезы

 

 

где - оценка коэффициента модели регрессии  - величина стандартной ошибки коэффициента модели регрессии  

Если основная гипотеза о незначимости коэффициентов модели регрессии отвергается (коэффициенты регрессии значимо отличаются от нуля). Если то с вероятностью основная гипотезы о незначимости коэффициентов модели регрессии почти не отличаются от нуля или равны нулю.

Проверка гипотезы о значимости парного коэффициента корреляции

 Значимость парного коэффициента корреляции между факторной переменной и результативной переменной означает его значимое отличие от нуля. Основной гипотезой, выдвигаемой  при проверке значимости коэффициента корреляции, является гипотеза о незначимости полученного коэффициента:  Обратной (или альтернативной) является гипотеза о значимости парного коэффициента корреляции: Выдвинутые гипотезы проверяются с помощью -статистики или -критерия Стьюдента в том случае, если объем выборки достаточно велик и коэффициент корреляции по модулю значительно меньше единицы Наблюдаемое значение -критерия сравнивают со значением -критерия, определяемым по таблице распределения Стьюдента, или с критическим значением где - уровень значимости; - число оцениваемых по выборке коэффициентов; - число степеней свободы, определяется по таблице распределений -критерия  Стьюдента для проверки гипотезы: в случае линейной модели парной регрессии:  где - выборочный парный коэффициент корреляции между переменными и Если то основная гипотеза о незначимости парного линейного коэффициента отвергается. Между переменными и существует  корреляционная связь, которую можно оценить с помощью построения модели парной регрессии. Если то гипотеза о незначимости коэффициента корреляции принимается. Основная гипотеза может быть проверена (помимо -критерия) с помощью -статистики Фишера в том случае, если модуль парного коэффициента корреляции близок к единице. Проверка основной гипотезы отождествляется с проверкой гипотезы о незначимости величины где - стандартная ошибка величины Критическое значение определяется по таблице нормального распределения -распределения.

Проверка гипотезы о значимости уравнения парной регрессии

 Значимость линейной модели парной регрессии зависимости между факторной переменной и результативной означает незначимое отличие от нуля. Проверка гипотезы о значимости модели регрессии равнозначна проверке гипотез о значимости парного коэффициента детерминации или коэффициентов регрессии и  Если значимость модели парной регрессии проверяется через значимость парного коэффициента детерминации, то выдвигается основная гипотеза о незначимости данного коэффициента и, следовательно, о незначимости модели парной регрессии в целом. Обратной (или альтернативной) является гипотеза о значимом отличии от нуля парного коэффициента детерминации, следовательно, о значимости модели парной регрессии.

Если значимость модели парной регрессии проверяется через значимость коэффициентов регрессии, то выдвигаются основные гипотезы: и об их незначимости и, следовательно, о незначимости модели парной регрессии в целом. Обратными (или альтернативными) являются гипотезы и о значимом отличии от нуля коэффициентов регрессии и, следовательно, о значимости построенной модели парной регрессии.

Для проверки гипотезы о значимости модели парной регрессии в целом используется -критерий Фишера-Снедекора. При этом наблюдаемое значение -критерия сравнивают с критическим значением -критерия определяемым по таблице Фишера-Снедекора. Наблюдаемое значение -критерия для проверки гипотезы о незначимости линейной модели парной регрессии Критическое значение -критерия определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости и числа степеней свободы где - объем выборочной совокупности, - число оцениваемых по выборке коэффициентов. Если т.е. наблюдаемое значение -критерия больше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии отвергается, и модель парной регрессии значимо отличается от нуля. Если т.е. наблюдаемое значение -критерия меньше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии принимается, и полученная модель парной регрессии является незначимой.


 

А также другие работы, которые могут Вас заинтересовать

72246. Детали машин и основы конструирования (Лекция № 2) 1 MB
  Выкрашивание начинается в зоне, где создаются наиболее неблагоприятные условия: большие давления и силы трения, разрыв масляной пленки и др. явления. В этой зоне появляются микротрещины, развитие которых приводит к осповидному выкрашиванию, которое разрастается и увеличивающиеся...
72247. Детали машин и основы конструирования (Лекция №3) 679.5 KB
  В прямозубой передаче направление зуба перпендикулярно торцевой плоскости колеса. Для того, чтобы и косозубое колесо было геометрически подобно прямозубому, должно выполняться условие перпендикулярности зуба торцевой поверхности колеса.
72248. Детали машин и основы конструирования (Лекция №1) 798.5 KB
  Весьма сложные зависимости работоспособности реальных элементов машин от величины и характера нагрузки, размеров и формы деталей, материалов и их обработки, требуемого срока службы и др. вызывают необходимость введения допущений и поправочных коэффициентов при их расчетах.
72249. ЭТИКА ПРОФЕССИОНАЛЬНОГО ПОВЕДЕНИЯ МЕДСЕСТРЫ 91.24 KB
  Медицинская сестра и право пациента на качественную медицинскую помощь. Медицинская сестра должна уважать неотъемлемые права каждого человека на наивысший достижимый уровень физического и психического здоровья и на получение адекватной медицинской помощи.
72250. ФИЛОСОФИЯ СЕСТРИНСКОГО ДЕЛА 50.5 KB
  Философия сестринского дела является частью общей философии и представляет собой систему взглядов на взаимоотношения сестры пациента общества и окружающей среды. Необходимость философского осмысления сестринского дела возникла потому что в профессиональном сестринском...
72254. Процессуальное право Республики Казахстан 98 KB
  Цель лекции: сформировать у студентов представление о системе процессуального права его принципах участниках уголовно и гражданско-процессуальных правоотношений и стадиях уголовного и гражданского процесса.