87840

Состоятельность и несмещенность МНК-оценок

Лекция

Экономическая теория и математическое моделирование

Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности. Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка.

Русский

2015-04-23

395.62 KB

9 чел.

ЛЕКЦИЯ №5

Состоятельность и несмещенность МНК-оценок

 Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности.

 Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка. Т.к. – случайные величины, и – функция от них, то – случайная величина.

1. Несмещенность

Оценка называется несмещенной, если Проверим несмещенность и  Ранее были получены формулы:

         (1)

         (2)

Проверим выполнение равенств:

 Доказательство:

Тогда:

Несмещенность оценок доказана.

2. Состоятельность

Оценка называется состоятельной, если сходится по вероятности к Это означает, что или

Докажем состоятельность оценок Для этого воспользуемся I неравенством Чебышева: Для нашего случая:

Дисперсии оценок (1), (2):

         (3)

         (4)

Запишем неравенство Чебышева:

при  

Аналогично: 

при  

Было доказано, что оценки и состоятельны. Анализ (3), (4) показывает, что и прямо пропорциональны Чем больше фактор случайности, тем хуже оценки; с другой стороны, чем больше , тем более точным будут оценки.

 Замечание. Формулы (3), (4) дают дисперсии оценок коэффициентов регрессии в том случае, если дисперсия известна. На практике, как правило, не известна, и оценивают по наблюдениям одновременно с коэффициентами регрессии . В этом случае вместо и можно получить лишь оценки дисперсии , заменив на где

         (5)

         (6)

        (7)

Замечание. Рассмотрим матрицу:

Определитель матрицы равен:

Тогда:

 

оценка ковариационной матрицы коэффициентов регрессии и

 Замечание. Числа будем называть «стандартной ошибкой» соответствующих коэффициентов регрессии. В компьютерных программах «стандартные ошибки» рассчитываются одновременно с и . Например, если  то 

3. Эффективность

Несмещенная оценка эффективна, если Так как то эффективность оценки означает, что погрешность при замене неизвестного параметра его оценки минимальна. Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Эффективность оценок МНК. Теорема Гаусса-Маркова

 Эффективность оценок неизвестных коэффициентов модели регрессии, полученные с помощью метода наименьших квадратов (МНК) доказывается с помощью теоремы Гаусса-Маркова.

Нормальная или классическая линейная модель парной регрессии строится на основании следующих условий:

  1.   − спецификация модели.
  2.  − детерминированный вектор, т.е. переменная – неслучайная (детерминированная) величина, не зависящая от распределения случайной ошибки модели регрессии   неколлинеарен вектору т.е. среди хотя бы две величины различны.
  3.    где т.е. матожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях. т.е. дисперсия случайной ошибки модели регрессии постоянна во всех наблюдениях.
  4.   где т.е. случайные ошибки модели регрессии не коррелируют между собой. Это условие не выполняется для временных рядов.
  5.  , т.е. случайная ошибка модели регрессии – СВ, подчиняющая нормальному закону распределение с нулевым матожиданием и дисперсией . В этом случае модель называют нормальной линейной регрессионной.

Замечание. Условия 3, 4 можно записать в терминах зависимой переменной: Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Если же дисперсия ошибок зависит от номера наблюдения то такую модель называют гетероскедастичной.

Теорема Гаусса-Маркова

При выполнении перечисленных пяти условий оценки неизвестных коэффициентов модели регрессии, полученные классическим методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (без доказательства).

Матрица ковариаций МНК-оценок коэффициентов линейной модели парной регрессии: 

 

где и – дисперсии МНК-оценок коэффициентов и соответственно.

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

где – дисперсия случайной ошибки модели регрессии ; – дисперсия независимой переменной модели регрессии ; – объем выборки.

Оценка дисперсии случайной ошибки для линейной модели парной регрессии:

  

где – остатки модели регрессии.

Характеристики качества модели регрессии

 Существует несколько показателей, характеризующих качество моделей регрессии, т.е. степень соответствия построенной модели исходным данным.

  1.  Парный линейный коэффициент корреляции оценивает качество линейной модели парной регрессии:

 

где - среднеквадратическое отклонение факторной переменной; - среднеквадратическое отклонение результативной переменной. Можно выделить несколько особенностей парного корреляционного коэффициента.

Коэффициент изменяется в пределах  

Если то связь между переменными прямая.

Если то связь между переменными обратная.

Если то связь между переменными отсутствует. Регрессионный анализ между изучаемыми переменными не проводится, если или  

  1.  Коэффициент детерминации рассчитывается как квадрат парного линейного коэффициента корреляции Коэффициент детерминации характеризует в процентном отношении зависимость вариации результативной переменной от вариации факторной переменной в общем объеме вариации.
  2.  Среднеквадратическая ошибка модели регрессии:

 

где - число коэффициентов модели регрессии.

Модель регрессии считается качественной, если среднеквадратическая ошибка меньше среднеквадратического отклонения наблюдаемых значений результативной переменной от модельных значений (рассчитанных по модели регрессии).

Распределение оценки дисперсии ошибок S2 

 Пусть выполняется условие нормальной линейной регрессионной модели, а именно где единичная матрица размера   - символ Кронекера; - многомерная нормальная СВ. Но тогда - тоже многомерная нормальная СВ и оценки и по МНК, являясь линейной комбинацией имеют совместное нормальное распределение вероятности.

При этом:

Теорема

Если то т.е. имеет - распределение с n-2 степенями свободы.

(без доказательства)

Проверка гипотезы о значимости коэффициентов модели парной регрессии

 Проверка гипотезы о значимости коэффициентов модели парной регрессии является весьма важным этапом перед практическим использованием построенной модели регрессии. Значимость коэффициентов означает их значимое отличие от нуля. Проверяются гипотезы:

 

Вызванные гипотезы проверяются с помощью -статистики или -критерия Стьюдента. При этом наблюдаемое значение -критерия сравнивают со значение -критерия, определяем по таблице распределения Стьюдента или с критическим значением Критическое значение -критерия зависит от уровня значимости и - числа степеней свободы. Число степеней свободы определяется как разность между объемом выборки  и числом оцениваемых параметров по данной выборке  Для модели парной линейной регрессии число степеней свободы равно так как по выборке оцениваются только два параметра и Найдем наблюдаемое значение -критерия Стьюдента для проверки гипотезы  

где - оценка коэффициента модели регрессии   - величина стандартной ошибки коэффициента модели регрессии

где Наблюдаемое значение -критерия Стьюдента для проверки гипотезы

 

 

где - оценка коэффициента модели регрессии  - величина стандартной ошибки коэффициента модели регрессии  

Если основная гипотеза о незначимости коэффициентов модели регрессии отвергается (коэффициенты регрессии значимо отличаются от нуля). Если то с вероятностью основная гипотезы о незначимости коэффициентов модели регрессии почти не отличаются от нуля или равны нулю.

Проверка гипотезы о значимости парного коэффициента корреляции

 Значимость парного коэффициента корреляции между факторной переменной и результативной переменной означает его значимое отличие от нуля. Основной гипотезой, выдвигаемой  при проверке значимости коэффициента корреляции, является гипотеза о незначимости полученного коэффициента:  Обратной (или альтернативной) является гипотеза о значимости парного коэффициента корреляции: Выдвинутые гипотезы проверяются с помощью -статистики или -критерия Стьюдента в том случае, если объем выборки достаточно велик и коэффициент корреляции по модулю значительно меньше единицы Наблюдаемое значение -критерия сравнивают со значением -критерия, определяемым по таблице распределения Стьюдента, или с критическим значением где - уровень значимости; - число оцениваемых по выборке коэффициентов; - число степеней свободы, определяется по таблице распределений -критерия  Стьюдента для проверки гипотезы: в случае линейной модели парной регрессии:  где - выборочный парный коэффициент корреляции между переменными и Если то основная гипотеза о незначимости парного линейного коэффициента отвергается. Между переменными и существует  корреляционная связь, которую можно оценить с помощью построения модели парной регрессии. Если то гипотеза о незначимости коэффициента корреляции принимается. Основная гипотеза может быть проверена (помимо -критерия) с помощью -статистики Фишера в том случае, если модуль парного коэффициента корреляции близок к единице. Проверка основной гипотезы отождествляется с проверкой гипотезы о незначимости величины где - стандартная ошибка величины Критическое значение определяется по таблице нормального распределения -распределения.

Проверка гипотезы о значимости уравнения парной регрессии

 Значимость линейной модели парной регрессии зависимости между факторной переменной и результативной означает незначимое отличие от нуля. Проверка гипотезы о значимости модели регрессии равнозначна проверке гипотез о значимости парного коэффициента детерминации или коэффициентов регрессии и  Если значимость модели парной регрессии проверяется через значимость парного коэффициента детерминации, то выдвигается основная гипотеза о незначимости данного коэффициента и, следовательно, о незначимости модели парной регрессии в целом. Обратной (или альтернативной) является гипотеза о значимом отличии от нуля парного коэффициента детерминации, следовательно, о значимости модели парной регрессии.

Если значимость модели парной регрессии проверяется через значимость коэффициентов регрессии, то выдвигаются основные гипотезы: и об их незначимости и, следовательно, о незначимости модели парной регрессии в целом. Обратными (или альтернативными) являются гипотезы и о значимом отличии от нуля коэффициентов регрессии и, следовательно, о значимости построенной модели парной регрессии.

Для проверки гипотезы о значимости модели парной регрессии в целом используется -критерий Фишера-Снедекора. При этом наблюдаемое значение -критерия сравнивают с критическим значением -критерия определяемым по таблице Фишера-Снедекора. Наблюдаемое значение -критерия для проверки гипотезы о незначимости линейной модели парной регрессии Критическое значение -критерия определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости и числа степеней свободы где - объем выборочной совокупности, - число оцениваемых по выборке коэффициентов. Если т.е. наблюдаемое значение -критерия больше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии отвергается, и модель парной регрессии значимо отличается от нуля. Если т.е. наблюдаемое значение -критерия меньше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии принимается, и полученная модель парной регрессии является незначимой.


 

А также другие работы, которые могут Вас заинтересовать

33260. Характеристика основных правовых форм организации 114 KB
  Характеристика органов управления ИЧП показана в табл. Характеристика органов управления индивидуальным и семейным частным предприятием Наименование органов управления Численность и сроки избрания Кто формирует Основные функции Кого назначает избирает Владелец собственник предприятия законодательный орган ИЧП 1 человек до ликвидации предприятия Владелец учредитель предприятия Принятие и утверждение устава определение уставного фонда утверждение планов и отчетов стратегия развития предприятия создание и ликвидация предприятия...
33261. Функционирование организации: понятие, и этапы жизненного цикла организации. Управление развитием организацией 52 KB
  Управление развитием организацией В менеджменте широко распространено понятие жизненного цикла организации под которым понимаются ее предсказуемые изменения с определенной последовательностью состояний в течение времени. Один из вариантов жизненного цикла организации на соответствующем временном отрезке предусматривает следующие этапы представленные на рис. Развиваются инновационные процессы предыдущего этапа формируется миссия организации.
33262. Сущность, задачи, особенности стратегического менеджмента 38.5 KB
  Методы стратегического менеджмента: метод системного подхода метод стратегической диагностики метод экспертных оценок метод стратегического анализа метод экономической и математической статистики Объект СМ фирма как открытая система Процесс стратегического планирования является инструментом который помогает руководству фирмы принимать правильные стратегические решения и корректировать в соответствии с ними повседневную жизнь организации. Схема стратегического планирования состоит из этапов: Преднамеренная стратегия называемая...
33263. ПРОЦЕСС РАЗРАБОТКИ СТРАТЕГИИ 76.5 KB
  СТЕПанализ Социодемографические воздействия Анализ социального окружения затрагивает вопросы связанные с пониманием роли общества и социальных перемен в жизни организации ее отрасли и рынков. Оно выступает в роли собственника или влияет на национализированные отрасли производства. Правительства некоторых стран контролируют ключевые стратегические отрасли причем способы контроля могут иметь эффект толчка резонанса в других экономических районах страны; международная политика. Анализ конкурентного окружения Отрасли и рынки Отрасли...
33264. Стратегия лидерства по издержкам 64.5 KB
  Существуют четыре широкие альтернативы: проникновение на рынок увеличение рыночной доли на старых рынках с помощью существующей продукции; освоение рынка внедрение на новые рынки и новые сегменты рынка с помощью существующей продукции; разработка продукта разработка новой продукции для обслуживания старых рынков; диверсификация разработка новых продуктов для обслуживания новых рынков. Продуты Существующие Новые...
33265. Основные положения по проектированию организационных структур управления 35 KB
  Заключается в разумной централизации функций работников в отделах и службах предприятия с передачей в нижнее звено функции оперативного управления. Обеспечивается закреплением за каждым подразделением определенных функций управления. Характеризует достижение минимально необходимых затрат на построение и содержание организационной структуры управления.
33266. Предмет науки управления (менеджмента) 41.5 KB
  Содержание функций управления. Менеджмент это процесс управления руководства отдельным работником рабочей группой коллективом для достижения цели организации. Менеджмент подразумевает определенную категорию людей получивших профессиональное образование в сфере управления и практически занимающихся руководством.
33267. Характеристика основных принципов управления организацией 58.5 KB
  творчества менеджеров основаны на определенных законах Законы управления Законы управления Содержание 1. Организация управления 4. Законы присущие всем сторонам управления 1.
33268. Эволюия основных подходов к менеджменту, характеристика школ 49 KB
  Эволюия основных подходов к менеджменту характеристика школ Основные положения школ менеджмента: Школа научного управления. Школа административного управления. Ее основные принципы: Развитие принципов управления. Описание функций управления.