87840

Состоятельность и несмещенность МНК-оценок

Лекция

Экономическая теория и математическое моделирование

Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности. Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка.

Русский

2015-04-23

395.62 KB

9 чел.

ЛЕКЦИЯ №5

Состоятельность и несмещенность МНК-оценок

 Для того, чтобы МНК-оценку принять за оценку параметра необходимо и достаточно, чтобы оценка удовлетворяла трем статистическим свойствам: несмещенности, состоятельности, эффективности.

 Пусть имеется выборка из генеральной совокупности и плотность вероятности зависит от параметра а – точечная оценка. Т.к. – случайные величины, и – функция от них, то – случайная величина.

1. Несмещенность

Оценка называется несмещенной, если Проверим несмещенность и  Ранее были получены формулы:

         (1)

         (2)

Проверим выполнение равенств:

 Доказательство:

Тогда:

Несмещенность оценок доказана.

2. Состоятельность

Оценка называется состоятельной, если сходится по вероятности к Это означает, что или

Докажем состоятельность оценок Для этого воспользуемся I неравенством Чебышева: Для нашего случая:

Дисперсии оценок (1), (2):

         (3)

         (4)

Запишем неравенство Чебышева:

при  

Аналогично: 

при  

Было доказано, что оценки и состоятельны. Анализ (3), (4) показывает, что и прямо пропорциональны Чем больше фактор случайности, тем хуже оценки; с другой стороны, чем больше , тем более точным будут оценки.

 Замечание. Формулы (3), (4) дают дисперсии оценок коэффициентов регрессии в том случае, если дисперсия известна. На практике, как правило, не известна, и оценивают по наблюдениям одновременно с коэффициентами регрессии . В этом случае вместо и можно получить лишь оценки дисперсии , заменив на где

         (5)

         (6)

        (7)

Замечание. Рассмотрим матрицу:

Определитель матрицы равен:

Тогда:

 

оценка ковариационной матрицы коэффициентов регрессии и

 Замечание. Числа будем называть «стандартной ошибкой» соответствующих коэффициентов регрессии. В компьютерных программах «стандартные ошибки» рассчитываются одновременно с и . Например, если  то 

3. Эффективность

Несмещенная оценка эффективна, если Так как то эффективность оценки означает, что погрешность при замене неизвестного параметра его оценки минимальна. Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.

Эффективность оценок МНК. Теорема Гаусса-Маркова

 Эффективность оценок неизвестных коэффициентов модели регрессии, полученные с помощью метода наименьших квадратов (МНК) доказывается с помощью теоремы Гаусса-Маркова.

Нормальная или классическая линейная модель парной регрессии строится на основании следующих условий:

  1.   − спецификация модели.
  2.  − детерминированный вектор, т.е. переменная – неслучайная (детерминированная) величина, не зависящая от распределения случайной ошибки модели регрессии   неколлинеарен вектору т.е. среди хотя бы две величины различны.
  3.    где т.е. матожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях. т.е. дисперсия случайной ошибки модели регрессии постоянна во всех наблюдениях.
  4.   где т.е. случайные ошибки модели регрессии не коррелируют между собой. Это условие не выполняется для временных рядов.
  5.  , т.е. случайная ошибка модели регрессии – СВ, подчиняющая нормальному закону распределение с нулевым матожиданием и дисперсией . В этом случае модель называют нормальной линейной регрессионной.

Замечание. Условия 3, 4 можно записать в терминах зависимой переменной: Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Если же дисперсия ошибок зависит от номера наблюдения то такую модель называют гетероскедастичной.

Теорема Гаусса-Маркова

При выполнении перечисленных пяти условий оценки неизвестных коэффициентов модели регрессии, полученные классическим методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещенных оценок (без доказательства).

Матрица ковариаций МНК-оценок коэффициентов линейной модели парной регрессии: 

 

где и – дисперсии МНК-оценок коэффициентов и соответственно.

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

Дисперсия МНК-оценки коэффициента модели парной регрессии :

 

где – дисперсия случайной ошибки модели регрессии ; – дисперсия независимой переменной модели регрессии ; – объем выборки.

Оценка дисперсии случайной ошибки для линейной модели парной регрессии:

  

где – остатки модели регрессии.

Характеристики качества модели регрессии

 Существует несколько показателей, характеризующих качество моделей регрессии, т.е. степень соответствия построенной модели исходным данным.

  1.  Парный линейный коэффициент корреляции оценивает качество линейной модели парной регрессии:

 

где - среднеквадратическое отклонение факторной переменной; - среднеквадратическое отклонение результативной переменной. Можно выделить несколько особенностей парного корреляционного коэффициента.

Коэффициент изменяется в пределах  

Если то связь между переменными прямая.

Если то связь между переменными обратная.

Если то связь между переменными отсутствует. Регрессионный анализ между изучаемыми переменными не проводится, если или  

  1.  Коэффициент детерминации рассчитывается как квадрат парного линейного коэффициента корреляции Коэффициент детерминации характеризует в процентном отношении зависимость вариации результативной переменной от вариации факторной переменной в общем объеме вариации.
  2.  Среднеквадратическая ошибка модели регрессии:

 

где - число коэффициентов модели регрессии.

Модель регрессии считается качественной, если среднеквадратическая ошибка меньше среднеквадратического отклонения наблюдаемых значений результативной переменной от модельных значений (рассчитанных по модели регрессии).

Распределение оценки дисперсии ошибок S2 

 Пусть выполняется условие нормальной линейной регрессионной модели, а именно где единичная матрица размера   - символ Кронекера; - многомерная нормальная СВ. Но тогда - тоже многомерная нормальная СВ и оценки и по МНК, являясь линейной комбинацией имеют совместное нормальное распределение вероятности.

При этом:

Теорема

Если то т.е. имеет - распределение с n-2 степенями свободы.

(без доказательства)

Проверка гипотезы о значимости коэффициентов модели парной регрессии

 Проверка гипотезы о значимости коэффициентов модели парной регрессии является весьма важным этапом перед практическим использованием построенной модели регрессии. Значимость коэффициентов означает их значимое отличие от нуля. Проверяются гипотезы:

 

Вызванные гипотезы проверяются с помощью -статистики или -критерия Стьюдента. При этом наблюдаемое значение -критерия сравнивают со значение -критерия, определяем по таблице распределения Стьюдента или с критическим значением Критическое значение -критерия зависит от уровня значимости и - числа степеней свободы. Число степеней свободы определяется как разность между объемом выборки  и числом оцениваемых параметров по данной выборке  Для модели парной линейной регрессии число степеней свободы равно так как по выборке оцениваются только два параметра и Найдем наблюдаемое значение -критерия Стьюдента для проверки гипотезы  

где - оценка коэффициента модели регрессии   - величина стандартной ошибки коэффициента модели регрессии

где Наблюдаемое значение -критерия Стьюдента для проверки гипотезы

 

 

где - оценка коэффициента модели регрессии  - величина стандартной ошибки коэффициента модели регрессии  

Если основная гипотеза о незначимости коэффициентов модели регрессии отвергается (коэффициенты регрессии значимо отличаются от нуля). Если то с вероятностью основная гипотезы о незначимости коэффициентов модели регрессии почти не отличаются от нуля или равны нулю.

Проверка гипотезы о значимости парного коэффициента корреляции

 Значимость парного коэффициента корреляции между факторной переменной и результативной переменной означает его значимое отличие от нуля. Основной гипотезой, выдвигаемой  при проверке значимости коэффициента корреляции, является гипотеза о незначимости полученного коэффициента:  Обратной (или альтернативной) является гипотеза о значимости парного коэффициента корреляции: Выдвинутые гипотезы проверяются с помощью -статистики или -критерия Стьюдента в том случае, если объем выборки достаточно велик и коэффициент корреляции по модулю значительно меньше единицы Наблюдаемое значение -критерия сравнивают со значением -критерия, определяемым по таблице распределения Стьюдента, или с критическим значением где - уровень значимости; - число оцениваемых по выборке коэффициентов; - число степеней свободы, определяется по таблице распределений -критерия  Стьюдента для проверки гипотезы: в случае линейной модели парной регрессии:  где - выборочный парный коэффициент корреляции между переменными и Если то основная гипотеза о незначимости парного линейного коэффициента отвергается. Между переменными и существует  корреляционная связь, которую можно оценить с помощью построения модели парной регрессии. Если то гипотеза о незначимости коэффициента корреляции принимается. Основная гипотеза может быть проверена (помимо -критерия) с помощью -статистики Фишера в том случае, если модуль парного коэффициента корреляции близок к единице. Проверка основной гипотезы отождествляется с проверкой гипотезы о незначимости величины где - стандартная ошибка величины Критическое значение определяется по таблице нормального распределения -распределения.

Проверка гипотезы о значимости уравнения парной регрессии

 Значимость линейной модели парной регрессии зависимости между факторной переменной и результативной означает незначимое отличие от нуля. Проверка гипотезы о значимости модели регрессии равнозначна проверке гипотез о значимости парного коэффициента детерминации или коэффициентов регрессии и  Если значимость модели парной регрессии проверяется через значимость парного коэффициента детерминации, то выдвигается основная гипотеза о незначимости данного коэффициента и, следовательно, о незначимости модели парной регрессии в целом. Обратной (или альтернативной) является гипотеза о значимом отличии от нуля парного коэффициента детерминации, следовательно, о значимости модели парной регрессии.

Если значимость модели парной регрессии проверяется через значимость коэффициентов регрессии, то выдвигаются основные гипотезы: и об их незначимости и, следовательно, о незначимости модели парной регрессии в целом. Обратными (или альтернативными) являются гипотезы и о значимом отличии от нуля коэффициентов регрессии и, следовательно, о значимости построенной модели парной регрессии.

Для проверки гипотезы о значимости модели парной регрессии в целом используется -критерий Фишера-Снедекора. При этом наблюдаемое значение -критерия сравнивают с критическим значением -критерия определяемым по таблице Фишера-Снедекора. Наблюдаемое значение -критерия для проверки гипотезы о незначимости линейной модели парной регрессии Критическое значение -критерия определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости и числа степеней свободы где - объем выборочной совокупности, - число оцениваемых по выборке коэффициентов. Если т.е. наблюдаемое значение -критерия больше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии отвергается, и модель парной регрессии значимо отличается от нуля. Если т.е. наблюдаемое значение -критерия меньше критического значения данного критерия, то с вероятностью основная гипотеза о незначимости парного коэффициента детерминации или коэффициентов модели парной регрессии принимается, и полученная модель парной регрессии является незначимой.


 

А также другие работы, которые могут Вас заинтересовать

42377. Використання M.EXCEL в розвязанні матричних ігор 437.5 KB
  Планується до випуску Кі варіанти конструкції нового товару. Виготовлення їх можливо за допомогою одного з альтернативних технологічних процесів Тj . Експерти оцінили споживчі властивості конструкції Кі , виготовленої за допомогою технологічного процесу Тj за десятибальною шкалою в аij балів. Конструкція, яка має більший бал якості, має також і більшу собівартість. Ресурси обмежені, тому менеджерам необхідно прийняти компромісне рішення. Обґрунтувати прийняте рішення.
42378. Работа с пакетом Microsoft Office (Word, Excel, Access, PowerPoint) 699.5 KB
  Для таких целей следует использовать команду меню Формат Абзац и в диалоговом окне установить необходимые отступы и интервалы. Установка первых строк производится с помощью команды меню Формат – Абзац или масштабной линейки. Изучите пункты меню панели инструментов и элементы окна. Рисунок 1 Рабочее окно программы Word Установите поля: левое – 25 см правое – 15 см верхнее и нижнее 2 см через меню Файл команду Параметры страницы.
42379. Текстовый процессор Word «Приемы и средства автоматизации разработки текстовых документов» 63 KB
  Формула задается как выражение в котором использованы: абсолютные ссылки на ячейки таблицы в виде списка 1; B5; E10 или блока 1:F10; ключевые слова для ссылки на блок ячеек: LEFT – ссылка на ячейки расположенные в строке левее ячейки с формулой; RIGHT – ссылка на ячейки расположенные в строке правее ячейки с формулой; BOVE – ссылка на ячейки расположенные в столбце выше ячейки с формулой; BELOW – ссылка на ячейки расположенные в столбце ниже ячейки с формулой; константычисла текст в двойных кавычках; закладки...
42380. Операционная система Windows XP: настройка операционной системы Windows, оформление Рабочего стола, настройка Проводника 148.5 KB
  Работа с архиватором WinZip: создание самораспаковывающегося и защищенного архива извлечение файлов из ZIPархива. Что такое многотомный архив Как добавить файл в архив Какие вы знаете архиваторы Их особенности для различных видов информации. ПРИЛОЖЕНИЕ В Работа с архиватором WinZip Запустите WinZip 8. Дайте команду File New rchive Файл Создать архив.
42381. Приемы и средства автоматизации разработки текстовых документов в Excel 62 KB
  Изучите основные понятия: Относительная ссылка указывает на ячейку основываясь на ее положении относительно ячейки в которой находится формула например на две строки выше. Относительная ссылка это изменяющийся при копировании и перемещении формулы адрес ячейки содержащий исходное данное. Абсолютная ссылка – это не изменяющийся при копировании и перемещении формулы адрес ячейки содержащих исходное данное. Заполните таблицу: При заполнении таблицы используйте: Выделите А1:Е1 выберите Формат Ячейки Выравнивание Объединение ячеек...
42382. Построение диаграмм с помощью мастера диаграмм 221 KB
  Требования к изученному материалу: уметь строить графики математических функций; строить диаграммы по экономическим задачам; уметь изменять тип параметры построенных диаграмм; уметь добавлять диапазон данных к построенной диаграмме; уметь добавлять легенды. В Excel существуют стандартные и нестандартные диаграммы. В следующем окне рисунок 2 появляется образец диаграммы. Далее подписать заголовки: название диаграммы – График квадратной функции; Ось Х – Х; Ось У – У; убрать линии сетки и подписи.
42383. Текстовый процессор Word «Шаблоны. Создание шаблона» 36.5 KB
  Создание шаблона Цель этой практической работы создать шаблон доверенности и затем оформить доверенность на основе созданного шаблона. Доверенность это документ выдаваемый организациейдоверителем физическому лицу поверенному на право выполнения от имени организациидоверителя указанных в доверенности действий. Формуляр доверенности включает в себя следующие реквизиты: наименование вида документа и его порядковый номер дата составления документа место составления документа текст подпись руководителя организациидоверителя В тексте...
42384. Створення консольних додатків 2.96 MB
  Ознайомлююсь з мовою програмування С. Набираю програму яка буде виводити ім’я прізвище і бобатькові а потім видаляти декілька символів з указаної позиції. Запускаю програму та перевіряю чи правильно вона працює.
42385. Створення консольних додатків. Обробка розгалужених обчислювальних процесів на мові програмування C# 41.5 KB
  Створити консольний додаток, в якому, використовуючи оператори розгалуження if… розрахувати значення функції з точністю до трьох знаків після коми. Результат розрахунку вивести на екран з відповідним повідомленням.