42153

МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Лабораторная работа

Математика и математический анализ

Линейная модель множественной регрессии выглядит следующим образом: Y = β0 β1x1 β2x2 βkxk ε где Y – зависимая переменная результативный признак; x1xk – независимые или объясняющие переменные; 0 1 k – коэффициенты регрессии;  – ошибка регрессии. Общая последовательность построения множественной линейной регрессионной модели следующая: Оценка параметров уравнения; Оценка качества регрессии; Проверка на мультиколлинеарность ее исключение; Проверка на гетероскедастичность коррекция на...

Русский

2013-10-27

360.5 KB

128 чел.

Лабораторная работа №4

МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Часто при построении модели приходится учитывать влияние на объект исследования сразу нескольких факторов. Линейная модель множественной регрессии выглядит следующим образом:

Y = β0 + β1x1 + β2x2 + …+ βkxk + ε,

где  Y – зависимая переменная (результативный признак);

 x1,…,xk – независимые, или объясняющие переменные;

 0, 1,…, k – коэффициенты регрессии;

  – ошибка регрессии.

Общая последовательность построения множественной линейной регрессионной модели следующая:

  1.  Оценка параметров уравнения;
  2.  Оценка качества регрессии;
  3.  Проверка на мультиколлинеарность, ее исключение;
  4.  Проверка на гетероскедастичность, коррекция на гетероскедастичность;
  5.  Корректировка вида модели: тест на функциональную форму, тест Вальда (лаб. раб. №6);
  6.  Экономическая интерпретация.

1. ОЦЕНКА ПАРАМЕТРОВ УРАВНЕНИЯ

Параметры уравнения множественной регрессии оцениваются методом наименьших квадратов (МНК), целью которого является нахождение оценок , минимизирующих сумму квадратов остатков

где xi=(1,x1,…,xk), =(0, 1,…, k)

или

где  .

При этом должны выполняться условия Гаусса – Маркова:

  1.  E(i)=0.
  2.  D(i)=2=constне зависит от i, i=1…n .
  3.  cov(ij)=0 при i  j, статистическая независимость (некоррелированность) ошибок для разных наблюдений.
  4.  Ошибки i, i=1…n, имеют совместное нормальное распределение: ~.

2. ОЦЕНКА КАЧЕСТВА МНОЖЕСТВЕННОЙ ЛИНЕЙНОЙ РЕГРЕССИИ проводится определением следующих величин:

1. Стандартные ошибки оценок (см. для парной регрессии)

2. Доверительные интервалы коэффициентов

,

где γ – уровень значимости, n – число наблюдений, - табличное (критическое) значение t-критерия Стьюдента. 

3. Значимость коэффициентов регрессии

Проверяется по t-критерию Стьюдента: . Если , то коэффициент статистически значим, иначе – незначим.

4. Коэффициент детерминации R2 (см. для парной регрессии)

5. Скорректированный коэффициент детерминации

Низкое значение R2 не свидетельствует о плохом качестве модели, и может объясняться наличием существенных факторов, не включенных в модель

R2 всегда увеличивается с включением новой переменной. Поэтому рассчитывают скорректированный коэффициент детерминации

6. Стандартная ошибка регрессии

Значения Se в однотипных моделях с разным числом наблюдений и (или) переменных сравнимы.

7. Значимость уравнения регрессии

Проверяется по F-критерию Фишера

.

Если F>Fтабл, то уравнение статистически значимо, иначе – незначимо.

F-критерии в разных моделях с разным числом наблюдений и (или) переменных несравнимы.

8. Средняя абсолютная процентная ошибка (см. для парной регрессии)

3. ПРОВЕРКА НА МУЛЬТИКОЛЛИНЕАРНОСТЬ

Мультиколлинеарность – наличие линейной статистической зависимости между факторными признаками, что вызывает неустойчивость оценок коэффициентов регрессии.

Если рассмотреть уравнение регрессии в матричном виде:

Y = + ε,

то МНК-оценки определяются как   .

При наличии эффекта мультиколлинеарности матрица XTX будет близка к вырожденной.

Последствия мультиколлинеарности:

  1.  Стандартные ошибки коэффициентов увеличиваются, следовательно, вычисленные t-статистики занижены.
  2.  Неустойчивость оценок. Добавление или исключение малого количества наблюдений может привести к очень сильному изменению оценок коэффициентов. При этом резко уменьшается и точность предсказания по модели.
  3.  Высокая коррелированность коэффициентов лишает смысла их интерпретации.

Признаки мультиколлинеарности:

  •  неправильные с экономической точки зрения знаки оценок регрессии;
  •  неоправданно большие значения оценок;
  •  высокие R2 и F-статистика, но некоторые (или все) коэффициенты незначимы (имеют низкие t-статистики);
  •  высокие парные коэффициенты корреляции;
  •  высокие частные коэффициенты корреляции;
  •  добавление или удаление наблюдений из выборки сильно изменяют значения оценок.

Одним из способов устранения эффекта мультиколлинеарности является метод включения-исключения переменных. При этом выполняются следующие действия:

  1.  Строится регрессионная модель методом наименьших квадратов.
  2.  Оценивается значимость коэффициентов регрессии.
  3.  Выявляется наличие зависимости между факторными признаками путем анализа матрицы парных коэффициентов корреляции и матрицы частных коэффициентов корреляции.
  4.  Строится новое уравнение регрессии с исключением незначимых и части взаимно коррелирующих переменных. При этом из числа коррелирующих переменных в модели оставляют те, которые более соответствуют ее экономическому содержанию, либо те, которые имеют наибольшее значение частной корреляции с зависимой переменной. При необходимости включаются уже исключенные переменные, если этого требует экономический смысл.
  5.  Повторяются 3-й и 4-й шаги до тех пор, пока мультиколлинеарность не будет исключена.
  6.  ПРОВЕРКА НА ГЕТЕРОСКЕДАСТИЧНОСТЬ

На практике часто встречаются модели, в которых не выполняется 2-е условие Гаусса – Маркова, т.е. D(i)≠const. Это явление называется гетероскедастичностью.

Гетероскедастичность приводит к заниженным значениям стандартных ошибок, получаемых обычным МНК. Вследствие чего  завышаются t-статистики, и дается неправильное (завышенное) представление о точности оценок.

Поэтому для более детального изучения данного явления рассмотрим обобщенную регрессионную модель y = X + , причем:

  1.  Yt = bXt + t, t=1…n;
  2.  E(t) = 0;
  3.  V(t) = Ω, и матрица Ω – ковариационная матрица вектора ошибок –  положительно определена.

В случае гетероскедастичности матрица Ω является диагональной, но имеет разные элементы на главной диагонали.

Для проверки модели на гетероскедастичность чаще всего используется тест Уайта.

Тест Уайта

Если в модели присутствует гетероскедастичность, то это может быть связано с тем, что дисперсии ошибок зависят от регрессоров, а гетероскедастичность должна отражаться в остатках обычной регрессии исходной модели.

В данном методе тестирования гипотезы H0 не делается предположений, относительно структуры гетероскедастичности.

Для проведения теста необходимо:

  •  провести обычную регрессию и получить вектор остатков e=(e1...en);
  •  провести регрессию et2 на все регрессоры X, их квадраты, попарные произведения и свободный член;
  •  построить статистику nR2.

Если верна гипотеза Н0: отсутствие гетероскедастичности, то величина имеет распределение 2(N-1), где N – количество регрессоров.

Сделать поправку на гетероскедастичность и «улучшить» оценку матрицы ковариаций позволяют следующие два способа оценивания.

  1.  Стандартные ошибки в форме Уайта.

Предполагается, что Ω, матрица ковариаций вектора ошибок , диагональна,  t = 1,…,n. Тогда состоятельной оценкой матрицы ковариаций оценок коэффициентов регрессии является

Стандартные ошибки, рассчитанные по данной формуле, называются стандартными ошибками в форме Уайта или состоятельными стандартными ошибками при наличии гетеро-скедастичности.

  1.  Стандартные ошибки в форме Невье – Веста.

Рассматривается случай, когда в матрице Ω = (ωij) ненулевые элементы стоят не только на главной диагонали, но и на соседних диагоналях, отстоящих от главной не более чем на L (т.е. ωij = 0, | ij | > L). Тогда состоятельной оценкой матрицы ковариаций оценок коэффициентов регрессии является

Существует несколько способов выбора весовых коэффициентов wj:

  1.  ωj = 1. Однако при таком выборе матрица  может оказаться неотрицательно определенной;
  2.   (Бартлетт);
  3.   (Парзен)

В большинстве случаев использование весов Парзена предпочти-тельнее.

Стандартные ошибки, рассчитанные по данной формуле, называются стандартными ошибками в форме Невье – Веста или стандартными ошибками с учетом гетероскедастичности и автокорреляции.

  1.  ЭКОНОМИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ

Коэффициент регрессии βi при переменной xi выражает предельный прирост зависимой переменной Y при изменении переменной xi, при условии постоянства других переменных. То есть βi показывает на сколько увеличится в среднем Y при увеличении xi на единицу.

Построение множественной линейной регрессии в EViews 5.1

1. Оценка параметров модели методом наименьших квадратов

В EViews оценка линейной модели множественной регрессии осуществляется аналогичной парной регрессии (лаб. раб. 3).

1) Меню Objects / New Object…, в появившемся окне выбирается тип объекта Equation, затем OK. В появившемся окне “Equation Estimation” вкладке Specification вводится через пробелы зависимая переменная, константа (с), факторные переменные. Например, y c x1 x2 x3 x4 x5.

2) ввод команды ls в строке ввода формул следующим образом:

ls зависимая переменная, константа (с), факторные переменные;

например, ls y c x1 x2 x3 x4 x5.

2. Оценка качества множественной линейной регрессии

Осуществляется аналогичной парной регрессии (лаб. раб. 3).

Также используется поле Adjusted R-squared – значение скорректированного коэффициента детерминации.

3. Проверка на мультиколлинеарность

В EViews отображение корреляционной матрицы осуществляется следующим способом:

  •  создается группа рядов, в которую включаются все случайные величины, для которых строится корреляционная матрица (например, группа из рядов Y, X1, X2, X3, X4);
  •  в окне созданной группы выбирается меню View \ Correlation \ Common Sample. В окне отобразится корреляционная матрица.

Рис. 4.1. Корреляционная матрица

Для возврата к отображению рядов в окне группы выбирается меню View \ Spreadsheet.

Пример.

По представленным на рис. 4.1 рядам была построена и оценена регрессия Y = β0 + β1X1 + β2X2 + β3X3+ β4X4 + ε (см. рис. 4.2).

Рис. 4.2. Результаты оценки множественной регрессии

Из рис. 4.1 видно, что X1 коррелирует с X4 (r=0.909128), а X2 коррелирует с X3 (r=0.874157), следовательно, есть мультиколлинеарность.

Из рис. 4.2 следует, что коэффициенты β2 и β4 незначимы.

Удалим из модели фактор X2 как менее существенный и коррелирующий со значимым (X3) фактором.

Рис. 4.3. Результаты оценки после удаления X2

В модели еще остался несущественный фактор X4 коррелирующий со значимым (X1) фактором. Удалим X4.

Рис. 4.4. Результаты оценки после удаления X4

В итоговой модели (рис. 4.4) все коэффициенты при факторах значимы, между факторами X1 и X3 нет высокой корреляции (r= -0.024173). Таким образом, в полученной модели нет мультиколлинеарности.

4. Проверка на гетероскедастичность

В EViews тестирование линейной модели множественной регрессии на гетероскедастичность осуществляется следующим способом.

  1.  Осуществляется оценка регрессии обычным МНК.
  2.  Для проверки ошибок на гетероскедастичность тестом Уайта в окне “Equation” выбирается View / Residual Tests / White Heteroskedasticity (no cross terms). При значении Probability<0.05 гипотеза о гомоскедастичности отвергается (принимается гетероскедастичность) (рис. 4.5).

Рис. 4.5. Тест Уайта на гетероскедастичность

  1.  Если гетероскедастичность подтверждается, то делается коррекция на гетероскедастичность: в окне “Equation” выбираете Estimate, в появившемся окне “Equation Estimation” выбираете вкладку Options, ставите галочку в поле Heteroscedasticity consistent coefficient сovariance, выбираете в какой форме хотите получить ошибки (White или Newey-West) (рис. 4.6).

Рис. 4.6. Коррекция на гетероскедастичность

Задания:

Необходимо по исходным данным определить оказывает ли потребление алкоголя и табака, а также ряда других факторов, существенное влияние на величину расходов домохозяйств.

Данные предоставлены Национальным институтом статистики Бельгии и содержат информацию о бельгийских домохозяйствах, взятую из результатов обследования бюджетов домохозяйств в 1995-96 годах. Исходная выборка содержит 2724 наблюдения.

Исходные данные находятся в файле lab 4.xls.

  1.  Проведите анализ данных и подготовьте выборку к проведению эконометрического моделирования.
  2.  Выберите форму влияющих факторов, оцените параметры начального уравнения множественной линейной регрессии методом наименьших квадратов.
  3.  Оцените качество построенной модели (стандартные ошибки, значимость коэффициентов и уравнения и т.д.).
  4.  Проверьте модель на мультиколлинеарность и при необходимости исключите ее.
  5.  Проведите тест на гетероскедастичность и при необходимости скорректируйте стандартные ошибки.
  6.  * Предложите свои варианты влияющих величин, являющихся некоторой комбинацией исходных величин, которые бы позволили сделать более качественные выводы по модели.
  7.  Дайте экономическую интерпретацию полученной модели.
  8.  Сохраните рабочий файл под именем «фамилия студента»_4.WF1.

Обозначение переменных

Переменная

Содержание переменной

bluecol

фиктивная переменная, равная 1, если глава семьи относится к "синим воротничкам" (квалифицированные рабочие; работники физического труда)

whitecol

фиктивная переменная, равная 1, если глава семьи относится к "белым воротничкам" (служащие, чиновники, работники аппарата управления, менеджеры, инженерно-технические работники, работники умственного труда, входящие в состав непроизводственного персонала предприятий)

nkids

количество детей в семье в возрасте старше 2 лет

nkids2

количество детей в семье в возрасте младше 2 лет

nadults

число взрослых в домохозяйстве

lnx

логарифм общих расходов (рассчитанных изначально в бельгийских франках)

xeuro

общие расходы домохозяйства, пересчитанные в евро по курсу обмена 40,3399 бельгийских франков за 1 евро

share2

доля затрат на табак в бюджете домохозяйства

share1

доля затрат на алкоголь в бюджете домохозяйства

age

число лет, которое человек носил брекеты (от 0 до 4)

d1

фиктивная переменная, равная 1, если share1>0

d2

фиктивная переменная, равная 1, если share2>0

expir

общий опыт работы

expir_wh

опыт работы в должности "белого воротничка"

expir_bl

опыт работы в должности "синего воротничка"

full_age

возраст главы домохозяйства


 

А также другие работы, которые могут Вас заинтересовать

27525. Понятие и виды функций права 34.5 KB
  Понятие и виды функций права. Сегодня нет единого взгляда на проблему функции права. Если синтезировать многочисленные точки зрения по этому вопросу то можно увидеть что в конечном счете под функцией права понимают либо социальное назначение права либо направление правового воздействия на общественные отношения либо и то и другое вместе взятое. Система функций права является сложным многоуровневым явлением.
27526. Понятие и классификация нормативно-правовых актов 28 KB
  НПА – предписания субъектов правотворчества содержащие нормы права. Признаки НПА: 1 результат правотворческой деятельности органов и должностных лиц наделенных строго определенной компетенцией; 2 содержат общеобязательные правила поведения и предписания; 3 выражают государственную волю; 4 принимаются в особом порядке; 5 имеют установленную форму указ постановление закон реквизиты порядок вступления в силу и сферу действия; 6 регулируют наиболее типичные массовые отношения рассчитаны на постоянное длительное действие; 7 не...
27527. Понятие и структура правосознания 25 KB
  Выделяют следующие основные черты правосознания: 1 является одной из форм общественного знания; 2 состоит из идей теорий чувств эмоций настроений и других компонентов; 3 носителями компонентов правосознания являются различные субъекты права; 4 обращено не только к настоящему но и к прошлому и к будущему; 5 является формой права в отдельные периоды развития общества; 6 ориентирует субъектов права в социальноправовых ситуациях позволяет им делать соответствующий не всегда правомерный выбор и принимать юридически значимые решения....
27528. Понятие, признаки и виды правомерного поведения 29 KB
  Понятие признаки и виды правомерного поведения Правомерное поведение личности – это поведение соответствующее предписаниям юридических норм т. законопослушное социальное поведение облеченное в юридическую форму. Правомерное поведение очень широко по своему диапазону и весьма неоднородно по характеру. Активное правомерное поведение.
27529. Понятие, стадии, способы и типы правового регулирования 31.5 KB
  Понятие стадии способы и типы правового регулирования Правовое регулирование – целенаправленное результативное юридическое воздействие права на общественные отношения осуществляющееся при помощи совокупности юридических средств норм права правоотношений и актов реализации составляющих его механизм механизм правового регулирования. Метод правового регулирования представляет собой специфический способ совокупность способов правового воздействия на регулируемые общественные отношения. Он складывается из комбинации следующих способов...
27530. Правовая культура, понятие и структура 26 KB
  Правовая культура понятие и структура. Существует несколько подходов к понятию культуры: 1 антропологические согласно которым культура – это совокупность всех благ созданных человеком в отличие от того что создала природа; 2 социологические согласно которым культура – это совокупность всех духовных ценностей; 3 философские согласно которым культура – это исторически определенный уровень развития общества творческих сил и способностей человека. Таким образом правовая культура – это совокупность всех ценностей созданных человеком в...
27531. Правовое отношение: понятие и признаки, состав 25 KB
  Правоотношения – это охраняемые государством общественные отношения возникающие как правило вследствие воздействия норм права на поведение людей и характеризующиеся наличием субъективных прав и юридических обязанностей у их участников. Признаки: 1 разновидность отношений общественных; 2 возникают на основе норм права; 3 характеризуются наличием у их участников субъективных прав и юридических обязанностей; 4 волевые отношения это означает что помимо нормы права которая сама по себе уже выражает определенную волю для возникновения...
27532. Преемственность в праве: понятие, виды и значение 28.5 KB
  Преемственность в праве – заимствование правом того или иного государства положения прошлых либо современных правовых систем заимствование наилучших моделей элементов конструкций описания механизма правового регулирования с целью совершенствования правовых систем и правовой культуры Правопреемственность – это необходимый элемент закона отрицания отрицания. Главным фактором обусловливающим преемственность является необходимость нормативного регулирования ряда общественных отношений вытекающая из потребностей самого общества и...
27533. Презумпции и фикции в праве 27.5 KB
  Все приёмы законодательной техники делятся на 2 группы: 1 юридические средства – это допустимые правом предметы и явления с помощью которых обеспечивается достижение поставленных целей и получения результатов юридические термины и понятия; юридические конструкции; юридические символы; перечисления; юридические презумпции; юридические фикции; 2 юридические способы – пути достижения намеченных целей с помощью конкретных юридических средств и при наличие условий и предпосылок законодательной практики способы структуризации; способы...