10979

Нелинейная регрессия

Лекция

Математика и математический анализ

Нелинейная регрессия Связь между признаком и может быть нелинейной например в виде полинома: Здесь степень полинома случайная составляющая Для имеющихся данных можно записать По аналогии с 14.4 в матричной форме получим: где . Таким образом получ...

Русский

2013-04-03

192.4 KB

34 чел.

Нелинейная регрессия

Связь между признаком  и  может быть нелинейной, например, в виде полинома:

Здесь  степень полинома, случайная составляющая, 

Для имеющихся данных  можно записать

По аналогии с (14.4) в матричной форме получим:

где  .

Таким образом, получили формулы аналогичные многомерной регрессии. Слово “линейный” в названии “линейный регрессионный анализ” означает линейность относительно параметров , но не относительно факторов . Кроме полиномиальной формы широко используются, например, следующие модели:

  1.  логарифмическая; если зависимость то после логарифмирования получим:

;

  1.  гиперболическая; (при обратной зависимости, т.е. при увеличении  признак  уменьшается):

  1.  тригонометрическая:

, и многие другие.

Правильный выбор вида модели является отправной точкой для качественного ее анализа. На практике неизвестно, какая модель является верной. Поэтому зачастую подбирают такую модель, которая наиболее точно соответствует реальным данным. Учитывая, что идеальной модели не существует, попытаемся сформулировать критерии, позволяющие остановить свой выбор на качественной модели

Обычно для построения "хорошей" работоспособной модели и сравнения ее с другими возможными моделями необходимо учитывать следующие свойства (критерии).

Скупость (простота). Модель должна быть максимально простой. Это свойство обусловлено тем фактом, что модель не отражает действительность идеально, а является ее упрощением. Поэтому из двух моделей, примерно одинаково отражающих реальность, предпочтительнее та, которая содержит меньшее число объясняющих переменных.

Единственность. Для любого набора статистических данных определяемые параметры (коэффициенты) должны вычисляться однозначно.

Максимальное соответствие. Уравнение (модель) тем лучше, чем большую часть разброса зависимой переменной оно может объяснить. Поэтому стремятся построить модель с максимально возможным скорректированным коэффициентом детерминации .

Согласованность с теорией. Никакое уравнение не может быть признано качественным, если оно не соответствует известным теоретическим предпосылкам.

Прогнозные качества. Модель может быть признана качественной, если полученные на ее основе прогнозы подтверждаются реальностью.

Таким критерием прогнозных качеств оцененной модели регрессии может служить отношение:

где стандартная ошибка регрессии,  среднее значение зависимой переменной уравнения регрессии. Если величина  мала (а она определяет относительную ошибку прогноза в процентах) и отсутствует автокорреляция (критерий Дарбина – Уотсона), то прогнозные качества модели высоки.

Если уравнение регрессии используется для прогнозирования, то величина  обычно рассчитывается не для того периода (данных), на котором оценивались параметры уравнения, а для некоторого следующего за ним временного интервала, для которого известны значения зависимой объясняющей переменных.

Поскольку не существует какого либо единого правила построения регрессионных моделей, анализ перечисленных свойств и практический опыт, опирающийся на глубокие знания теории и статистического анализа, позволяют строить более качественные модели.

Рассмотрим практический пример: Как и в предыдущих задачах исследования будем проводить в пакете Statistica.

Все исходные данные сведены в таблицу.


Y

X

1

8,475

0,1

2

9,21

0,2

3

10,181

0,3

4

11,386

0,4

5

12,851

0,5

6

14,877

0,6

7

16,834

0,7

8

19,634

0,8

9

22,973

0,9

10

27,139

1

11

31,773

1,1

12

37,678

1,2

13

44,99

1,3

14

54,074

1,4

15

65,106

1,5

Вначале построим линейную зависимость (модель)

.

Заполним все опции стартового диалогового окна Multiple Regressions и выполним анализ. Проанализируем параметры модели и ее качество (рис.1).

Рис.1. Основные результаты регрессионного анализа

Построенная модель имеет вид: Это уравнение объясняет 87.9% () вариации зависимой переменной , скорректированный коэффициент детерминации равен . Что касается качества модели, то линейная зависимость существенна ( Относительно коэффициентов уравнения – выводы неоднозначны: свободный член уравнения  незначимо отличается от нуля, а коэффициент  значимо отличен от нуля. При подробном анализе модели необходимо тщательно проанализировать остатки (графически и аналитически). Мы же ограничимся только графиком, на котором представлены предсказанные данные (сплошная линия) и исходные данные (рис.2).

Рис. 2. Сравнение исходных данных с результатами линейной модели

Анализ графика исходных данных свидетельствует об их нелинейной зависимости. Выскажем предположение, что искомая функциональная зависимость имеет экспоненциальный вид:

Для получения уравнения экспоненциальной регрессии воспользуемся пунктом Exponential growth regression в меню Statistics  Advanced Linear/Nonlinear Models (см. рис.3.)

Рис. 3. Модуль экспоненциальной зависимости

Выбрав зависимую и независимую переменные, перейдем к настройкам проведения регрессионного анализа (рис.4). Выберем квази-ньютоновский метод для вычисления параметров модели. Квази-ньютоновский метод вычисляет значения функции в различных точках для оценивания первой (тангенс угла наклона графика функции в конкретной точке) и второй (скорость изменения угла наклона) производной, используя эти данные для определения направления изменения параметров и минимизации функции потерь. Кроме метода вычислений укажем максимальное число итераций и критерий сходимости.

Рис.4. Выбор метода оценки коэффициентов экспоненциальной регрессии

Проведем регрессионный анализ, для чего нажимаем «ОК».

Для получения полной информации о коэффициентах регрессионного уравнения выбираем пункт и получим результат (рис. 5).

Рис.5. Значения коэффициентов экспоненциальной модели.

Построенная модель имеет вид:

О качестве модели можно судить хотя бы по тому, что она описывает 99.996 % зависимой переменной. При проведении исследований часто полезным бывает использование диаграммы рассеяния наблюдаемых и предсказанных значений - (рис.6). Вспомним, что для линейной модели аналогичные результаты приведены на рис. 2.

Рис. 6. Сравнение исходных данных с результатами экспоненциальной модели

Как свидетельствует построенный график, предложенная экспоненциальная модель идеально описывает исходные данные (все исходные точки легли на теоретическую кривую).


 

А также другие работы, которые могут Вас заинтересовать

68195. ПАТОГЕНЕЗ ПОРУШЕННЯ РАНОВОГО ПРОЦЕСУ ЗА УМОВ ЦУКРОВОГО ДІАБЕТУ 312 KB
  Глибокі й різноспрямовані дослідження СДС привели до розробки й впровадження ряду нових методів хірургічного лікування зокрема реваскуляризуючих операцій використання різноманітних ранових покрить та аплікацій на ранову поверхню стовбурових клітин аутофібробластів й різноманітних факторів росту...
68196. РОЗВИТОК ЗЕМЕЛЬНИХ ВІДНОСИН У СІЛЬСЬКОМУ ГОСПОДАРСТВІ 891 KB
  Ринкові трансформації національної економіки, невід’ємною складовою яких є земельна реформа, зумовили серйозні зрушення у формах власності на землю і господарювання на ній. Ринкове середовище вимагає удосконалення процесів регулювання земельних відносин, чим підвищується актуальність обраної теми.
68197. МЕХАНІЗМ ОПОДАТКУВАННЯ НЕРУХОМОГО МАЙНА В УКРАЇНІ 361.5 KB
  Сьогодні у нашій державі оподаткування нерухомості не відіграє значної фіскальної та соціальної ролі в порівнянні із зарубіжними країнами. Для зміцнення матеріальнофінансової бази місцевого самоврядування та нівелювання значної дохідної і майнової нерівності населення особливої...
68198. ЖИТЛОВО-БУДІВЕЛЬНИЙ КОМПЛЕКС В СИСТЕМІ РОЗВИТКУ РЕГІОНУ 2.24 MB
  Системне дослідження соціально-економічних процесів що відбуваються на рівні регіону передбачає виявлення галузевої структури учасників господарської діяльності визначення всіх структуроутворюючих підсистем та елементів їх аналіз і оцінка взаємного впливу.
68199. ЕКСПЕРИМЕНТАЛЬНЕ ОБГРУНТУВАННЯ ЗАСТОСУВАННЯ ОЛІЇ НАСІННЯ ВИНОГРАДУ В ЯКОСТІ РАНОЗАГОЮВАЛЬНОГО ЗАСОБУ 389 KB
  Олія насіння винограду є діючою речовиною рослинного походження що має бути перспективною у складі препаратів для місцевого лікування ран у 2й та 3й фазах ранового процесу. Вищезазначене обумовлює актуальність вивчення фармакологічних властивостей олії насіння винограду з метою обґрунтування її практичного...
68200. ФОРМУВАННЯ ПРОФЕСІЙНОЇ КОМПЕТЕНТНОСТІ МАЙБУТНІХ ЕКОНОМІСТІВ ЗАСОБАМИ МЕРЕЖЕВИХ ТЕХНОЛОГІЙ 305 KB
  Інтеграція України до європейського економічного й інформаційного простору, поява нових сфер економічної діяльності тісно інтегрованих із інформаційними технологіями, що постійно оновлюються, зумовлюють необхідність у підвищенні якості економічної освіти та супроводжуються зростанням...
68201. ТЕОРІЯ І МЕТОДИКА ПРОЕКТУВАННЯ СИСТЕМИ ПЕДАГОГІЧНОЇ ПІДГОТОВКИ МАЙБУТНІХ ІНЖЕНЕРІВ-ПЕДАГОГІВ 523.5 KB
  Реалізація соціального замовлення суспільства на формування у майбутніх інженерівпедагогів умінь аналізувати прогнозувати та обирати раціональні шляхи й засоби навчання вимагає таких методологічних підходів які б забезпечували оновлення концепцій професійної педагогічної підготовки...
68202. ЗАДАЧІ З РУХОМИМИ МЕЖАМИ ДЛЯ ГІПЕРБОЛІЧНИХ СИСТЕМ КВАЗІЛІНІЙНИХ РІВНЯНЬ 1.29 MB
  Багато математичних моделей природознавства містять задачі з нелокальними нерозділеними або інтегральними крайовими умовами. Крайові задачі з нелокальними умовами для систем гіперболічних рівнянь досліджували...
68203. ЗАСТАВА В СИСТЕМІ МЕНЕДЖМЕНТУ КРЕДИТНОГО РИЗИКУ БАНКУ 283 KB
  У загальній структурі кредитних вкладень банків тільки 29 займає стандартна заборгованість при якій обслуговування боргу позичальником відповідає умовам кредитної угоди вказує на доцільність вивчення причин чому не спрацював механізм застави і банки не змогли відшкодувати належним чином...