10987

Кластерный анализ. Анализ временных рядов

Лекция

Математика и математический анализ

КЛАСТЕРНЫЙ АНАЛИЗ ПРОДОЛЖЕНИЕ Монотонность Для графического представления процесса объединения все индивиды группы размещаются в соответствующем порядке на оси абсцисс. Последовательность объединений иерархия или дендрограмма требует чтобы каждое объединени

Русский

2013-04-03

79.16 KB

20 чел.

КЛАСТЕРНЫЙ АНАЛИЗ (ПРОДОЛЖЕНИЕ)

Монотонность

Для графического представления процесса объединения все индивиды (группы) размещаются в соответствующем порядке на оси абсцисс. Последовательность объединений (иерархия или дендрограмма) требует, чтобы каждое объединение было связано с некоторым значением ординаты (обычно для этого используют меру различия).

 множество стратегий объединения:

  1.  стратегия "ближнего соседа"   

Это монотонная стратегия, сильно сжимающая пространство.

  1.  стратегия " дальнего соседа" (монотонная сильно растягивающая стратегия)  
  2.  гибкая стратегия (применима для любой меры различия и определяется четырьмя ограничениями):

Стратегия монотонная, если , то стратегия сохраняет метрику. Если  то стратегия сжимает пространство, а если , то растягивает. На практике обычно используют

Замечание.  Разделяющие (дивизионные) стратегии здесь не рассматриваются.

Пример 1: Имеются 5 объектов, для которых заданы меры различия , образующие матрицу :

Таблица 1.

1

2

3

4

5

1

-

0.227

0.250

0.422

0.897

2

0.227

-

0.492

0.387

0.917

3

0.250

0.492

-

0.356

1.000

4

0.422

0.387

0.356

-

0.773

5

0.897

0.917

1.000

0.773

-

Шаг 1. Т.к. , то объекты 1 и 2 объединяются в группу 6. Затем вычислим . Для вычисления воспользуемся гибкой стратегией:

.

Согласно (23.10) запишем: .

В результате вычислений получим:

.

Новая матрица будет иметь вид:

Таблица 2.

6

3

4

5

6

-

0.407

0.449

1.077

3

0.407

-

0.356

1.000

4

0.449

0.356

-

0.773

5

1.077

1.000

0.773

-

Шаг 2. , т.е. на втором шаге объединим группы 3 и 4, новую группу обозначим номером 7.

Шаг 3. Т.к. , то на третьем шаге объединяем группы 6 и 7, новую группу обозначим номером 8.

Шаг 4. На последнем шаге объединяем оставшиеся две группы на уровне . Новую группу обозначим номером 9

Результаты иерархической классификации наблюдений представлены на рис.1.

Рис.1. Дендрограмма наблюдений

Анализ временных рядов

Анализ временных рядов представляет собой самостоятельную, весьма обширную и одну из наиболее интенсивно развивающихся областей математической статистики.

Временным рядом (динамическим рядом) в технике и экономике называется последовательность наблюдений некоторого признака (случайной величины) X в последовательные равноотстоящие моменты времени. Отдельные наблюдения называются уровнями ряда, которые будем обозначать
, где n – число уровней.

Анализ временных рядов используется, в частности, для решения следующих задач:

  1.  для построения математической модели процесса, представленного временным рядом;
  2.  для исследования структуры временного ряда, например для выявления изменения среднего уровня значений (тренда) и обнаружения периодических колебаний;
  3.  для прогнозирования будущего развития процесса, представленного временным рядом.

Для решения этих и других задач анализа временных рядов исследователями предложено большое количество различных методов:

  1.  методы корреляционного анализа, позволяют выбрать наиболее существенные периодические зависимости и их лаги (задержки) в одном процессе (автокорреляция) или между несколькими процессами (кросскорреляция);
  2.  методы спектрального анализа позволяют находить периодические и квазипериодические зависимости в данных;
  3.  методы сглаживания и фильтрации предназначены для преобразования временных рядов с целью удаления из них высокочастотных или сезонных колебаний;
  4.  методы авторегрессии и скользящего среднего оказываются особенно полезными для описания и прогнозирования процессов, проявляющих однородные колебания вокруг среднего значения.

Таким образом, важнейшей классической задачей при исследовании временных рядов является выявление  и статистическая оценка основной тенденции развития изучаемого процесса и отклонений от нее.

Пример 2.  Рассмотрим простейший пример временного ряда. В табл. 3 приведены данные, отражающие цену и спрос (усл. ед.) на некоторый товар за восьмилетний период, т.е. два временных ряда – цена товара  и спроса  на него. Отметим, что при анализе временных рядов, на первом этапе исследования изучается графическое представление и описание поведения временного ряда (см. рис. 2).

Таблица 3.

Год, t

1

2

3

4

5

6

7

8

Цена, xt

492

462

350

317

340

351

368

381

Спрос, yt

213

171

291

309

317

362

351

361

Рис. 2. Динамика спроса за 8 лет

В общем виде при исследовании экономического временного ряда  выделяются несколько составляющих:

где  тренд, плавно меняющаяся компонента, описывающая чистое влияние долговременных факторов, т.е. длительную ("вековую") тенденцию изменения признака, (например, рост населения, изменение структуры потребления и т.п.);

сезонная компонента, отражающая повторяемость экономических процессов в течение не очень длительного периода (года, иногда месяца, недели и т.п. например, объем продаж товаров или перевозок пассажиров в различное время года);

 циклическая компонента, отражающая повторяемость экономических процессов в течение длительных периодов (например, влияние демографических "ям", циклов солнечной активности и т.п.);

 случайная компонента, отражающая влияние не поддающихся учету и регистрации случайных факторов.

Следует обратить внимание на то, что в отличие от  первые три составляющие (компоненты) , , являются закономерными, неслучайными.

Несмотря на кажущуюся схожесть последовательности наблюдений (вариационного ряда) и временного ряда , они имеют принципиальные отличия:

  1.  во-первых, в отличие от элементов выборки члены временного ряда, как правило, не являются статистически независимыми;
  2.  во-вторых, члены временного ряда не являются одинаково распределенными.

Стационарные временные ряды и автокорреляционная функция

Большое значение в анализе временных рядов имеют стационарные временные ряды, вероятностные свойства которых не изменяются во времени.

Временной ряд  называется строго стационарным (или стационарным в узком смысле), если совместное распределение вероятностей  наблюдений  такое же, как и  наблюдений  при любых  и . Другими словами, свойства строго стационарных рядов  не зависит от момента , т.е. закон распределения и его числовые характеристики не зависят от . Следовательно, математическое ожидание , среднее квадратическое отклонение  могут быть оценены по наблюдениям

Степень тесноты связи между последовательностями наблюдений временного ряда  и  (сдвинутых относительно друг друга на  единиц, или, как говорят, с лагом ) может быть определена с помощью коэффициента корреляции

Так как коэффициент  измеряет корреляцию между членами одного и того же ряда, его называют коэффициентом автокорреляции, а зависимость  автокорреляционной функцией. Для стационарного временного ряда автокорреляционная функция  зависит только от лага τ, причем , т.е. при изучении автокорреляционной функции можно ограничиться рассмотрением только положительных значений τ.

Статистической оценкой  является выборочный коэффициент автокорреляции , определяемый по формуле коэффициента корреляции (10.7), в которой  а n заменяется на n – τ:

.  (24.5)

Функцию  называют выборочной автокорреляционной функцией, а ее график – коррелограммой.

Для стационарного временного ряда с увеличением лага  взаимосвязь членов временного ряда  и  ослабевает и автокорреляционная функция  должна убывать (по абсолютной величине).

Пример 3.  По данным примера 2 для временного ряда вычислим среднее значение, среднее квадратическое отклонение и коэффициент автокорреляции (для лага .

РЕШЕНИЕ. По формуле (24.2) вычислим:

(усл. ед.).

Для вычисления дисперсии (среднего квадратического отклонения) вспомним свойство дисперсии: ,  (усл. ед.).

Коэффициент автокорреляции для , равен коэффициенту корреляции между последовательностями семи пар наблюдений  и :

213

171

291

309

317

362

351

171

291

309

317

362

351

361

Теперь по формуле (24.5) получим: . Аналогично вычислим , .

Знание автокорреляционной функции  может оказать существенную помощь при подборе модели анализируемого временного ряда и статистической оценке ее параметров.

Замечания.  При расчете  следует помнить, что с увеличением τ число n – τ пар наблюдений  уменьшается, поэтому лаг τ должен быть таким, чтобы число n – τ было достаточным для определения .

Для выборочного коэффициента автокорреляции , особенно при небольшом числе пар наблюдений n – τ, свойство монотонного убывания (по абсолютной величине) при возрастании τ может нарушаться (см. пример 2).


 

А также другие работы, которые могут Вас заинтересовать

22075. ЗАГАЛЬНА МЕТОДОЛОГІЯ НАУКОВОГО ДОСЛІДЖЕННЯ 239.5 KB
  ТЕМА: ЗАГАЛЬНА МЕТОДОЛОГІЯ НАУКОВОГО ДОСЛІДЖЕННЯ План 1. методика і техніка дослідження. Методологічні основи педагогічного дослідження. Педагогічні дослідження: методологічні поради молодим науковцям.
22076. МЕТОДОЛОГІЯ ТЕОРЕТИЧНОГО ДОСЛІДЖЕННЯИ 51.5 KB
  ТЕМА: МЕТОДОЛОГІЯ ТЕОРЕТИЧНОГО ДОСЛІДЖЕННЯИ План 1. Методи наукового дослідження. Особливості теоретичного дослідження 3. Характеристика методів теоретичного дослідження.
22077. МЕТОДОЛОГІЯ ЕМПІРИЧНОГО ДОСЛІДЖЕННЯ 254.5 KB
  ТЕМА: МЕТОДОЛОГІЯ ЕМПІРИЧНОГО ДОСЛІДЖЕННЯ План 1. Сутність і особливості емпіричного дослідження. Переваги експерименту перед іншими методами дослідження. Сутність і особливості емпіричного дослідження Наукове дослідження любої предметної області починається з емпіричного рівня.
22078. СОЦИАЛЬНО-ПЕДАГОГИЧЕСКАЯ ДЕЯТЕЛЬНОСТЬ С ДЕТЬМИ-ИНВАЛИДАМИ И ИХ СЕМЬЯМИ 61.5 KB
  Ребенок с нарушениями развития не вписывался в картину счастливой жизни и нередко исключался из активной общественной жизни а его отношения с обществом опосредовались через здоровых членов семьи или систему специальных закрытых учреждений и как следствие этого изоляция больного ребенка и искусственное замалчивание проблемы детской инвалидности. Права лиц детей инвалидов отражены в ряде документов ООН: Всеобщая декларация прав человека1948; Декларация о правах инвалидов1971; Декларация о правах умственно отсталых лиц1971;...
22079. КАТЕГОРИИ И ФУНКЦИИ СОЦИАЛЬНОЙ ПЕДАГОГИКИ 32 KB
  В связи с тем что соц. педагогика стала самостоятельной наукой относительно недавно отделившись от педагогики и объект изучения у них практически одинаков то разделение категорий относящихся к разным наукам поможет выявить специфику соц. Много категорий взято соц.
22080. ПРОФЕССИОНАЛЬНО-ЛИЧНОСТНЫЙ ПОРТРЕТ СОЦИАЛЬНОГО ПЕДАГОГА 56.5 KB
  Специализация соц. Квалификационная характеристика соц. Функции соц.
22081. МЕТОДЫ СОЦИАЛЬНОЙ ПЕДАГОГИКИ 34 KB
  Методы соц. пед можно классифицировать объединив их в три большие группы: методы исследования; методы воспитания; методы социальнопсихологической помощи. Методы научного исследования это способы получения научной информации. ПЕДАГОГИЧЕСКИЙ ЭКСПЕРИМЕНТ является комплексным методом исследования и позволяет глубже чем другие методы проверить правильность выдвинутой гипотезы.
22082. ПРОФИЛАКТИКА НАРКОМАНИИ У ПОДРОСТКОВ 51.5 KB
  За последние пять лет по России число школьников и студентов употребляющих наркотики возросло более чем в 8 раз. Проведенный областным наркологическим диспансером и РИРО опрос учащихся школ и профессиональных училищ свидетельствует о том что более 17 их них уже пробовали наркотики: каждый четвертый юноша и каждая восьмая девушка. Около 4 подростков употребляют наркотики систематически. Исследование выявило что первая пробы наркотиков произошла в довольно молодом возрасте: в среднем это 1517 лет однако есть много и таких которые...
22083. Педагогика творчества 94.5 KB
  Если рассмотреть процентное соотношение одаренных и неодаренных детей то мы получим график в виде колокола: 22 сверходаренные дети; 135 выше нормы; 682 детей имеют средний интеллект; 135 ниже нормы; 22 умственно отсталые. Творческих детей отличает живое воображение включение элементов игры в выполнение задач изобретательность богатая фантазия нестандартность мышления отличная память в сочетании с ранним языковым развитием способность к классификации Барьерами тормозящими раскрытие творческого потенциала личности...