10987

Кластерный анализ. Анализ временных рядов

Лекция

Математика и математический анализ

КЛАСТЕРНЫЙ АНАЛИЗ ПРОДОЛЖЕНИЕ Монотонность Для графического представления процесса объединения все индивиды группы размещаются в соответствующем порядке на оси абсцисс. Последовательность объединений иерархия или дендрограмма требует чтобы каждое объединени

Русский

2013-04-03

79.16 KB

19 чел.

КЛАСТЕРНЫЙ АНАЛИЗ (ПРОДОЛЖЕНИЕ)

Монотонность

Для графического представления процесса объединения все индивиды (группы) размещаются в соответствующем порядке на оси абсцисс. Последовательность объединений (иерархия или дендрограмма) требует, чтобы каждое объединение было связано с некоторым значением ординаты (обычно для этого используют меру различия).

 множество стратегий объединения:

  1.  стратегия "ближнего соседа"   

Это монотонная стратегия, сильно сжимающая пространство.

  1.  стратегия " дальнего соседа" (монотонная сильно растягивающая стратегия)  
  2.  гибкая стратегия (применима для любой меры различия и определяется четырьмя ограничениями):

Стратегия монотонная, если , то стратегия сохраняет метрику. Если  то стратегия сжимает пространство, а если , то растягивает. На практике обычно используют

Замечание.  Разделяющие (дивизионные) стратегии здесь не рассматриваются.

Пример 1: Имеются 5 объектов, для которых заданы меры различия , образующие матрицу :

Таблица 1.

1

2

3

4

5

1

-

0.227

0.250

0.422

0.897

2

0.227

-

0.492

0.387

0.917

3

0.250

0.492

-

0.356

1.000

4

0.422

0.387

0.356

-

0.773

5

0.897

0.917

1.000

0.773

-

Шаг 1. Т.к. , то объекты 1 и 2 объединяются в группу 6. Затем вычислим . Для вычисления воспользуемся гибкой стратегией:

.

Согласно (23.10) запишем: .

В результате вычислений получим:

.

Новая матрица будет иметь вид:

Таблица 2.

6

3

4

5

6

-

0.407

0.449

1.077

3

0.407

-

0.356

1.000

4

0.449

0.356

-

0.773

5

1.077

1.000

0.773

-

Шаг 2. , т.е. на втором шаге объединим группы 3 и 4, новую группу обозначим номером 7.

Шаг 3. Т.к. , то на третьем шаге объединяем группы 6 и 7, новую группу обозначим номером 8.

Шаг 4. На последнем шаге объединяем оставшиеся две группы на уровне . Новую группу обозначим номером 9

Результаты иерархической классификации наблюдений представлены на рис.1.

Рис.1. Дендрограмма наблюдений

Анализ временных рядов

Анализ временных рядов представляет собой самостоятельную, весьма обширную и одну из наиболее интенсивно развивающихся областей математической статистики.

Временным рядом (динамическим рядом) в технике и экономике называется последовательность наблюдений некоторого признака (случайной величины) X в последовательные равноотстоящие моменты времени. Отдельные наблюдения называются уровнями ряда, которые будем обозначать
, где n – число уровней.

Анализ временных рядов используется, в частности, для решения следующих задач:

  1.  для построения математической модели процесса, представленного временным рядом;
  2.  для исследования структуры временного ряда, например для выявления изменения среднего уровня значений (тренда) и обнаружения периодических колебаний;
  3.  для прогнозирования будущего развития процесса, представленного временным рядом.

Для решения этих и других задач анализа временных рядов исследователями предложено большое количество различных методов:

  1.  методы корреляционного анализа, позволяют выбрать наиболее существенные периодические зависимости и их лаги (задержки) в одном процессе (автокорреляция) или между несколькими процессами (кросскорреляция);
  2.  методы спектрального анализа позволяют находить периодические и квазипериодические зависимости в данных;
  3.  методы сглаживания и фильтрации предназначены для преобразования временных рядов с целью удаления из них высокочастотных или сезонных колебаний;
  4.  методы авторегрессии и скользящего среднего оказываются особенно полезными для описания и прогнозирования процессов, проявляющих однородные колебания вокруг среднего значения.

Таким образом, важнейшей классической задачей при исследовании временных рядов является выявление  и статистическая оценка основной тенденции развития изучаемого процесса и отклонений от нее.

Пример 2.  Рассмотрим простейший пример временного ряда. В табл. 3 приведены данные, отражающие цену и спрос (усл. ед.) на некоторый товар за восьмилетний период, т.е. два временных ряда – цена товара  и спроса  на него. Отметим, что при анализе временных рядов, на первом этапе исследования изучается графическое представление и описание поведения временного ряда (см. рис. 2).

Таблица 3.

Год, t

1

2

3

4

5

6

7

8

Цена, xt

492

462

350

317

340

351

368

381

Спрос, yt

213

171

291

309

317

362

351

361

Рис. 2. Динамика спроса за 8 лет

В общем виде при исследовании экономического временного ряда  выделяются несколько составляющих:

где  тренд, плавно меняющаяся компонента, описывающая чистое влияние долговременных факторов, т.е. длительную ("вековую") тенденцию изменения признака, (например, рост населения, изменение структуры потребления и т.п.);

сезонная компонента, отражающая повторяемость экономических процессов в течение не очень длительного периода (года, иногда месяца, недели и т.п. например, объем продаж товаров или перевозок пассажиров в различное время года);

 циклическая компонента, отражающая повторяемость экономических процессов в течение длительных периодов (например, влияние демографических "ям", циклов солнечной активности и т.п.);

 случайная компонента, отражающая влияние не поддающихся учету и регистрации случайных факторов.

Следует обратить внимание на то, что в отличие от  первые три составляющие (компоненты) , , являются закономерными, неслучайными.

Несмотря на кажущуюся схожесть последовательности наблюдений (вариационного ряда) и временного ряда , они имеют принципиальные отличия:

  1.  во-первых, в отличие от элементов выборки члены временного ряда, как правило, не являются статистически независимыми;
  2.  во-вторых, члены временного ряда не являются одинаково распределенными.

Стационарные временные ряды и автокорреляционная функция

Большое значение в анализе временных рядов имеют стационарные временные ряды, вероятностные свойства которых не изменяются во времени.

Временной ряд  называется строго стационарным (или стационарным в узком смысле), если совместное распределение вероятностей  наблюдений  такое же, как и  наблюдений  при любых  и . Другими словами, свойства строго стационарных рядов  не зависит от момента , т.е. закон распределения и его числовые характеристики не зависят от . Следовательно, математическое ожидание , среднее квадратическое отклонение  могут быть оценены по наблюдениям

Степень тесноты связи между последовательностями наблюдений временного ряда  и  (сдвинутых относительно друг друга на  единиц, или, как говорят, с лагом ) может быть определена с помощью коэффициента корреляции

Так как коэффициент  измеряет корреляцию между членами одного и того же ряда, его называют коэффициентом автокорреляции, а зависимость  автокорреляционной функцией. Для стационарного временного ряда автокорреляционная функция  зависит только от лага τ, причем , т.е. при изучении автокорреляционной функции можно ограничиться рассмотрением только положительных значений τ.

Статистической оценкой  является выборочный коэффициент автокорреляции , определяемый по формуле коэффициента корреляции (10.7), в которой  а n заменяется на n – τ:

.  (24.5)

Функцию  называют выборочной автокорреляционной функцией, а ее график – коррелограммой.

Для стационарного временного ряда с увеличением лага  взаимосвязь членов временного ряда  и  ослабевает и автокорреляционная функция  должна убывать (по абсолютной величине).

Пример 3.  По данным примера 2 для временного ряда вычислим среднее значение, среднее квадратическое отклонение и коэффициент автокорреляции (для лага .

РЕШЕНИЕ. По формуле (24.2) вычислим:

(усл. ед.).

Для вычисления дисперсии (среднего квадратического отклонения) вспомним свойство дисперсии: ,  (усл. ед.).

Коэффициент автокорреляции для , равен коэффициенту корреляции между последовательностями семи пар наблюдений  и :

213

171

291

309

317

362

351

171

291

309

317

362

351

361

Теперь по формуле (24.5) получим: . Аналогично вычислим , .

Знание автокорреляционной функции  может оказать существенную помощь при подборе модели анализируемого временного ряда и статистической оценке ее параметров.

Замечания.  При расчете  следует помнить, что с увеличением τ число n – τ пар наблюдений  уменьшается, поэтому лаг τ должен быть таким, чтобы число n – τ было достаточным для определения .

Для выборочного коэффициента автокорреляции , особенно при небольшом числе пар наблюдений n – τ, свойство монотонного убывания (по абсолютной величине) при возрастании τ может нарушаться (см. пример 2).


 

А также другие работы, которые могут Вас заинтересовать

28344. Право собственности хозяйственных товариществ и обществ 14.59 KB
  товариществами и обществами признаются коммерческие организации с разделенными на доли учредителей уставным капиталом. товарищами или обществами в процессе его деятельности принадлежит ему на праве собственности. общества могут создаваться в форме акционерного общества общества с ограниченной или дополнительной ответственности. Участники ООО не отвечают по его обязательствам и несут риск убытков общества лишь в пределах стоимости внесенных ими вкладов.
28345. Понятие, субъекты, объекты и содержание права собственности кооперативов 14.75 KB
  Субъектом права собственности кооператива является каждая кооперативная организация признаваемая юр. лицом независимо от вида кооператива. К производственным кооперативам относятся кооперативы в сферах производства и оказания услуг и сельскохозяйственные кооперативы. Примером потребительского кооператива является и потребительское общество осуществляющее в интересах пайщиков заготовительную торговую и др.
28346. Субъекты, объекты и содержание права гос. собственности 13.58 KB
  собственности. собственности и муницип. собственности является ее публичный характер. государственной собственности являются: РФ ее субъекты.
28347. Право муниципальной собственности: понятие, содержание, субъекты и объекты 13.86 KB
  Право муниципальной собственности: понятие содержание субъекты и объекты. Муниципальная собственность – имущество принадлежащее на праве собственности муниципальным образованиям: городским сельским поселениям. Муницип. Муницип.
28348. Право собственности государственных и муниципальных унитарных предприятий 13.68 KB
  Муниципальные и унитарные предприятия относятся к государственным предприятиям в которых контрольный пакет акций принадлежит государству и находятся на его балансе. Унитарные предприятия передаются государством в полное хозяйственное владение трудовому коллективу. При этом государство не несет никакой ответственности за деятельность созданного им предприятия. Унитарные и МП относятся к государственным бюджетным предприятиям.
28349. Право собственности общественных и религиозных организаций 14.77 KB
  Право собственности общественных и религиозных организаций. Круг субъектов права собственности общественных организаций достаточно широк: это общественные организации общественные движения общественные фонды общественные учреждения органы общественной самодеятельности. Субъектами же права собственности могут выступать лишь общественные объединения обладающие правами юридического лица. Основаниями приобретения права собственности общественных объединений являются: вступительные и членские взносы добровольные взносы и пожертвования...
28350. Наименование места происхождения товара и его гражданско-правовая охрана 14.46 KB
  Наименование места происхождения товара и его гражданскоправовая охрана. Наименование места происхождения товара – обозначение представляющее собой либо содержащее современное или историческое наименование страны населенного пункта местности другого географического объекта или производное от такого наименования и ставшее известным в результате его использования в отношении товара особые свойства которого исключительно или главным образом определяются характерными для данного географического объекта природными условиями и или людскими...
28351. Личные неимущественные права: понятие и виды 14.19 KB
  Личные неимущественные права: понятие и виды. Личные неимущественные права в гражданскоправовом смысле представляют собой урегулированные нормами права связи между определенными субъектами по поводу личных неимущественных благ это субъективные права граждан возникающие вследствие регулирования нормами гражданского права личных неимущественных отношений не связанных с имущественными. При характеристике личных неимущественных прав как субъективных гражданских прав необходимо отметить что эти права являются правами строго личного характера....
28352. Право на защиту чести, достоинства и деловой репутации 14.91 KB
  Гражданин вправе требовать по суду опровержения порочащих его честь достоинство и деловую репутацию сведений если распространивший такие сведения не докажет что они соответствуют действительности Порочащими являются такие не соответствующие действительности сведения содержащие утверждения о нарушении гражданином действующего законодательства или моральных принципов которые умаляют его честь и достоинство. Под распространением сведений порочащих честь и достоинство граждан следует понимать опубликование таких сведений в печати...