27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

6 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

20729. Лобачевский и его геометрия. Аксиома Лобачевского. Простейшие факты геометрии Лобачевского. Взаимное расположение прямых на плоскости Лобачевского 34 KB
  Аксиома Лобачевского. Простейшие факты геометрии Лобачевского. Взаимное расположение прямых на плоскости Лобачевского. Эта аксиома называется аксиомой Лобачевского.
20730. Проективные свойства фигур. Принцип двойственности. Теорема Дезарга 56 KB
  Принцип двойственности. Малый принцип двойственности. Сформулированный принцип двойственности справедлив на плоскости. Большой принцип двойственности.
20731. Взаимное расположение двух и трех плоскостей, прямой и плоскости, двух прямых в пространстве (в аналитическом изложении) 124.5 KB
  3 1 Параметрическое уравнение прямой: 2 Систему можно заменить следующей системой: = Система двух однородных уравнений с тремя неизвестными имеет общее решение которое можно записать в виде: l координаты направляющей прямой . Взаимное положение плоскости и двух прямых: 1 Ø 2 3 1R=3 ранг скрещивающиеся 2 R=2r=2 прямые пересекаются.
20732. Группа аффинных преобразований и ее подгруппы. Приложения аффинных преобразований к решению задач 105 KB
  Зададим на плоскости два аффинных репера аф.репером R на плоскости наз. Упорядоченная тройка точек ОA1A2 этой плоскости не лежащих на одной прямой. Пишут:R={ОA1A2} R={O1 2 } R={O 1 2} и рассмотрим отображение f плоскости в себя по закону: координаты точки M=fM в репере R равны соответствующим координатам х у точки М в репере R.
20733. Группа преобразований подобия и ее подгруппы. Приложение преобразований к решению задач 95.5 KB
  Группа преобразований подобия и ее подгруппы. Гомотетия с коэффициентом также является частным случаем подобия . Как и для движения можно доказать теорему которая делает определение подобия конструктивным: Как и для движений можно показать что и Из этих формул следует что всякое подобие можно представить в виде произведения гомотетии и движения . Теорема: множество преобразований подобия на плоскости образуют группу.
20734. Проективная плоскость и ее модели. Группа проективных преобразований. Приложение к решению задач 29 KB
  Дополним прямую точкой бесконечно удаленной которую будем считать точкой соответствующей прямой х параллельной прямой а. Прямая дополненная бесконечно удаленной точкой называется проективной прямой. Плоскость дополненная бесконечно удаленной прямой называется проективной плоскостью. Пространство дополненное бесконечно удаленной плоскостью называется проективным пространством.
20735. Группа движений. Классификация 115.5 KB
  Классификация Движение такое преобразование плоскости которое сохраняет расстояние между любыми двумя точками. Это определение отличается от определений поворота симметрии и переноса тем что не является конструктивным нельзя определить как выполнять движение. Теорема: каковы бы ни были два прямоугольных декартовых репера и существует движение переводящее так что ориентация сохраняется. Если оба репера ориентированы одинаково то движение не изменяет ориентацию фигур иначе меняет на противоположную.
20736. Трехмерное евклидово пространство. Скалярное, векторное и смешанное произведение векторов. Приложение к решению задач 55.5 KB
  Скалярное векторное и смешанное произведение векторов. Основные отношения сумма векторов скалярное произведение умножение вектора на число. Аксиомы: аксиомы линейных векторов аксиома размерности аксиомы скалярного произведения. Линейное векторное пространство называется евклидовым если каждым двум векторам a и b этого пространства поставлено в соответствие число α называемое скалярным произведением этих векторов.