27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

2 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

6091. Прессовые соединения 37 KB
  Прессовые соединения Прессовым называется соединение составных частей изделий с гарантированным натягом вследствие того, что размер охватываемой детали больше соответствующего размера охватывающей детали. Прессовые соединения передают рабочие нагруз...
6092. Механические муфты. Назначение и классификация муфт 33 KB
  Механические муфты. Назначение и классификация муфт Приводными муфтами (обычно просто муфтами) называются устройства, служащие для кинематической и силовой связи валов в приводах машин и механизмов. Муфты передают с одного вала на другой вращающий м...
6093. Состав горючих газов 32.23 KB
  Состав горючих газов. В состав газообразного топлива входят горючие и негорючие газы. Физико-химические и теплотехнические характеристики газового топлива обусловлены различием в составе горючих компонентов и наличием в газе негорючих газообразных к...
6094. Детали машин как научная дисциплина 30 KB
  Детали машин - научная дисциплина, включающая теорию, расчет и конструирование деталей общего назначения. Как отдельные детали и узлы любой машины, так и машина в целом должны удовлетворять следующим требованиям: работоспособности Работоспособным...
6095. SDI інтерфейс на основі модальних форм 33.71 KB
  SDI інтерфейс на основі модальних форм Хід роботи Створив новий проект, та підключив до нього форму Form2. Розмістив на формах необхідні компоненти. Викликаю другу форму як модальну за допомогою події OnClick від Button1, та в цій події вказав ф...
6096. Використання логічних операторів при пошуку 31.5 KB
  Використання логічних операторів при пошуку Для розширення можливостей пошуку за текстом використовуються логічні оператори. Необхідно враховувати, що всі слова-оператори повинні вводитись лише великими літерами OR Оператор OR використовується, якщо...
6097. Компоненты ЭИС. Предметная область. Детализация представлений ЭИС. Жизненный цикл ЭИС. 33.02 KB
  Компоненты ЭИС. Предметная область. Детализация представлений ЭИС. Жизненный цикл ЭИС. Компоненты ЭИС Все, что происходит в процессе функционирования материальных систем окружающего нас мира, может быть описано в форме сообщений. Сообщен...
6098. Молекулярная генетика. Характеристика ДНК 18.71 KB
  Молекулярная генетика. Модель ДНК в форме регулярной двойной спирали была предложена Дж. Уотсоном и Ф. Криком в 1953 г. Характеристика бета - спирали ДНК Правовращающая Двойная Антипараллельная Диаметр 1,8-22 нм, Шаг (виток) - 3,4 нм В шаге (витк...
6099. Організація ділових прийомів 25.19 KB
  Організація ділових прийомів План Організація і проведення прийомів. Види прийомів. Ділові питання вирішуються не тільки за столом переговорів, але і під час прийомів, які є найпоширенішою формою ділового протоколу. Прийоми - зібран...