27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

6 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

44203. Стальной каркас промышленного здания 1.19 MB
  При определении горизонтальных размеров учитываются унифицированные привязки колонн ак к разбивочным осям, требования прочности и жесткости, предъявляемые к колоннам, а так же эксплуатационные требования.
44204. Разработка среды поддержки сценариев для генерации графических текстов 1.2 MB
  В нашем проекте мы будет работать с информационно-справочным классом, так как это один из самых распространенных и широко используемых классов информационных систем. Примером информационной системы этого класса будет мануал. Руководство пользователя (англ. user guide или user manual), руководство по эксплуатации - документ
44205. Автоматизация подготовки расписания учебных занятий в общеобразовательной школе 1.26 MB
  Расчет единовременных затрат на разработку программного продукта Срок разработки программного продукта Расписание составляет 1 месяц таблица 1. Программа Расписание поможет школе: соблюдать все основные требования для обучающихся и учителей; оптимально использовать кабинеты; снизить нагрузку работы администрации; устранить возможные ошибки и субъективные факторы при составлении расписаний в школе. Руководство пользователя Программный продукт Расписание позволяет автоматизировать работу по составлению учебных занятий в...
44206. Понятие социального обеспечения и права социального обеспечения 49 KB
  Социальным обеспечением в узком смысле называется только обеспечение престарелых и нетрудоспособных граждан, осуществляемое управомоченными государственными органами за счет прямых ассигнований из государственного бюджета
44207. Основные возможности Microsoft Office Outlook 1.69 MB
  Outlook представляет собой программу управления данными. Outlook может использоваться для документооборота формирования задач и заданий группы управления электронной почтой планирования дел и собраний ведения списка контактных лиц и дневника выполняемых действий. Некоторые возможности Outlook можно использовать с другими приложениями Office.
44208. Разработка мероприятий по развитию ООО «Клиника профилактики» 1.2 MB
  Инвестирование средств в прогрессивное оборудование новых специалистов и внедрение новых видов услуг. Планирование выручки от реализации услуг и затрат. Составление карты привлекательности услуг и разработка рекламной компании. Не следует путать экономику здоровья с экономикой здравоохранения которая ориентирована на производство лекарств и оказание медицинских услуг.
44209. Розробка програмного забезпечення: підбір зачіски та кольору волосся 2.87 MB
  ПРОГРАМАПОМІЧНИК ПІДБІР ЗАЧІСКИ КОЛЬОРУ СУБД БАЗА ДАНИХ. Також була створена база даних в середовищі MуSQL 5. Список скорочень БД база даних; СУКБД система управліннякерування базами даних; ПК персональний компютер; ПЗ програмне забезпечення; ПО предметна область.1 Огляд сучасних СУБД Бази даних це сукупність даних між якими існують зв'язки.
44211. Аудит и разработка системы управления качеством организации обособленного подразделения «Атомремонтсервис» 1.38 MB
  Политика организации в области качества Распределение ответственности за элементы системы управления качеством Документированная методика индивидуальное задание Постоянное улучшение системы управления качеством Экономическая часть Безопасность жизнедеятельности и гражданская оборона...