27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

5 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

68012. Анализ «Что-если» 178.5 KB
  Подбор параметра является удобным средством для решения задач которые имеют точное целевое значение зависящее от одного неизвестного параметра. С помощью Подбор параметра можно определить значение которое будет давать желаемый результат. Есть значение x от которого зависит формула...
68013. Поиск решения 991 KB
  Прежде чем обращаться к инструменту Поиск решения нужно проанализировать задачу и построить математическую модель. Элементы диалогового окна Поиск решения После построения математической модели можно обратиться к средству Поиск решения. Для этого нужно воспользоваться...
68014. Виды магнитопроводов 456.5 KB
  Магнитопровод, или сердечник, однофазного стержневого трансформатора (рис. 12-2, а) имеет два стержня С, на которых размещаются обмотки, и два ярма Я, которые служат для создания замкнутого магнитопровода. Каждая из двух обмоток (/ и 2) состоит из двух частей, расположенных на двух стержнях...
68015. Политика и право при обеспечении информационно-психологической безопасности 68.17 KB
  В истории науки и практики обеспечения информационной безопасности различают несколько этапов. Традиционно эта область безопасности отождествлялась с защитой информации. С появлением и распространением компьютерных сетей в качестве самостоятельного объекта защиты стали рассматривать информационные системы.
68016. Первая медицинская помощь при кровотечениях 21.04 KB
  Кровотечения могут быть внешними когда кровь изливается наружу и внутренними когда целостность кожных покровов не нарушена и кровь изливается в органы или в межтканевые промежутки. При небольших поверхностных поражениях сосудов кровь обычно вытекает в рыхлую клетчатку возникает гематома синяк.
68020. Направления развития искусственного интеллекта 75.32 KB
  В настоящее время используются более сложные структуры естественно-языковых интерфейсов которые включают: морфологический анализ –анализ слов в тексте; синтаксический анализ –анализ предложений грамматики и связей между словами; семантический анализ –анализ смысла каждого предложения...