27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

2 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

43004. Создание проектной базы для внедрения в отечественную строительную практику комплектной системы KNAUF, обеспечивающей "сухой" (без использования мокрых процессов) способ высококачественной отделки помещений 2.22 MB
  Сборные гипсокартонные перегородки системы KNUF применяются как внутренние ограждающие конструкции помещений с сухим нормальным и влажным режимом см. Перегородки и узлы разработанные в настоящей серии предназначены для применения в жилых общественных и производственных зданиях: любых конструктивных систем и типов; любого уровня ответственности включая повышенный; любой степени огнестойкости включая Iую степень; различной этажности с высотой зданий не более 60 м; возводимых в ветровых районах до Vго включительно;...
43005. Проектування промислового будинку, район будівництва, м.Кременчук 183.5 KB
  Опис планувальнопросторового рішення будинку. Вихідні дані Для проектування промислового будинку в завданні зазначається: район будівництва м. Перший етап: вивчення завдання методичних вказівок літератури розробка варіантів їх обємнопланувальних рішень розрахунок адміністративнопобутових приміщень вибір конструкцій виробничого цеху розробка ескізних рішень промислового будинку які затверджуються викладачем. Маркувальний план виробничого будинку.
43006. Технологическая карта на многоэтажное каркасное здание 435 KB
  Для правильного и эффективного решения всех вопросов, касающихся технологии производства монолитных и монтажных работ, выполнен оптимальный выбор методов и способов производства работ: метод производства монолитных работ - раздельный, направление развития процесса - по горизонтали вдоль здания. Здание условно поделено на две захватки, гранича которых проходит через ось 7. Монтаж стеновых панелей производится параллельно с возведение каркаса здания, с отставанием на одну захватку.
43007. Разработка направления и совершенствования логистической деятельности и процесса транспортировки в фокусном звене цепи поставок 1.02 MB
  Возникает необходимость регулирования всей системы движения товаров при этом эффективность цепи поставок определяется уровнем организационного оформления хозяйственных связей всех участников товародвижения. Изучается транспортировка в цепи поставок с целью ознакомления с логистическими особенностями отдельных видов транспорта зависимостью логистических издержек в цепи поставок от параметров транспортировки способами обоснования оптимальных схем доставки грузов методами рациональной организации перевозок основными путями повышения уровня...
43008. Организация и обслуживание банкета по поводу международного женского дня 8 марта на 50 человек 772.5 KB
  В настоящее время ресторанное хозяйство развивается по различным направлениям. Появляется большое количество ресторанов с национальной кухней, появляются новые виды предприятий ресторанного хозяйства (пабы, суши-бары), в наши дни предприятия ресторанного хозяйства оснащаются автоматизированными системами ведения счетов, появляются новые профессии (сомелье, хостесс) и, в конце концов, современное предприятие ресторанного хозяйства становится местом красивого, приятного времяпрепровождения.
43010. Расчет УНЧ на БПТ 221 KB
  Принципиальная схема каскада. Составив блоксхему усилителя выбирают принципиальные схемы входного и выходного устройств реостатноемкостные трансформаторные каскада мощного усилителя одноактный двухтактный трансформаторный бестрансформаторный каскадов предварительного усиления с прямой связью реостатный трансформаторный инверсный и т. После чего составляют принципиальную ориентировочную схему усилителя и распределяют заданные частотные искажения по цепям и каскадам вносящим эти искажения. Расчет усилителя производят начиная...
43011. Расчет контрольно-измерительного приспособления КП 4ОУ-1297 69 KB
  Данное контрольно-измерительное приспособление предназначено для контроля среднего диаметра винта рулевого управления. На этой операции необходимо строго выдерживать диаметральный размер при нарезании винтовой резьбы для последующего его шлифования.
43012. Математическая модель процесса флотации 803.5 KB
  Характеристика метода флотации Из всех известных методов обогащения в производстве хлорида калия KCl из сильвинитовых руд наиболее широкое распространение получил метод флотации. Однако такое определение исходит только из внешней стороны процесса и не отражает сущности явлений происходящих при флотации. Различают три основных вида флотации – пленочную масляную и пенную.