27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

1 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

85186. Новая экономическая политика, ее сущность и значение для развития хозяйства БССР 26.41 KB
  Ответом на эти вопросы стала новая экономическая политика НЭП. НЭП это система экономических социальных политических и культурных мер направленных на внедрение рыночных отношений в народном хозяйстве. В первые годы НЭПа практиковалось натуральная и денежная оплата труда. В сфере с х нэп проявилась в следующем: 1 Вместо продразвёрстки был введен продналог который был в два раза меньше.
85187. БССР в годы первых пятилеток. Форсированная индустриализация и принудительная коллективизация 26.78 KB
  Дальнейшее развитие металло-обрабатывающей химической торфяной и др. отраслей развитие энергетики и увеличение мощностей электростанций. Предусматривалось развитие лёгкой и продовольственной промышл.
85188. Духовная и культурная жизнь БССР в 1920-1930гг.: достижения и противоречия 25.66 KB
  Культуры вылученне белорусов на партыйую советскую профсоюзную и общественную работу перевод делопроизводства государственного партийного профессионального и кооперативного аппаратов на белорусский язык. Центральная место в мероприятиях в белорусизации отводилось проблеме языка так как в республике язык выполняла очень мизерны объем соц. Преобладала русский язык. При этом официально было заявлено что на территории БССР признаются равноправными языки белорусский русский еврейский и польский.
85189. Западная Беларусь в составе Польши 27.1 KB
  Было введено принятое в Польше административно-тер деление, созданы 4 воеводства: Виленское, Полесское, Новогрудское, Белостокское. Эти воеводства делились на 29 поветов аповеты на гимны.
85190. Начало второй мировой войны. Вхождение Западной Беларуси с состав БССР 26.28 KB
  Вхождение Западной Беларуси с состав БССР. Беларуси принял декларацию об установлении советской власти на всей освобожденной территории i высказался за вхождение в состав БССР. Приняты законы о включении Западной Беларуси в состав СССР i воссоединение с БССР. Единогласно делегаты высказались и за вхождение в БССР.
85191. Начало Великой Отечественной войны. Ход военных действий на советско-германском фронте в 1941-1942 годах 27.92 KB
  Для войны против СССР Гитлер сосредоточил подавляющую часть своих сухопутных сил. Однако основной причиной такого огромного успеха немцев в первые недели войны является то что Красная армия сама готовилась к наступлению. Сталин прекрасно понимал что войны с Германией не избежать но он не думал что Гитлер нарушит пакт МолотоваРибентропа о ненападении.
85192. Фашистский оккупационный режим на территории БССР 26.93 KB
  К концу августа 1941 г гитлеровцы оккупировали всю территорию Бел. На захваченной территории гитлеровцы установили оккупационный режим- систему политических, идеологических, экономических, и военных мер направленных на ликвидацию существующего общественного и гос. строя, грабёж нац. богатства, уничтожение населения
85193. Коренной перелом в ходе Великой Отечественной войны 29.96 KB
  Коренной перелом начатый под Сталинградом был завершен в ходе Курской битвы и сражениях за р. в ходе Киевской наступательной операции 6 ноября столица Украины была освобождена. В ходе оборонительных боев к концу декабря 1943 г.
85194. Партизанское и подпольное движение в БССР 28.28 KB
  Один из первых партизанских отрядов был организован уже на пятый день войны в Пинске под командованием Коржа насчитывал 60 чел. Полесской области действовал отряд под командованием Бумажкова и Павловского. В июле 41 начал боевые действия отряд пол командованием Шмырёва в Вит.