27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

5 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

846. Сортировочные станции Брянск-Льговской Московской железной дороги 128 KB
  Характеристика сортировочной станции Брянск-Льговской Московской железной дороги. Оперативное управление и планирование работы станции. Автоматизированная система организации управления перевозок. Сообщения об операциях с поездами, локомотивами и бригадами, получаемые в АСОУП.
847. Общая история 196.5 KB
  Достоверное воспроизведение исторического процесса. Противоречие между прогрессивными производительными силами и консервативным производственными отношениями. Широкое распространение отношений частной собственности. Разложение первобытно-общинного строя и возникновение государства.
848. Программирование математических задач с использованием классов и методов языка C# 960.5 KB
  Реализовать перевод чисел между десятичной, двоичной и восьмеричной системами счисления. Результаты машинного тестирования программы. Описание вычислительных методов. Ручной подсчёт отладочного варианта.
849. Билеты по обществознанию 9 класс 404.5 KB
  Государство, его основные признаки. Формы правления. Исходная форма активности индивида. Особенности межличностных отношений. Социальные группы и общности. Участие граждан в политической жизни. Всеобщая декларация прав человека.
850. Електричні машини. Збірник домашніх завдань для студентів денної форми навчання 664 KB
  Структура и правила оформления отчета по самостоятельной работе. Классификация силовых трансформаторов напряжения. Напряженность магнитного поля и удельные потери в стали. К построению характеристик лабораторного короткого замыкания. Общие вопросы теории машин переменного тока.
851. Налогообложение предпринимательской деятельности и пути его совершенствования 451.5 KB
  Теоретические основы налогообложения предпринимательства. Экономическая сущность и основы функционирования налоговой системы. Оценка современного состояния налогообложения предпринимательских структур на примере ИП Харитонова. Перспективы совершенствования налогообложения предпринимательской деятельности.
852. Воля як складова стресостійкості працівників МНС 153.5 KB
  Теоретичний аналіз проблеми вольової активності в сучасній психології. Особливості вольових якостей працівників МНС з різним рівнем стресостійкості. Основні умови формування та загартування волі. Особливості стресостійкості працівників МНС.
853. Мотивы фольклора и литературной фантастики в творчестве Йордана Радичкова на примере пьесы 161 KB
  Жизненный путь, взгляды и наблюдения Йордана Радичкова. Особенности драматических произведений Й. Радичкова и история создания пьесы Попытка полета. Исследование пьесы с точки зрения театра.
854. Анализ инженерного оборудования территории сельского поселения Невское 164 KB
  Характеристика сельского поселения Невское, анализ существующей дорожной сети, расчет рациональности улучшения автомобильных дорог в данном объекте, проектирование линии электропередачи, трубопроводов, расчет охранных зон для них, рекультивация нарушенных земель, проектирование защитного лесоразведения.