27143

Принципы построения систем, ориентированных на анализ данных

Доклад

Информатика, кибернетика и программирование

Принципы построения систем ориентированных на анализ данных В базах предназначенных для оперативной обработки запросов данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных в которых накапливается информация из различных источников за большой период времени. Другое отличие аналитических систем иной способ хранения данных. Это объясняется следующими причинами: используются большие информационные массивы; данные практически не обновляются а лишь...

Русский

2013-08-19

115.29 KB

5 чел.

7. Принципы построения систем, ориентированных на анализ данных

В базах, предназначенных для оперативной обработки запросов, данные хранятся в нормализованных отношениях. Для обслуживания аналитических систем создаются специальные многомерные хранилища данных, в которых накапливается информация из различных источников за большой период времени(.

В связи с этим в них используются специализированные языки, ориентированные на аналитическую обработку, либо создаются специальные приложения для решения конкретных аналитических задач.

Другое отличие аналитических систем - иной способ хранения данных. Это объясняется следующими причинами:

  1.  используются большие информационные массивы;
  2.  данные практически не обновляются, а лишь добавляются (процессы накопления и считывания);
  3.  большинство задач требует хронологической упорядоченности данных;
  4.  как правило, при решении задач используются обобщенные данные.

Чтобы подчеркнуть эти отличия, базы данных для аналитических задач называются Хранилищами Данных (ХД). Данные поступают в хранилища из самых разных источников: считываются из электронных архивов, вычисляются системами операционной обработки, присылаются поставщиками информации. Пример представления данных в виде 3-мерного куба приведен на рис. 6.1.1.  

Рис. 6.1.1.  Пример 3-мерного куба

Как следствие, данные имеют различную структуру и форматы представления. Система управления ХД приводит данные к единому формату, устраняет дублирование и некорректные значения, после чего загружает в хранилище. Пользователи (аналитики) получают доступ к хранилищу через клиентские приложения.

Основные задачи, которые требуется решать при создании ХД:

  1.  выбор оптимальной структуры хранения с точки зрения требуемого объема памяти и приемлемого времени отклика на аналитические запросы;
  2.  способ первоначального заполнения и последующих пополнений хранилища;
  3.  обеспечение удобства доступа к данным.

Сравнительные характеристики использования данных в системах операционной и аналитической обработки приведены в таблице 6.1.1.

Таблица 6.1.1.

Свойства данных

Система

Операционной обработки

Аналитической обработки

Назначение

Оперативный поиск, несложные виды обработки

Аналитическая обработка, прогнозирование, моделирование

Уровень агрегации

Детализированные данные

Агрегированные данные

Время хранения

От нескольких месяцев до одного года

От нескольких десятков лет и более

Частота обновления

Высокая. Обновление малыми порциями

Низкая. Обновление большими порциями, до нескольких миллионов записей за 1 раз

Критерий эффективности

Количество транзакций в единицу времени

Скорость выполнения сложных запросов и прозрачность структуры хранения для пользователей


 

А также другие работы, которые могут Вас заинтересовать

82260. Понимание в гуманитарных науках, необходимость обращения к герминевтике как « органону наук о духе»(В.Дильтей, Г.Гадамер) 39.83 KB
  Дильтей 1833-1911 который предпринял попытку расширить герменевтику до ее понимания как общенаучной философской дисциплины. Понимание внутреннего мира осуществляется при помощи интроспекции а для понимания культуры прошлого необходима герменевтика. Два вида понимания рассуждал Дильтей отражают собой два имеющихся комплекса наук: наук о духе и наук о природе. Концепцию логических форм интерпретации Дильтей предваряет исследованием проявлений жизни и форм понимания.
82261. Объяснение и понимание в социологии, исторической, экономической и юридической науках, психологии, филологии, культурологи 33.73 KB
  Степина в качестве ведущих элементов структуры теории рассматриваются теоретические схемы представленные относительно независимо в языке содержательного описания либо в форме математических зависимостей на языке формул. Так основание физической теории составляют математический формализм первый слой фундаментальная теоретическая схема второй слой они всегда взаимообусловлены. Развитая теория строится на основе синтеза частных теоретических схем которые предстают как выводимые или конструируемые из фундаментальной теоретической схемы...
82262. Герменевтика – наука о понимании и интерпритации текста. Текст как особая реальность и «еденица» анализа социально – гуманитарного знания 37.79 KB
  Изначальная многозначность любого текста а она характерна даже для научных текстов что обыгрывается в современном постмодернизме становится в философии предметом особого направления которое обозначается как герменевтика. Внешне общая парадигма герменевтических устремлений реализуется в антисциентистском направлении но не в плане простого отказа от использования научной методологии при исследовании текста а в плане утверждения идеи о необходимости обязательного дополнения такого исследования субъективистскими компонентами. Сами тексты...
82263. Язык социально-гуманитарных наук. Языковая картина мира и «языковые игры» 34.44 KB
  проблемы природы языка принципов и законов его функционирования начинают изучаться лингвистами логиками психологами и философами. Таким образом для языкознания важными вопросами становятся вопросы семантики а также проблемы взаимосвязи языка и мышления языка и предметного мира. Так швейцарский лингвист Фердинанд де Соссюр 18571913 указывает на то что предметом изучения лингвистики становится имманентная реальность языка. Также проблемы языка в первую очередь выдвигаются в логике.
82264. Интерпритация как придание смысла, значения высказываниям, текстам, явлениям, событиям 40.1 KB
  Это внешняя сторона интерпретации. Выделяя к качестве предмета изучения исторического познания текст мы не должны сводить процедуру интерпретации к набору грамматических языковых игр Л. Объективный план интерпретации как операции мышления представлен с одной стороны предметом исследования а с другой операциональным или формально логическим каркасом своего рода алгоритмом системой стандартных шагов правит принципов и приемов субъекта познания в ходе познавательной деятельности. Общепризнанным каноном процесса интерпретации в...
82265. Вера и знание, достоверность и сомнение. Диалектика веры и сомнения в процессе познания 32.72 KB
  В социальногуманитарных науках знание всегда сочетается с верой и сомнением так как вера ориентирована на преувеличение роли абсолютного момента в знании а сомнение роли относительного в нем. Вера присутствует в социальногуманитарных науках прежде всего в силу незавершенности познания социальных явлений как допущение возможности соответствия социальной реальности и его отражения в знании. Она также может присутствовать в социальногуманитарных науках: как вера ученогогуманитария в Бога ученый привносит в науку свою веру как его...
82266. Конструктивная роль веры как условия «бытия среди людей» (Л.Витгенштейн) Вера и верования 31.72 KB
  Витгенштейн Вера и верования. Вера возникает как необходимое следствие бытия среди людей утверждает Витгенштейн имеет социальнокоммуникативную природу. Вера субъективная уверенность. Вера и знание имеют различные основания противоположно направленные.
82267. Вера и понимание в контексте коммуникаций. Вера и истина. Типы обоснования веры и знания. Соотношение веры и истины 36.66 KB
  Типы обоснования веры и знания. Одной из основных предпосылок философскометодологического анализа социальногуманитарного знания является рассмотрение научного познания в контексте культуры его связь с историческими особенностями и ценностными установками общества. Тема веры достоверности сомнения оказывается одной из фундаментальных в самых разных областях и на разных этапах научного познания. Соотношение различных духовноценностных установок веры и научного знания поразному влияло на развитие науки.
82268. Натуралистическая исследовательская программа 38.77 KB
  Сегодня вопрос об исследовательской программе или близком к ней понятии парадигмы в социальных науках сталкивается с двумя трудностями: 1 избрания масштаба исследования; 2 многообразия исследовательских программ господствующего сегодня в социальногуманитарных науках. Какие исследовательские программы парадигмы можно выделять 1 Классическая философия были ориентирована на природу и изучающие ее науки на следующую отсюда натуралистическую парадигму. Последователи натуралистической исследовательской программы полагают: либо предмет наук...