77346

МЕТОДЫ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ МОДЕЛИ ПОТОКА ДАННЫХ. ПРОТОТИП СИСТЕМЫ

Научная статья

Информатика, кибернетика и программирование

Ему необходимо заботиться о распределении вычислительных задач синхронизации обмене данными и так далее. С другой стороны создаются среды для решения определённых классов задач в основном это касается задач для которых применим параллелизм по данным. Методика базируется на понятиях хранилища задач и правил. Задачей называется программа которая во время исполнения считывает данные с определёнными именами из хранилища и в результате своего исполнения формирует новые данные которые записываются в хранилище.

Русский

2015-02-02

21.5 KB

0 чел.

МЕТОДЫ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ МОДЕЛИ ПОТОКА ДАННЫХ. ПРОТОТИП СИСТЕМЫ.

М.О. Бахтерев, П.А. Васёв

ИММ УрО РАН, Екатеринбург 

Популярные средства параллельного программирования, такие как MPI и OpenMP, требуют от программиста подробного описания большого количества сущностей. Ему необходимо заботиться о распределении вычислительных задач, синхронизации, обмене  данными и так далее. Существуют различные подходы к упрощению процесса программирования и исполнения параллельных вычислений. С одной стороны, создаются универсальные средства автоматического распараллеливания программ (как для исполнения в системах с общей памятью, так и в многомашинных конфигурациях). С другой стороны, создаются среды для решения определённых классов задач (в основном это касается задач, для которых применим параллелизм «по данным»). Также разрабатываются универсальные инструменты, пытающиеся упростить технические аспекты процесса программирования параллельных и распределённых систем.

Иногда при создании подобных средств разработчики пытаются использовать нестандартные парадигмы вычислений. Одной из таких парадигм является поток данных – Dataflow [1]. В различных вариантах методики, основанные на парадигме потока данных, применяются для создания процессорных архитектур, суперкомпьютеров в целом, для программной организации вычислительных потоков в рамках одного процесса и взаимодействия процессов в распределённой вычислительной среде.

В настоящей работе описывается разработанная авторами методика и технические средства для программирования в параллельных распределённых средах. Методика основана на анализе различных, в том числе и собственных, моделей потока данных. Цель данной разработки – упростить процесс создания параллельных программ, и сделать это не в ущерб эффективности исполнения вычислительных кодов. Предлагаемая методика вычислений возникла в результате продолжительной теоретической работы над архитектурой операционной системы для распределённых вычислений [2].

Методика базируется на понятиях хранилища, задач и правил. Хранилище содержит в себе именованные данные, по отношению к которым доступны три операции – запись (создание), чтение и удаление. Хранимые данные являются самодостаточными - это не очереди, но некие единицы информации с уникальными именами. Задачей называется программа, которая во время исполнения считывает данные с определёнными именами из хранилища и в результате своего исполнения формирует новые данные, которые записываются в хранилище. Правилом называется такая конструкция, которая определяет условия и параметры запуска задач. Правило содержит в себе:

  1.  Список имён данных, которые необходимы для выполнения задачи.
  2.  Список соответствия глобальных имён данных (находящихся в хранилище) локальным именам (с которыми и будет работать задача).
  3.  Список задач (программ), которые необходимо запустить.
  4.  Действия, совершаемые в случае успешного выполнения задач (3).

Правило считается готовым к исполнению, когда в хранилище присутствуют все данные c именами из списка (1). После успешного исполнения правило удаляется из списка выполняемых правил.

Процесс программирования и проведения вычислений происходит следующим образом. Прежде всего, разрабатываются программные коды задач. При этом в рамках одного вычисления могут использоваться любые комбинации языков, а также целевых аппаратных сред. Например, часть задач можно реализовать на графических ускорителях. Затем, формируется файл инициализации, в котором описываются начальные правила системы. В дальнейшем эти правила могут дополняться – при выполнении задачах или  завершающих действий других правил. Кроме правил, в файле инициализации указываются начальные данные, которые помещаются в хранилище.

После подачи команды на запуск вычислительная среда ищет правила, готовые к исполнению, и запускает указанные в них задачи на подходящих свободных вычислительных ресурсах. В результате часть правил исполняется, формируя новые данные и освобождая ресурсы для других правил. Среда продолжает поиск и выполнение правил вплоть до исчерпания всех правил, приостановки работы с внешней стороны или выявления ошибки.

Предлагаемая методика позволяет достаточно просто и эффективно реализовать проведение вычислительного эксперимента на гибридных архитектурах, динамическое изменение количества вычислительных узлов во время самого вычисления, работу в глобально-распределённых условиях, автоматическое создание контрольных точек, приостановку и продолжение вычисления прозрачным для программиста образом, использование распределённые хранилищ данных, а также обеспечивает ряд других преимуществ.

На основе предложенной методики авторами в рамках проекта RIDE разрабатывается прототип среды параллельного программирования. Первые версии показывают реализуемость предлагаемых идей и лаконичность программных конструкций для описания правил. Можно надеяться, что в результате развития этой среды удастся достичь главной цели – сделать процесс создания распределённых вычислительных программ более простым и эффективным.

Список литературы.

  1.  Dennis J., Data Flow Supercomputers // Computer, Vol.13, No.11, pp.48-56, 1980.
  2.  Бахтерев М.О., Описание параллельных вычислений при помощи замыканий // Тезисы 10-го Международного семинара "Супервычисления и Математическое моделирование", РФЯЦ-ВНИИЭФ, Саров, с. 31-32, 2008.


 

А также другие работы, которые могут Вас заинтересовать

34559. Проза французского Сопротивления 19.28 KB
  Арагона сбки Нож в сердце 1941 Глаза Эльзы 1942 Паноптикум 1943 Французская заря 1945 в стихах других поэтовкоммунистов Л. Арагон Ф. За порчу сукна штраф 200 франков 1945 Арагона К. Луи Арагон 18971982 начинает свою литературную деятельность в 1917 году а после возвращения с фронта примыкает к дадаистам сборник стихов Фейерверк 1920.
34560. Экзистенциализм во французской литературе. Его влияние на литературный процесс. Спор Сартра и Камю 15.46 KB
  Спор Сартра и Камю. Хотите философствовать пишите романы рекомендовал соотечественникам Альбер Камю. Спор Камю с Сартром не менее важен. В отличие от Сартра изображающего человеческую сущность чистой возможностью Камю считает что бытие человека изначально определено человеческой природой и содержит в себе набор возможностей ограничивающих человеческую свободу.
34561. Драматургия французского экзистенциализма, ее идейные и стилевые особенности (Ж. Ануй, Ж. П. Сартр, А. Камю) 19.51 KB
  Камю. Все дозволено Ивана Карамазова единственное выражение свободы писал Альбер Камю 1913 1960. С юности Камю зачитывался Достоевским Ницше Мальро. Мысли об абсурде абсурд царит о всевластии смерти познание себя познание смерти ощущение одиночества и отчуждения от омерзительного внешнего мира все мне чуждо постоянны и неизменны в эссеистике прозе и драматургии Камю.
34562. Сюжет и герой романа А. Камю («Посторонний», «Чума») 18.47 KB
  Мерсо взрывается выкрикивает что всю жизнь ощущал дыхание мрака смерти. Гораздо больше Мерсо любит природу особенно море. Суд над Мерсо. Те кто судят Мерсо продолжают верить что бытие изначально имеет высший позитивный смысл.
34563. Конфликт в романе Сартра «Тошнота» 18.68 KB
  И он решает что будет описывать и исследовать состояния мира разумеется как они даны преобразованы его Рокантена сознанием а еще более сами эти состояния сознания. Но если Гуссерль выделяет описывает феномены сознания чтобы зафиксировать их безличные всеобщие структуры то Сартр в духе Ясперса Хайдеггера Марселя использует описание феноменов сознания для анализа таких экзистенциальных состояний как одиночество страх отчаяние отвращение и других поистине трагических мироощущений личности. Существовать значит сознавать...
34564. «Театр абсурда»(С.Беккет , Э.Ионеско) 18.84 KB
  Наиболее полно принципы абсурдизма были воплощены в драмах Лысая певица L cnttrice chuve 1950 драматурга Эжена Ионеско и В ожидании Годо Сэмюэла Беккета. Эжен Ионеско зачинатель абсурдизма во французской драматургии. Сюрреализм пьес Ионеско ведет свое происхождение от цирковой клоунады фильмов Ч. Ионеско отвергает но пьесы были вызваны к жизни глубокой тревогой за судьбы языка и его носителей.
34565. «Новый роман». Смысл названия А. Роб-Грийе «В лабиринте» 18.03 KB
  Исходный замысел – показать вещи такими какими они есть на самом деле. Мы не видим сами вещи они в идеологическом ряду. Автор стремится осовободить вещи от человеческой перспективы но быстро понимает что всерьез это сделать невозможно. Человеческое видение нагружает мир смыслами от него и пытается освободить вещи продолжает мощную модернистскую установку.
34566. Влияние идей структурализма, постструктурализма и постмодернизма на развитие послевоенной французской литературы 19.27 KB
  Барт различает не письмо и текст литературное произведение которое было основой классики. Текст вторичен соткан из цитат и многозначен. В тексте принципиально важна интертекстуальность. Барт: каждый текст является интертекстомпредставляет собой новую ткань сотканную из старых цитат.
34567. Антиутопия, фантастика, фэнтези в английской и американской литературе 20 в. (Д. Оруэл, Р. Бредбери, К. Вонегут, Д. Толкиен и др.) 19.65 KB
  Романы антиутопистов во многом схожи: каждый автор говорит о потере нравственности и о бездуховности современного поколения каждый мир антиутопистов это лишь голые инстинкты и эмоциональная инженерия[3]. В современном виде сформировался в начале XX века. Произведения фэнтези чаще всего напоминают историкоприключенческий роман действие которого происходит в вымышленном мире близком к реальному Средневековью герои которого сталкиваются со сверхъестественными явлениями и существами. В отличие от научной фантастики фэнтези не стремится...