77346

МЕТОДЫ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ МОДЕЛИ ПОТОКА ДАННЫХ. ПРОТОТИП СИСТЕМЫ

Научная статья

Информатика, кибернетика и программирование

Ему необходимо заботиться о распределении вычислительных задач синхронизации обмене данными и так далее. С другой стороны создаются среды для решения определённых классов задач в основном это касается задач для которых применим параллелизм по данным. Методика базируется на понятиях хранилища задач и правил. Задачей называется программа которая во время исполнения считывает данные с определёнными именами из хранилища и в результате своего исполнения формирует новые данные которые записываются в хранилище.

Русский

2015-02-02

21.5 KB

0 чел.

МЕТОДЫ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ МОДЕЛИ ПОТОКА ДАННЫХ. ПРОТОТИП СИСТЕМЫ.

М.О. Бахтерев, П.А. Васёв

ИММ УрО РАН, Екатеринбург 

Популярные средства параллельного программирования, такие как MPI и OpenMP, требуют от программиста подробного описания большого количества сущностей. Ему необходимо заботиться о распределении вычислительных задач, синхронизации, обмене  данными и так далее. Существуют различные подходы к упрощению процесса программирования и исполнения параллельных вычислений. С одной стороны, создаются универсальные средства автоматического распараллеливания программ (как для исполнения в системах с общей памятью, так и в многомашинных конфигурациях). С другой стороны, создаются среды для решения определённых классов задач (в основном это касается задач, для которых применим параллелизм «по данным»). Также разрабатываются универсальные инструменты, пытающиеся упростить технические аспекты процесса программирования параллельных и распределённых систем.

Иногда при создании подобных средств разработчики пытаются использовать нестандартные парадигмы вычислений. Одной из таких парадигм является поток данных – Dataflow [1]. В различных вариантах методики, основанные на парадигме потока данных, применяются для создания процессорных архитектур, суперкомпьютеров в целом, для программной организации вычислительных потоков в рамках одного процесса и взаимодействия процессов в распределённой вычислительной среде.

В настоящей работе описывается разработанная авторами методика и технические средства для программирования в параллельных распределённых средах. Методика основана на анализе различных, в том числе и собственных, моделей потока данных. Цель данной разработки – упростить процесс создания параллельных программ, и сделать это не в ущерб эффективности исполнения вычислительных кодов. Предлагаемая методика вычислений возникла в результате продолжительной теоретической работы над архитектурой операционной системы для распределённых вычислений [2].

Методика базируется на понятиях хранилища, задач и правил. Хранилище содержит в себе именованные данные, по отношению к которым доступны три операции – запись (создание), чтение и удаление. Хранимые данные являются самодостаточными - это не очереди, но некие единицы информации с уникальными именами. Задачей называется программа, которая во время исполнения считывает данные с определёнными именами из хранилища и в результате своего исполнения формирует новые данные, которые записываются в хранилище. Правилом называется такая конструкция, которая определяет условия и параметры запуска задач. Правило содержит в себе:

  1.  Список имён данных, которые необходимы для выполнения задачи.
  2.  Список соответствия глобальных имён данных (находящихся в хранилище) локальным именам (с которыми и будет работать задача).
  3.  Список задач (программ), которые необходимо запустить.
  4.  Действия, совершаемые в случае успешного выполнения задач (3).

Правило считается готовым к исполнению, когда в хранилище присутствуют все данные c именами из списка (1). После успешного исполнения правило удаляется из списка выполняемых правил.

Процесс программирования и проведения вычислений происходит следующим образом. Прежде всего, разрабатываются программные коды задач. При этом в рамках одного вычисления могут использоваться любые комбинации языков, а также целевых аппаратных сред. Например, часть задач можно реализовать на графических ускорителях. Затем, формируется файл инициализации, в котором описываются начальные правила системы. В дальнейшем эти правила могут дополняться – при выполнении задачах или  завершающих действий других правил. Кроме правил, в файле инициализации указываются начальные данные, которые помещаются в хранилище.

После подачи команды на запуск вычислительная среда ищет правила, готовые к исполнению, и запускает указанные в них задачи на подходящих свободных вычислительных ресурсах. В результате часть правил исполняется, формируя новые данные и освобождая ресурсы для других правил. Среда продолжает поиск и выполнение правил вплоть до исчерпания всех правил, приостановки работы с внешней стороны или выявления ошибки.

Предлагаемая методика позволяет достаточно просто и эффективно реализовать проведение вычислительного эксперимента на гибридных архитектурах, динамическое изменение количества вычислительных узлов во время самого вычисления, работу в глобально-распределённых условиях, автоматическое создание контрольных точек, приостановку и продолжение вычисления прозрачным для программиста образом, использование распределённые хранилищ данных, а также обеспечивает ряд других преимуществ.

На основе предложенной методики авторами в рамках проекта RIDE разрабатывается прототип среды параллельного программирования. Первые версии показывают реализуемость предлагаемых идей и лаконичность программных конструкций для описания правил. Можно надеяться, что в результате развития этой среды удастся достичь главной цели – сделать процесс создания распределённых вычислительных программ более простым и эффективным.

Список литературы.

  1.  Dennis J., Data Flow Supercomputers // Computer, Vol.13, No.11, pp.48-56, 1980.
  2.  Бахтерев М.О., Описание параллельных вычислений при помощи замыканий // Тезисы 10-го Международного семинара "Супервычисления и Математическое моделирование", РФЯЦ-ВНИИЭФ, Саров, с. 31-32, 2008.


 

А также другие работы, которые могут Вас заинтересовать

31194. Принцип цифровой магнитной записи 30 KB
  При таком виде представления для записи конкретного числа необходимо фиксировать в строго конкретном месте только числа а.нуль или единица и одно число нуль или единица для характеристики знака числа. EXP0NENT 0FRCTION где SIGN численное значение двоичного разряда определяющее знак числа для положительного числа SIGN=0 для отрицательного числа SIGN=1; FRCTION мантисса двоичного числа представляющая собой последовательность нулей и единиц чисел а начиная с первого слева ненулевого значения; EXPONENT показатель степени 2...
31195. Принципы квантования сигналов по времени амплитуде 36 KB
  Точность представления аналоговых сигналов в дискретной форме тем выше чем меньше интервал квантования. В теории передачи информации для обоснования выбора шага квантования аналоговых сигналов обычно используют теорему В.5 fmx где fmx максимальная частота спектра сигналов.
31196. Цифровые сейсморазведочные станции типа „Прогресс” 43 KB
  В станциях Прогресс123 форматор кодов вырабатывает специальный формат С1 записи на магнитную ленту который немного отличается от упоминавшегося ранее формата SEGB. ЦСС Прогресс 3 могла работать во всех режимах станций Прогресс 1 Прогресс 2 и дополнительно работать с источниками вибрационного действия. Для этого в ЦСС Прогресс 3 предусмотрена возможность осуществления операции свертки вычисление функции взаимной корреляции ФВК сейсмических сигналов по каждому каналу с опорным сигналом свипом вибратора в месте излучения.
31197. Профильные системы наблюдений 2D 33.5 KB
  Системы наблюдений на продольных профилях изображают либо на плоскости годографа простые системы либо на обобщенной плоскости системы высокой кратности. Для понимания сущности конкретной профильной системы наблюдений высокой кратности в отечественной сейсморазведке найдено достаточно простое и эффективное средство анализ графического изображения такой системы наблюдений на обобщенной плоскости Гамбурцев 1959. Базы приема с профиля наблюдений проектируются в этой системе координат на проведенные лучи.
31198. Система наблюдений с неортогональной геометрией ЛПП и ЛПВ 28 KB
  Съемки на основе использования схем зигзаг зеркальный зигзаг или двойной зигзаг популярны при работах на территориях где имеется хороший доступ для проезда групп вибраторов. Профили возбужденияю располагаются между соседними приемными линиями образуя одиночный зигзаг. При работах по схеме зеркальный зигзаг каждый второй профиль возбуждения представляет собой зеркальное отображение предыдущего профиля возбуждения. Отрабатывая площадь по схеме двойной зигзаг можно получить весьма хорошее распределение удалений и азимутов.
31199. Системы наблюдений с нерегулярным плановым расположениемлиний приема или возбуждения 33 KB
  Одной из первых систем наблюдений в сейсморазведке 30 была применена петлевая система. Кратность сейсмических наблюдений при таких работах может быть достаточно высокой. Эта система наблюдений может оказаться весьма удобной при работах в городах промышленных узлах и природных заказниках.
31200. Система наблюдений с ортогональной геометрией ЛПП и ЛПВ 31 KB
  Для полного понимания особенностей той или иной системы наблюдений всегда принято расчитывать и приводить графические материалы иллюстрирующие качественные особенности конкретной системы наблюдений в виде изображения основных параметров системы распределения кратности удалений Хгшп и Хтах азимутов подхода лучей и др. Однако кроме рассмотренных выше систем наблюдений с ортогональной геометрией основанных на крестовой расстановке существует еще большое количество и других достаточно оригинальных систем наблюдений этого типа обладающих...
31201. Система наблюдений с параллельной геометрией ЛПП и ЛПВ 30 KB
  Система наблюдений по технологии ШП реализуемая на суше с применением линейных станций ограниченной канальности представляет собой совокупность из профилей возбуждения расположенных параллельно и симметрично одному профилю приема рис. В результате суммарная кратность перекрытий на профиле наблюдений Ро1ат г= Ро1а^ РоМу будет равна 32. Линии проекций общих глубинных точек на поверхность наблюдений параллельны линиям возбуждения.
31202. Сейсмические форматы и запись на магнитную ленту 30 KB
  По рекомендации SEG Общества геофизиковразведчиков в сейсморазведочных станциях в качестве стандартных для 9дорожечных магнитофонов при записи на ленту приняты следующие основные мультиплексные форматы: SEGB с длиной сейсмического слова 25 байта; SEGD с длиной сейсмического слова 4 байта. В качестве демультиплексных форматов в сейсморазведке по рекомендации SEG в настоящее время наиболее широко используются следующие: SEGD801520битный формат с длиной сейсмического слова в 25 байта; SEGD804832битный формат с длиной...