77327

DATAFLOW BASED DISTRIBUTED COMPUTING METHODS. SYSTEM PROTOTYPE

Научная статья

Информатика, кибернетика и программирование

Different methods re pplied to simplify the progrmming nd execution of prllel progrms. On the one hnd universl tools for utomtic progrm prlleliztion both for execution on shred memory nd for multicomputer systems re being developed. The gol of tht design is to simplify prllel progrm development but without significnt loss in the effectiveness of the progrm codes execution. Term tsk nmes the progrm which reds during its execution the dt items with specific nmes from storge nd s the result...

Английский

2015-02-02

20.5 KB

0 чел.

DATAFLOW BASED DISTRIBUTED COMPUTING METHODS. SYSTEM PROTOTYPE.

M.O. Bakhterev, P.A. Vasev

IMM UrB RAS, Yekaterinburg

The usage of parallel and distributed computing systems is accompanied with big expenditures, connected with programming for such a systems. The problem is that modern popular parallel programming tools - MPI and OpenMP - are quite complex to apply. Programmer needs to care about distribution of computational tasks, synchronization, data exchange and so on.

Different methods are applied to simplify the programming and execution of parallel programs. On the one hand, universal tools for automatic program parallelization (both for execution on shared memory and for multicomputer systems) are being developed. On the other hand, the environments for solving the particular task classes (in general, it concerns applications with high level of data parallelism) are being created. Also, the universal instruments, trying to simplify the technical side of the process of parallel and distributed systems programming, are being developed.

Sometimes, creating such a tools, developers are trying to make use of nonstandard calculus paradigms. One of them is Dataflow [1]. Some variants of Dataflow are used when developing processor architectures, supercomputers as whole, software organization of computational threads in bounds of single process, and interprocess communications in distributed environment.

At present work the authors, relying on the analysis of different, including their own, Dataflow models, are developing methods and tools for programming in parallel and distributed environments. The goal of that design is to simplify parallel program development, but without significant loss in the effectiveness of the program codes execution.

Suggested methods of computation arose as a consequence of long theoretical research of the operating system for distributed computations [2]. Methods are based on the storage, task and rule conceptions. Storage keeps named data, to which three operations could be applied - write (create), read and delete. At that the stored data are self-sufficient - they are not queues, but certain items of information with unique names. Term task names the program, which reads during its execution the data items with specific names from storage, and as the result of it's own execution form new data, which are written to storage. Term rule designates the construction, which defines the conditions and the parameters of the program launch. The rule contains:

1. The list of names, which are needed to execute task.

2. The list of correspondence between global data (been in storage) names and local names (which are used inside program).

3. The list of tasks (programs), which should be launched.

4. Actions, performed in the case of successful execution of the tasks (3).

The rule is considered ready for execution, when all data with names from the list (1) are present in storage. After successful execution the rule is deleted from the list of the rules being executed.

The process of programming and carrying out the calculations is unfolding in the following manner. The programmer prepares programs of tasks; at that, theoretically in the frame of one calculation experiment any combination of programming languages and target hardware could be used. For instance, some tasks could be executed on graphics processors.

Also, the programmer forms initialization file, in which prime rules of the system are described. That rule set could be increased later on - during task execution or performing the closing actions in rules. Besides rules there are initial data specified in initialization file, they will be placed in storage.

Further, the programmer gives run command. During the runtime the computing environment finds the ready to execute rules and launches tasks specified in them on suitable available resources. As the result of that, some of rules complete with forming new data and releasing resources for other rules execution. The environment continues the search and execution of rules till the rule set exhausting, the job suspension from the outside or the exposure of error.

Described methods possess a number of valuable capabilities, such as ability to carry out the computational experiment on hybrid architectures, the ability to alter the computing nodes amount during runtime, the ability to support applications in the  globally-distributed environments, the ability to automatically create checkpoints, the ability to suspend and resume the computation in the transparent to programmer manner, the ability to use distributed data storages, and so on.

The authors are developing the prototype of the system based on the suggested methods: the RIDE project. The early samples of programs show the realizability of the system and the elegance of the code for rules description. The authors believe that evolution of the running research will result in the achievement of the main goal - to make the process of distributed parallel programs development simpler and more effective.

Reference

1. Dennis J., Data Flow Supercomputers // Computer, Vol.13, No.11, pp.48-56, 1980

2. Bakhterev M.O. The description of parallel computations in the terms of closures // 10Th International Workshop "Supercomputing and Mathematical Simulations", RFNC-VNIIEF, Sarov, p. 31-32, 2008.


 

А также другие работы, которые могут Вас заинтересовать

40977. Особливості технології приготування тортів 799 KB
  Торти займають особливе місце в кондитерській промисловості. Торти відрізняються від інших кондитерських виробів тим що є продуктами з нетривалим терміном зберігання. За складністю оздоблення торти поділяються на такі групи: торти масового виробництва фігурні та фірмові торти.
40978. Медична гельмінтологія. Плоскі та круглі черви-паразити людини 46.5 KB
  Загальна характеристика типу Плоскі червиPlthelminthes а клас Сисуни клас Стьожкові Загальна характеристика типу Круглі червиNemthelminthes а клас Власне круглі черви Nemtod. Черви багатоклітинні двобічносиметричні тварини.
40979. Поняття заробітної плати і методи її правового регулювання 177 KB
  Оплата праці. З економічної точки зору заробітною платою вважається вартість або ціна праці в грошовій формі як частка працівника в національному доході що на еквівалентній основі виплачується йому за виконану роботу. Для правового визначення заробітної плати має значення обов'язок роботодавця виплачувати працівникові винагороду за його працю з одного боку і наявність у працівника суб'єктивного права на одержання цієї винагороди за попередньо встановленими нормами праці з другого. Політика винагороди за працю організовується так щоб...
40980. ТРУДОВИЙ ДОГОВІР 233.5 KB
  Відсторонення працівника від роботи. Така угода характеризується наступними ознаками: працівник особисто виконує свої трудові функції; працівник повинен в ході виконання своєї трудової функції підпорядковуватись правилам внутрішнього трудового розпорядку; власник або уповноважений ним орган повинен організувати працю працівникастворити необхідні та належні умови праці виплачувати йому заробітну плату і т. До них слід віднести взаємне волевиявлення сторін про прийняття влаштування працівника на роботу визначення трудової функції...
40981. Медична арахноеитомологія. Членистоногі та комахи-збудники і переносники збудників захворювань людини 46.5 KB
  Клас павукоподiбнi rchnoide Медичне значення мають представники скорпіонів павуків та кліщів. Медичне значення кліщів як збудників хвороб та переносниківзбудників захворювань людини :Розміри кліщівcrinдрібні .У багатьох кліщів голово груди і черевце зливаються в єдине ціле втрачаючи сегментацію .Ротовий отвір кліщівколючосисний або гризучесисний .
40982. Взаємовідношення мови й гендера 89.5 KB
  Мовна картина світу як результат пізнання та концептуалізації обєктивної дійсності Мові належить активна роль у культурі й пізнанні. Вона є унікальною здатністю людини що відрізняє її від будьяких інших живих істот і решти світу. Кожен народ посвоєму розчленовує фрагменти світу і посвоєму називає їх. Формується світ тих хто говорить цією мовою тобто формується концептуальна картина світу як сукупність знань про світ що є зафіксованими у лексиці граматиці фразеології.
40983. Охорона праці. Нагляд і контроль за дотриманням законодавства про працю і правил з охорони праці 218.5 KB
  Охорона праці. Нагляд і контроль за дотриманням законодавства про працю і правил з охорони праці. Поняття охорони праці за трудовим правом Загальновідомо що економічне зростання автоматично ще не веде до збалансованого економічного і соціального розвитку. Зміни що відбуваються у структурі зайнятості й попиту на робочу силу як і до становища працівника на робочому місці умов його праці ставлять підвищені вимоги до безпеки праці.
40984. Конфлікти в колективі 40.5 KB
  Тому проблема здебільшого полягає не в наявності самого факту конфлікту а в тому який характер він носить деструктивний чи конструктивний і яким чином розвязується. Конструктивна та деструктивна суть конфліктів Деструктивний конфлікт переводить причини що призвели до конфлікту на âособистостіâ. Дана установка не веде до вирішення конфлікту а навпаки його загострює зростає упередженість проти партнера напруга у взаємостосунках посилюються неприємні почуття та переживання виникають стреси та ін. Прикладом деструктивного...
40985. Трудові спори і порядок розв’язання 183.5 KB
  Поняття трудових спорів та їх класифікація При здійсненні відносин людей під час трудової діяльності між працівниками і власниками підприємств або уповноваженими ними органами можуть виникати й часто виникають різного роду непорозуміння. Перебудова виробничих і трудових відносин нові форми застосування і використання праці істотно вплинули не тільки на індивідуальні трудові відносини а й на структуру і зміст організаційноуправлінських відносин що виникають між власником підприємства або уповноваженою ним особою з одного боку і трудовим...