39984

Кластер (группа компьютеров)

Контрольная

Информатика, кибернетика и программирование

Обычно различают следующие основные виды кластеров: отказоустойчивые кластеры Highvilbility clusters H кластеры высокой доступности кластеры с балансировкой нагрузки Lod blncing clusters вычислительные кластеры High perfomnce computing clusters Гридвычисления Содержание 1 Классификация кластеров 1.1 Кластеры высокой доступности 1.2 Кластеры распределения нагрузки 1.3 Вычислительные кластеры 1.

Русский

2013-10-13

74.59 KB

15 чел.

Кластер (группа компьютеров)

Материал из Википедии — свободной энциклопедии

Техники работают с большим Linux кластером вХемницком техническом университете, Германия

Кластер — группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс.

Один из первых архитекторов кластерной технологии Грегори Пфистер дал кластеру следующее определение: «Кластер — это разновидностьпараллельной или распределённой системы, которая:

  1.  состоит из нескольких связанных между собой компьютеров;
  2.  используется как единый, унифицированный компьютерный ресурс».

Обычно различают следующие основные виды кластеров:

  1.  отказоустойчивые кластеры (High-availability clusters, HA, кластеры высокой доступности)
  2.  кластеры с балансировкой нагрузки (Load balancing clusters)
  3.  вычислительные кластеры (High perfomance computing clusters)
  4.  Грид-вычисления

Содержание

  1.  1 Классификация кластеров
  2.  1.1 Кластеры высокой доступности
  3.  1.2 Кластеры распределения нагрузки
  4.  1.3 Вычислительные кластеры
  5.  1.4 Системы распределенных вычислений (grid)
  6.  1.5 Кластер серверов, организуемых программно
    1.  1.5.1 Применение
  7.  2 Самые производительные кластеры
  8.  3 История
  9.  4 Программные средства
  10.  5 Примечания
  11.  6 См. также
  12.  7 Ссылки

Классификация кластеров

Кластеры высокой доступности

Обозначаются аббревиатурой HA (англ. High Availability — высокая доступность). Создаются для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов — два, это минимальное количество, приводящее к повышению доступности. Создано множество программных решений для построения такого рода кластеров.

Отказоустойчивые кластеры и системы вообще строятся по трем основным принципам:

  1.  с холодным резервом или активный/пассивный. Активный узел выполняет запросы, а пассивный ждет его отказа и включается в работу, когда таковой произойдет. Пример — резервные сетевые соединения, в частности, Алгоритм связующего дерева. Например связка DRBD и HeartBeat.
  2.  с горячим резервом или активный/активный. Все узлы выполняют запросы, в случае отказа одного нагрузка перераспределяется между оставшимися. То есть кластер распределения нагрузки с поддержкой перераспределения запросов при отказе. Примеры — практически все кластерные технологии, например, Microsoft Cluster Server. OpenSource проект OpenMosix.
  3.  с модульной избыточностью. Применяется только в случае, когда простой системы совершенно недопустим. Все узлы одновременно выполняют один и тот же запрос (либо части его, но так, что результат достижим и при отказе любого узла), из результатов берется любой. Необходимо гарантировать, что результаты разных узлов всегда будут одинаковы (либо различия гарантированно не повлияют на дальнейшую работу). Примеры — RAID и Triple modular redundancy.

Конкретная технология может сочетать данные принципы в любой комбинации. Например, Linux-HA поддерживает режим обоюдной поглощающей конфигурации (англ. takeover), в котором критические запросы выполняются всеми узлами вместе, прочие же равномерно распределяются между ними. [1]

Кластеры распределения нагрузки

Принцип их действия строится на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные, вычислительные узлы. Первоначальная цель такого кластера — производительность, однако, в них часто используются также и методы, повышающие надёжность. Подобные конструкции называются серверными фермами. Программное обеспечение (ПО) может быть как коммерческим (OpenVMSMOSIX, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Maui Cluster Scheduler), так и бесплатным (OpenMosixSun Grid EngineLinux Virtual Server).

Вычислительные кластеры

Кластеры используются в вычислительных целях, в частности в научных исследованиях. Для вычислительных кластеров существенными показателями являются высокая производительность процессора в операциях над числами с плавающей точкой (flops) и низкая латентность объединяющей сети, и менее существенными — скорость операций ввода-вывода, которая в большей степени важна для баз данных и web-сервисов. Вычислительные кластеры позволяют уменьшить время расчетов, по сравнению с одиночным компьютером, разбивая задание на параллельно выполняющиеся ветки, которые обмениваются данными по связывающей сети. Одна из типичных конфигураций — набор компьютеров, собранных из общедоступных компонентов, с установленной на них операционной системой Linux, и связанных сетью EthernetMyrinetInfiniBand или другими относительно недорогими сетями. Такую систему принято называть кластеромBeowulf. Специально выделяют высокопроизводительные кластеры (Обозначаются англ. аббревиатурой HPC Cluster — High-performance computing cluster). Список самых мощных высокопроизводительных компьютеров (также может обозначаться англ. аббревиатурой HPC) можно найти в мировом рейтинге TOP500. В России ведется рейтинг самых мощных компьютеров СНГ.[1]

Системы распределенных вычислений (grid)

Такие системы не принято считать кластерами, но их принципы в значительной степени сходны с кластерной технологией. Их также называют grid-системами. Главное отличие — низкая доступность каждого узла, то есть невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Такая система, в отличие от кластеров, не похожа на единый компьютер, а служит упрощённым средством распределения вычислений. Нестабильность конфигурации, в таком случае, компенсируется больши́м числом узлов.

Кластер серверов, организуемых программно

Кластер серверов (в информационных технологиях) — группа серверов, объединённых логически, способных обрабатывать идентичные запросы и использующихся как единый ресурс. Чаще всего серверы группируются посредством локальной сети. Группа серверов обладает большей надежностью и большей производительностью, чем один сервер. Объединение серверов в один ресурс происходит на уровне программных протоколов.

В отличие от аппаратного кластера компьютеров, кластеры организуемые программно, требуют:

  1.  наличия специального программного модуля (Cluster Manager), основной функцией которого является поддержание взаимодействия между всеми серверами — членами кластера:
  2.  синхронизации данных между всеми серверами — членами кластера;
  3.  распределение нагрузки (клиентских запросов) между серверами — членами кластера;
  4.  от умения клиентского программного обеспечения распознавать сервер, представляющий собой кластер серверов, и соответствующим образом обрабатывать команды от Cluster Manager;
  5.  если клиентская программа не умеет распознавать кластер, она будет работать только с тем сервером, к которому обратилась изначально, а при попытке Cluster Manager перераспределить запрос на другие серверы, клиентская программа может вообще лишиться доступа к этому серверу (результат зависит от конкретной реализации кластера).

Примеры программных кластерных решений

  1.  IBM Lotus Notes
  2.  HP MC/ServiceGuard

Применение

В большинстве случаев, кластеры серверов функционируют на раздельных компьютерах. Это позволяет повышать производительность за счёт распределения нагрузки на аппаратные ресурсы и обеспечивает отказоустойчивость на аппаратном уровне.

Однако, принцип организации кластера серверов (на уровне программного протокола) позволяет исполнять по нескольку программных серверов на одном аппаратном. Такое использование может быть востребовано:

  1.  при разработке и тестировании кластерных решений;
  2.  при необходимости обеспечить доступность кластера только с учётом частых изменений конфигурации серверов — членов кластера, требующих их перезагрузки (перезагрузка производится поочерёдно) в условиях ограниченных аппаратных ресурсов.

Самые производительные кластеры

Дважды в год организацией TOP500 публикуется список пятисот самых производительных вычислительных систем в мире, среди которых в последнее время часто преобладают кластеры. Самым быстрым кластером является IBM Roadrunner (Лос-Аламосская национальная лабораторияСША, созданный в 2008 году), его максимальная производительность (на июль 2008) составляет 1,026Петафлопс. Самая быстрая система в Европе (на июль 2008) — суперкомпьютер, BlueGene/P находится в Германии, в исследовательском центре города Юлих, земля Северный Рейн-Вестфалия, максимально достигнутая производительность 167,3 Терафлопс.

Кластерные системы занимают достойное место в списке самых быстрых, при этом значительно выигрывая у суперкомпьютеров в цене. На июль 2008 года на 7 месте рейтинга TOP500 находится кластер SGI Altix ICE 8200 (Chippewa FallsВисконсин, США).

Сравнительно дешёвую альтернативу суперкомпьютерам представляют кластеры, основанные на концепции Beowulf, которые строятся из обыкновенных недорогих компьютеров на основе бесплатного программного обеспечения. Один из практических примеров такой системы — Stone Soupercomputer (Оак РиджТеннесси, США, 1997).

Крупнейший кластер, принадлежащий частному лицу (из 1000 процессоров), был построен Джоном Коза (John Koza).

История

История создания кластеров неразрывно связана с ранними разработками в области компьютерных сетей. Одной из причин для появления скоростной связи между компьютерами стали надежды на объединение вычислительных ресурсов. В начале 1970-х гг. группой разработчиков протокола TCP/IP и лабораторией Xerox PARC были закреплены стандарты сетевого взаимодействия. Появилась и операционная система Hydra («Гидра») для компьютеров PDP-11 производства DEC, созданный на этой основе кластер был назван C.mpp (Питтсбург, шт. Пенсильвания, США, 1971). Тем не менее, только около 1983 г. были созданы механизмы, позволяющие с лёгкостью пользоваться распределением задач и файлов через сеть, по большей части это были разработки в SunOS(операционной системе на основе BSD от компании Sun Microsystems).

Первым коммерческим проектом кластера стал ARCNet, созданный компанией Datapoint в 1977 г. Прибыльным он не стал, и поэтому строительство кластеров не развивалось до 1984 г., когда DEC построила свой VAXcluster на основе операционной системы VAX/VMSARCNet и VAXcluster были рассчитаны не только на совместные вычисления, но и совместное использование файловой системы и периферии с учётом сохранения целостности и однозначности данных. VAXCluster (называемый теперь VMSCluster) — является неотъемлемой компонентой операционной системы HPOpenVMS, использующих процессоры Alpha и Itanium.

Два других ранних кластерных продукта, получивших признание, включают Tandem Hymalaya (1994, класс HA) и IBM S/390 Parallel Sysplex (1994).

История создания кластеров из обыкновенных персональных компьютеров во многом обязана проекту Parallel Virtual Machine. В 1989 г. это ПО для объединения компьютеров в виртуальныйсуперкомпьютер открыло возможность мгновенного создания кластеров. В результате суммарная производительность всех созданных тогда дешёвых кластеров обогнала по производительности сумму мощностей «серьёзных» коммерческих систем.

Создание кластеров на основе дешёвых персональных компьютеров, объединённых сетью передачи данных, продолжилось в 1993 г. силами Американского аэрокосмического агентства (NASA), затем в 1995 г. получили развитие кластеры Beowulf, специально разработанные на основе этого принципа. Успехи таких систем подтолкнули развитие grid-сетей, которые существовали ещё с момента создания UNIX.

Программные средства

Широко распространённым средством для организации межсерверного взаимодействия является библиотека MPI, поддерживающая языки C и Fortran. Она используется, например, в программе моделирования погоды MM5.

Операционная система Solaris предоставляет программное обеспечение Solaris Cluster, которое служит для обеспечения высокой доступности и безотказности серверов, работающих под управлением Solaris. Для OpenSolaris существует реализация с открытым кодом под названием OpenSolaris HA Cluster.

Среди пользователей GNU/Linux популярны несколько программ:

  1.  distccMPICH и др. — специализированные средства для распараллеливания работы программ. distcc допускает параллельную компиляцию в GNU Compiler Collection.
  2.  Linux Virtual ServerLinux-HA — узловое ПО для распределения запросов между вычислительными серверами.
  3.  MOSIXopenMosixKerrighedOpenSSI — полнофункциональные кластерные среды, встроенные в ядро, автоматически распределяющие задачи между однородными узлами. OpenSSI, openMosix и Kerrighed создают среду единой операционной системы между узлами.

Кластерные механизмы планируется встроить и в ядро DragonFly BSD, ответвлившуюся в 2003 году от FreeBSD 4.8. В дальних планах также превращение её в среду единой операционной системы.

Компанией Microsoft выпускается HA-кластер для операционной системы Windows. Существует мнение, что он создан на основе технологии Digital Equipment Corporation, поддерживает до 16 (с 2010 года) узлов в кластере, а также работу в сети SAN (Storage Area Network). Набор API-интерфейсов служит для поддержки распределяемых приложений, есть заготовки для работы с программами, не предусматривающими работы в кластере.

Windows Compute Cluster Server 2003 (CCS), выпущенный в июне 2006 года разработан для высокотехнологичных приложений, которые требуют кластерных вычислений. Издание разработано для развертывания на множестве компьютеров, которые собираются в кластер для достижения мощностей суперкомпьютера. Каждый кластер на Windows Compute Cluster Server состоит из одного или нескольких управляющих машин, распределяющих задания и нескольких подчиненных машин, выполняющих основную работу. В ноябре 2008 представлен Windows HPC Server 2008, призванный заменить Windows Compute Cluster Server 2003.

Примечания


 

А также другие работы, которые могут Вас заинтересовать

81031. История создания и устав ООН. Структура ООН 41.01 KB
  Структура ООН Организация Объединённых Наций международная организация созданная для поддержания и укрепления международного мира и безопасности развития сотрудничества между государствами. История создания ООН во многом определяется именно этими факторами. Предшественником ООН была Лига Наций Вторая мировая война дала сильный толчок общественной и правительственной инициативе по организации безопасности и мира.
81032. Реформы ООН 47.61 KB
  Соответственно растёт востребованность ООН как механизма коллективного поиска путей преодоления вызовов XXI века. С другой стороны реформа нужна потому что без неё ООН постепенно будет утрачивать нынешние позиции окажется отодвинутой на обочину мировой политики превратится в статиста беспомощно взирающего на то как группы государств или отдельные страны решают спорные вопросы по своему усмотрению. 2 декабря 2004 года был обнародован доклад ldquo;Более безопасный мир: наша общая ответственностьrdquo;[1] который подготовила Группа...
81033. Миротворческие операции ООН 45.56 KB
  На практике такие операции осуществлялись до недавнего времени главным образом в рамках ООН по решениям СБ в отдельных случаях – ГА ООН. Силы действуют под руководством СБ ООН но находятся под командованием Генерального секретаря выступающего от имени ООН и имеющего политические установки от Совета Безопасности. Что касается состава сил то они комплектуются за счет персонала из состава вооруженных полицейских сил и гражданских представителей различных государств на основе соглашений достигнутых правительствами этих стран с Генеральным...
81034. Международный валютный фонд (МВФ). Всемирная торговая организация (ВТО) 43.14 KB
  Всемирная торговая организация ВТО Международный валютный фонд МВФ англ. ВТО является преемницей Генерального соглашения по тарифам и торговле ГАТТ заключенного в 1947 году и на протяжении почти 50 лет фактически выполнявшего функции международной организации. ВТО отвечает за разработку и внедрение новых торговых соглашений а также следит за соблюдением членами организации всех соглашений подписанных большинством стран мира и ратифицированных их парламентами. ВТО строит свою деятельность исходя из решений принятых в 1986 1994 годах в...
81035. Организация Североатлантического договора (НАТО) 42.5 KB
  Тогда государствамичленами НАТО стали США Канада Исландия Великобритания Франция Бельгия Нидерланды Люксембург Норвегия Дания Италия и Португалия. Одной из декларированных целей НАТО является обеспечение сдерживания любой формы агрессии в отношении территории любого государствачлена НАТО или защиту от неё. Главная цель НАТО гарантировать свободу и безопасность всех своих членов в Европе и Северной Америке в соответствии с принципами Устава ООН.
81036. Парламентская ассамблея Совета Европы (ПАСЕ). Организация по безои сотрудничеству в Европе(ОБСЕ). Европейский суд по правам человека 41.43 KB
  Европейский суд по правам человека ОБСЕ Организация по безопасности и сотрудничеству в Европе крупнейшая в мире региональная организация занимающаяся вопросами безопасности.Верховный комиссар по делам национальных меньшинств Бюро по демократическим институтам и правам человека ОБСЕ Парламентская ассамблея ОБСЕ Представитель по вопросам свободы СМИ наблюдает за развитием положения в области средств массовой информации в 56 государствах-участниках ОБСЕ. Третья корзина или человеческое измерение...
81037. Организация стран-экспортеров нефти (ОПЕК). Организация Исламская Конференция (ОИК). Лига Арабских Государств (ЛАГ) 40.44 KB
  Организация странэкспортеров нефти основана в 1960 году рядом стран Алжир Эквадор Индонезия Ирак Иран Кувейт Ливия Нигерия Саудовская Аравия Объединенные Арабские Эмираты и Венесуэла с целью координации действий по объему продаж и установления цен на сырую нефть. Внимание к интересам странпроизводителей нефти и необходимости обеспечения: устойчивых доходов странпроизводителей нефти; эффективного рентабельного и регулярного снабжения странпотребителей; справедливых доходов от инвестиций в нефтяную промышленность; охраны...
81038. Азиатско-Тихоокеанское экономическое сотрудничество (АТЭС). Евразийское экономическое сообщество (ЕврАзЭс). Ассоциация государств Юго-Восточной Азии. (АСЕАН) 39.91 KB
  АСЕАН. Задачи Завершение оформления в полном объёме режима свободной торговли формирование общего таможенного тарифа и единой системы мер нетарифного регулирования Обеспечение свободы движения капитала Формирование общего финансового рынка Согласование принципов и условий перехода на единую валюту в рамках ЕврАзЭС Установление общих правил торговли товарами и услугами и их доступа на внутренние рынки Создание общей унифицированной системы таможенного регулирования Разработка и реализация межгосударственных целевых программ Создание...
81039. Внешняя политика США 1991-2000 годах 39.62 KB
  На фоне разнообразных и зачастую противоречивых тенденций в американской политической и научной элите в 1990-е гг. формировалась внешняя политика. Ее целью, как и целью внешней политики любой страны, являлось формирование оптимального внешнеполитического курса