40282

ОТЧЕТ о прохождении преддипломной практики в фирме «ООО «Техно-Р»»

Отчет о прохождении практики

Коммуникация, связь, радиоэлектроника и цифровые приборы

Как известно, кластеры позволяют решать проблемы, связанные с производительностью, балансировкой нагрузки и отказоустойчивостью. Для построения кластеров используются различные решения и технологии, как на программном, так и на аппаратном уровне.

Русский

2013-10-16

2.37 MB

21 чел.

PAGE   \* MERGEFORMAT 6

ВОРОНЕЖСКИЙ ИНСТИТУТ ВЫСОКИХ ТЕХНОЛОГИЙ – АНОО ВПО

Факультет заочного обучения

Специальность 230201 - "Информационные системы и технологии"

ОТЧЕТ

о прохождении преддипломной практики

в фирме «ООО «Техно-Р»»

Автор отчета   ______________    _Сидорчук П.В._      _ИСз-061_

                                      подпись                               инициалы, фамилия                                   группа

                                 

Руководитель от института _____________  ____Е.Н. Корчагина___

                                                             подпись                                                   инициалы, фамилия                                   

Руководитель от предприятия ___________   ____Д.П. Василенко___

                                                             подпись                                                   инициалы, фамилия                                   

Отчет защищен ____________________________________________________

                                                             дата                                                   оценка                                   

Члены комиссии ___________________________________________________

                                                             подпись                                                   инициалы, фамилия                                   

__________________________________________________________________

                                                             подпись                                                   инициалы, фамилия                                   

__________________________________________________________________

                                                             подпись                                                   инициалы, фамилия                                   

ВОРОНЕЖ 2012


СОДЕРЖАНИЕ

ВВЕДЕНИЕ…………………………………………………………………3

1 КЛАСТЕРНЫЕ СИСТЕМЫ ...…………………………………………..5

  1.  Общие понятия……………………………………………………..….5

1.2 Составляющие кластера………………………………………………..5

1.2.1 Аппаратная составляющая кластера…………………………….….5

1.2.2 Методы повышения отказоустойчивости хранилища данных...14

1.2.3 Программная составляющая кластера…………………………….16

2 ПОСТРОЕНИЕ ОТКАЗОУСТОЙЧИВОГО КЛАСТЕРА ……….…..24

2.1 Общие сведения о предприятии…………………………………..…24

2.2 Существующее оборудование и сервисы………………………..….24

2.3 Мероприятия для повышения доступности приложений……..……25

2.4 Ожидаемые результаты внедрения отказоустойчивого кластера….25

2.5 Выбор оборудования…………………………………………………26

2.5.1 Построение сети хранения данных (SAN)………………….…….26

2.5.2 Подключение серверов………………………………………….…29

2.5.3 Создание LUN на СХД………………………………………….….30

2.5.4 Разграничение доступа к разделам (зонирование)………………..31

2.5.4.1 Зонирование оптических коммутаторов……………………….31

2.5.4.2 Зонирование дискового массива (маппинг)…………………….34

2.6 Построение отказоустойчивого кластера в MS Windows 2008R2...37

2.6.1 Выбор редакции операционной системы…………………………37

2.6.2 Подключение логических дисков………………………………....37

2.6.3 Проверка узлов кластера………………………………………….38

2.6.4 Сборка узлов в отказоустойчивый кластер……………………....39

ЗАКЛЮЧЕНИЕ………..........................................................................40

ВВЕДЕНИЕ

Успех бизнеса все чаще зависит от бизнес-приложений, выполняемых на серверах. Доступность сервера становится приоритетной задачей. Работа в режиме “24x7” важна в тех областях, в которых системы должны быть постоянно доступны, чтобы не потерять своих клиентов. Владельцы больших почтовых систем и баз данных могут потерять тысячи долларов или даже лишиться своего бизнеса, если произойдет отказ системы.

Управление непрерывностью  бизнеса или непрерывность работы вычислительного комплекса – одно из важнейших требований современного бизнеса. Одним из средств, позволяющим достичь непрерывности работы центра обработки данных, является его отказоустойчивость.

В современных вычислительных системах для обеспечения необходимого уровня локальной и глобальной отказоустойчивости используют разные методы, от простого дублирования компонентов системы (блоки питания, вентиляторы, зеркалирование дисков) до использования высокодоступных геокластеров.

Основной принцип построения высокодоступных кластеров – устранение нерезервированных точек отказа. В состав кластера входят минимум два узла (сервера). Возобновление обслуживания в случае отказа одного из узлов достигается размещением данных приложений на внешнем хранилище, доступ к которому имеет каждый узел.

Отказоустойчивость кластеров (Failover clustering) является одной из важнейших функций Windows Server, которая обеспечивает доступность сервера. Когда один сервер выходит из строя, другой сервер будет обеспечивать предоставление услуги. Такой процесс называется отказоустойчивость (failover). Серверы высокой доступности обеспечивают непрерывную доступность баз данных, систем обмена сообщениями, файловых серверов, серверов печати и виртуальных площадок.

Как известно, кластеры позволяют решать проблемы, связанные с производительностью, балансировкой нагрузки и отказоустойчивостью. Для построения кластеров используются различные решения и технологии, как на программном, так и на аппаратном уровне.

Целью преддипломной практики в ООО "Техно-Р" является проектирование отказоустойчивого кластера, краткое описание его функционирования.

1 КЛАСТЕРНЫЕ СИСТЕМЫ

1.1 Общие понятия

Кластер — это группа независимых компьютеров (так называемых узлов или нодов), к которой можно получить доступ как к единой системе. Кластеризованные серверы (называемые узлами) соединены друг с другом с помощью кабелей и программного обеспечения. В случае отказа одного узла предоставлять услугу начинает другой узел, используя процесс, называемый перемещением.

1.2 Составляющие кластера

Реализация кластера любого типа подразделяется на две составляющие:

  1.  Аппаратная составляющая,
    1.  Программное обеспечение.

Под аппаратной составляющей подразумеваются физические сервера, системы хранения данных, коммутационное оборудование и другое.

Программное обеспечение включает в себя операционные системы, драйверы, системы мониторинга и т.п.

В данной работе будет рассматриваться создание отказоустойчивого кластера на базе ОС Microsoft Windows Server 2008 R2 Enterprise.

1.2.1 Аппаратная составляющая кластера

Основным требованием к оборудованию для построения отказоустойчивого кластера является наличие общего разделяемого хранилища данных. Это одно из необходимых условий, т.к. в этом типе кластера происходит резервирование вычислительной ноды. Само же хранилище передается между узлами и может быть использовано только одним узлом одновременно (исключением является технология MS Cluster Shared Volume). Обеспечение отказоустойчивости самого хранилища выделяется в отдельную задачу.

Общая схема аппаратного построения отказоустойчивого кластера изображена на рисунке 1.

Рисунок 1 – Общая схема отказоустойчивого  кластера

В зависимости от типа подключения внешнего хранилища, отказоустойчивые кластеры можно разделить на несколько видов:

  1.  Кластеры со SCSI (SAS) системами хранения;
  2.  Кластеры с iSCSI системами хранения;
  3.  Кластер с общей системой хранения данных на базе интерфейса Fibre Channel;
  4.  Кластерные системы, интегрированные в сети хранения данных (storage area network, SAN).

Каждая технология подключения внешнего хранилища имеет свои преимущества и недостатки. Попробуем разобраться подробней в этих технологиях.

Хранилище с интерфейсом SCSI (SAS)

Кластеры со SCSI (SAS) системами хранения данных предназначены для решения задач начального уровня – преимущественно, резервирования вычислительных мощностей, построения небольших систем с высоким уровнем готовности, в том числе без единой точки отказа. Этот вариант кластера используется в том случае, если необходимо построить отказоустойчивую систему, в которой работающее приложение будет автоматически мигрировать на резервный сервер при отказе основного, и при этом интенсивность обмена данными с устройством хранения не высока.

Рисунок 2 – Хранилище с интерфейсом SCSI(SAS)

SCSI (SAS)-кластер представляет собой интегрированную систему с двумя вычислительными узлами, работающими в режиме «горячего резервирования» (active-passive) или параллельно (active-active) в зависимости от функциональных возможностей программного обеспечения. Данная конфигурация допускает установку до четырех устройств хранения данных.

В конфигурации с прямым подключением устройств хранения, в каждый сервер устанавливается один или два RAID-контроллера с включенным режимом кластеризации. Отдельные RAID-контроллеры могут использоваться для внутренних дисков сервера. Каждый из вычислительных узлов через один из каналов RAID-контроллера подключается к SCSI-хранилищу.

Такой вариант кластеризации позволяет построить относительно недорогую отказоустойчивую систему, однако обладает рядом ограничений – по числу узлов в кластере и возможности дальнейшей консолидации данных с другими системами.

Хранилище с интерфейсом iSCSI

Протокол iSCSI (Internet Small Computer System Interface) — это протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами. Иногда его еще называют SCSI over IP.

Системы на основе iSCSI могут быть построены на любой достаточно быстрой физической основе, поддерживающей протокол IP, например Gigabit Ethernet или 10G Ethernet. Использование стандартного протокола позволяет применять стандартные средства контроля и управления потоком, а также существенно уменьшает стоимость оборудования по сравнению с сетями Fibre Channel (FC).

iSCSI - клиент-серверная архитектура. Сервер (принимающий запросы) называется iSCSI target, клиент - iSCSI initiator.

Сервер (target) может быть реализован как программно, так и аппаратно. Программная реализация принимает запросы по сети, обрабатывает их, читает (записывает) нужные данные на носитель, отдаёт информацию (результат) обратно по сети. Так как эти операции при высокой интенсивности запросов занимают существенное время процессора, были созданы аппаратные iSCSI HBA (адаптеры), которые совмещают в себе сетевую карту Ethernet и SCSI-контроллер.

iSCSI работает на блочном уровне. Объектом, к которому предоставляется доступ, является область данных, интерпретируемая инициатором как блочное устройство (диск). Доступ является монопольным (за исключением специально рассчитанных на это файловых систем и файловых систем в режиме "только для чтения"). Обязанность создавать и обслуживать файловую систему возлагается на инициатора; сервер (цель, target) лишь обслуживает низкоуровневые запросы, аналогичные запросам, которые обслуживает драйвер диска при работе с локальными дисками.

Основным препятствием для распространения Ethernet как базовой технологии построения сетей хранения данных является относительно большое время задержки (близкое к 75 микросекундам), которое возникает из-за особенностей стека TCP/ІР. В High-End системах при одновременном обращении к тысячам файлов это может стать серьёзной проблемой.

Хранилище с интерфейсом Fibre Channel

Кластер с общей системой хранения данных на базе интерфейса Fibre Channel является отказоустойчивой системой с высокоскоростным доступом с хранилищам данных и возможностью дальнейшего масштабирования.

FC-кластер с прямым подключением устройств хранения включает два вычислительных узла, соединенные с дисковыми массивами двумя избыточными высокоскоростными каналами Fibre Channel, при этом построение сети хранения данных (storage area network) не требуется. Программное обеспечение каждого узла в кластере анализирует подключение к системе хранения данных и может перенаправить трафик по резервному каналу в случае отказа FC-адаптера, процессора обработки данных или кабельной инфраструктуры.

Рисунок 3 – Хранилище с интерфейсом Fiber Channel

Данная система может работать в двух возможных конфигурациях:

- Active-active

В этой конфигурации на каждом узле кластера должен работать свой виртуальный сервер. Если какое-либо приложение запущено на одном из серверов, другой в это время может не ждать, пока откажет первый сервер, а выполнять свои собственные приложения. Каждый из узлов кластера в этом случае предоставляет функции отказоустойчивости – если произойдет отказ первого сервера, все приложения мигрируют с него на второй сервер. При этом вычислительные мощности серверов должны быть подобраны с запасом, чтобы иметь возможность миграции приложений с отказавшего узла.

- Active-passive

Конфигурация active/passive представляет собой отказоустойчивый кластер, в котором один из узлов (активный) исполняет приложение, а другой (пассивный) – находится в резерве на случай отказа первого. Эта конфигурация является более дорогостоящей в соотношении цена/производительность, поскольку один из серверов постоянно находится в ожидании. Данное решение предпочтительно для критичных к отказу бизнес-задач и позволяет использовать все вычислительные ресурсы резервного сервера при отказе основного.

Кластеры с прямым подключением устройств хранения данных по интерфейсу Fibre Channel используются для создания систем без единой точки отказа, предназначенных для работы критичных бизнес-приложений и задач с интенсивным потоком данных. К таковым относятся: работа средних и крупных баз данных, ERP-системы, корпоративные сервисы электронной почты и сообщений, системы поддержки технологических процессов среднего уровня.

Кластерные системы могут быть интегрированы в сети хранения данных (storage area network, SAN). Такие сети объединяют различные вычислительные системы, системы резервного копирования и централизованные системы хранения данных и строятся на базе коммутаторов Fiber Channel либо фабрик Fiber Channel (directors).

Рисунок 4 – SAN хранилище

Кластеры с подключенными через сеть SAN хранилищами данных представляют собой развитие кластерных конфигураций с непосредственным подключением систем хранения по технологии Fiber Channel. Такие системы позволяют добиться большей легкости управления данными и масштабируемости решений. Они также дают возможность централизованно осуществлять резервное копирование данных, используемых различными кластерами и одиночными серверами, на общие ленточные библиотеки. При этом, учитывая объем и важность информации, «циркулирующей» в подобных централизованных сетях хранения, кластерные конфигурации с системами хранения данных, подключаемыми через сеть SAN, строятся на основе резервированных каналов и отказоустойчивых фабрик коммутаторов Fibre Channel.

При необходимости расширения емкости устройств хранения, в подобную кластерную конфигурацию может быть добавлено несколько систем хранения данных SAN.

Построение указанного решения позволяет в дальнейшем провести консолидацию кластеров, что в совокупности с консолидацией хранилищ данных позволяет снизить общую стоимость владения системой (total cost of ownership, TCO). При такой консолидации многочисленные кластерные системы и одиночные серверы получают доступ к различным данным, размещаемым на одной или нескольких системах хранения в общей сети SAN.

В настоящее время самым перспективным считается построение кластера на базе полноценной сети хранения данных. Данный метод позволяет при необходимости масштабировать имеющуюся инфраструктуру с минимальными капиталовложениями и в кратчайшие сроки. Однако первоначальное построение SAN инфраструктуры требует довольно серьезных финансовых вложений.

Преимущества SAN-сетей

К основным преимуществам технологии SAN можно отнести высокую производительность, высокий уровень доступности данных, отличную масштабируемость и управляемость, возможность консолидации и виртуализации данных.

Коммутационные фабрики Fiber Channel с неблокирующей архитектурой позволяют реализовать одновременный доступ множества SAN-серверов к устройствам хранения данных.

В архитектуре SAN данные могут легко перемещаться с одного устройства хранения данных на другое, что позволяет оптимизировать размещение данных. Это особенно важно в том случае, когда нескольким SAN-серверам требуется одновременный доступ к одним и тем же устройствам хранения данных. Отметим, что процесс консолидации данных невозможен в случае использования других технологий, как, например, при применении DAS-устройств, то есть устройств хранения данных, непосредственно подсоединяемых к серверам.

Другая возможность, предоставляемая архитектурой SAN, — это виртуализация данных. Идея виртуализации заключается в том, чтобы обеспечить SAN-серверам доступ не к отдельным устройствам хранения данных, а к ресурсам. То есть серверы должны «видеть» не устройства хранения данных, а виртуальные ресурсы. Для практической реализации виртуализации между SAN-серверами и дисковыми устройствами может размещаться специальное устройство виртуализации, к которому с одной стороны подключаются устройства хранения данных, а с другой — SAN-серверы. Кроме того, многие современные FC-коммутаторы и HBA-адаптеры предоставляют возможность реализации виртуализации.

Следующая возможность, предоставляемая SAN-сетями, — это реализация удаленного зеркалирования данных. Принцип зеркалирования данных заключается в дублировании информации на несколько носителей, что повышает надежность хранения информации. Примером простейшего случая зеркалирования данных может служить объединение двух дисков в RAID-массив уровня 1. В данном случае одна и та же информация записывается одновременно на два диска. Недостатком такого способа можно считать локальное расположение обоих дисков (как правило, диски находятся в одной и той же корзине или стойке). Сети хранения данных позволяют преодолеть этот недостаток и предоставляют возможность организации зеркалирования не просто отдельных устройств хранения данных, а самих SAN-сетей, которые могут быть удалены друг от друга на сотни километров.

Еще одно преимущество SAN-сетей заключается в простоте организации резервного копирования данных. Традиционная технология резервного копирования, которая используется в большинстве локальных сетей, требует выделенного Backup-сервера и, что особенно важно, выделенной полосы пропускания сети. Фактически во время операции резервного копирования сам сервер становится недоступным для пользователей локальной сети. Собственно, именно поэтому резервное копирование производится, как правило, в ночное время.

Архитектура сетей хранения данных позволяет принципиально по-иному подойти к проблеме резервного копирования. В этом случае Backup-сервер является составной частью SAN-сети и подключается непосредственно к коммутационной фабрике. В этом случае Backup-трафик оказывается изолированным от трафика локальной сети.

1.2.2 Методы повышения отказоустойчивости хранилища данных

При построении отказоустойчивого кластера с несколькими узлами самым «узким местом» становиться общий разделяемый дисковый ресурс, то есть система хранения данных. В случае ее отказа неизбежен отказ всего кластера в целом. Чтобы избежать подобного развития событий, необходимо уделять должное внимание отказоустойчивости самой системы хранения данных.

Отказоустойчивость СХД достигается разными путями, которые в большинстве случаев лишь дополняют друг друга, а не являются альтернативами.

Так самым простейшим средством резервирования является создание Raid-массивов. Простейший raid-массив первого уровня способен защитить данные, расположенные на нем за счет избыточности дисков.

При определении отказоустойчивости СХД следует выделить три глобальных метода резервирования или дублирования данных, на случай выхода из строя отдельных компонентов системы.

Метод 1. Резервирование на уровне дисковых накопителей. Тот самый raid-массив, упомянутый выше. Резервируются сами накопители. В случае отказа одного из дисков, всегда есть дублирующий его диск, благодаря которому, данный остаются в сохранности.

Для восстановления работоспособности массива достаточно заменить вышедший из строя накопитель и произвести ребилд массива.

Современные системы хранения данных поддерживают функцию «горячего» резервирования или «hot spare». Эта технология предусматривает, что в составе RAID-массива вместе с остальными установлен запасной диск (или несколько) (отмеченный в конфигурации как «hot spare»). В случае выхода из строя диска из состава массива, этот запасной диск автоматически подключится к массиву и тем самым восстанавливает массив; неисправный диск подлежит замене на годный — этим достигается восстановление резерва. Для облегчения поиска отказавшего диска и избежания ложного отключения работающего диска применяется световая идентификация устройства (как правило, при помощи цветного светодиода яркого света); для администратора или оператора резервного копирования отправляется служебное сообщение.

Недостатком этой технологии является то, что для обеспечения быстрой замены вышедшего из строя диска при создании массива необходимо иметь в наличии ещё хотя бы один запасной жёсткий диск, который большую часть времени не участвует в работе системы.

Метод 2. Резервирование каналов данных. Это означает, что каждый из узлов подключается в общую систему хранения данных через несколько контроллеров. В свою очередь каждый контроллер может иметь сразу по несколько портов, через которые осуществляется подключение. Эта технология получила название Multi-Path I/O(Многопутевой ввод-вывод).

Multi-Path Input Output — технология, позволяющая соединять устройства хранения и серверы, используя несколько портов или контроллеров, обеспечивая тем самым избыточность подключений. С помощью дополнительных компонентов физических путей (адаптеры, кабели, коммутаторы) создаются логические пути между сервером и хранилищем. При выходе из строя одного или нескольких компонентов, логика Multi-Path позволит использовать альтернативный логический путь, сохраняя для приложений доступ к данным.

Метод 3. Резервирование системы хранения данных в целом. Эта технология по сути дела подразумевает наличие резервных систем хранения данных. Существует несколько вариантов: от резервирования отдельных дисковых массивов, до резервирования системы хранения данных в целом.

Основным недостатком этого метода является высокая стоимость. Ведь по сути дела требуется резервировать СХД целиком, что подразумевает увеличение затрат практически в два раза. Однако подобные меры весьма оправданы в некоторых компаниях, где потеря данных может грозить крахом всей организации.

1.2.3 Программная составляющая кластера

На сегодняшний день практически все существующие серверные операционные системы имеют поддержку службы кластеризации. Однако, учитывая то, что все службы и серверы нашей организации, требующие повышения доступности, являются продуктами Microsoft, я буду рассматривать  серверные операционные системы только этой компании.

Операционная система  Microsoft Server включает поддержку службы кластеризации, начиная с версии Windows NT 4.0 Enterprise Edition.

Каждая новая версия службы кластеризации дополняется новым набором функций и возможностей. Самой современной серверной операционной системой от Microsoft на момент написания данной работы является Microsoft Windows Server 2008 R2. Данная операционная система позволяет организовать кластер с максимальным числом узлов равным 16, в отличии от предыдущий версий, поддерживающих всего от 2 до 8 узлов в зависимости от версии.

MS Windows 2008 R2 имеет ряд других преимуществ, расширяющих возможности IT-специалистов.

Новые возможности, которые предоставляет функция отказоустойчивости кластеров

  •  Командлеты Windows PowerShell для отказоустойчивых кластеров. Windows PowerShell — это новая оболочка командной строки и технология сценариев, в которой используется единообразный синтаксис и схемы именования ролей и компонентов в операционной системе Windows Server 2008 R2. Новые командлеты для отказоустойчивых кластеров являются мощным средством создания сценариев для задач настройки кластеров и управления ими. В конечном итоге командлеты Windows PowerShell заменят интерфейс командной строки Cluster.exe. При установке версии Windows Server 2008 R2 Server Core для отказоустойчивых кластеров командлеты Windows PowerShell для отказоустойчивых кластеров позволяют упростить локальное управление кластерами.
  •  Разрешения только на чтение. Для пользователей или групп, которым может понадобиться просматривать кластер без внесения изменений в конфигурацию кластера, можно назначить разрешения только на чтение.
  •  Общие тома кластера. Реализация общих томов кластера позволила существенно упростить процессы настройки кластеризованных виртуальных машин (работающих на платформе Hyper-V).

Ниже перечислены возможности, которые предоставляют общие тома кластера.

  •  Можно сократить количество номеров LUN (дисков), необходимых для виртуальных машин, а не управлять одним LUN для каждой машины (ранее рекомендуемой конфигурацией было использование одного LUN для каждой виртуальной машины, поскольку LUN являлся компонентом отработки отказа). Несколько виртуальных машин могут использовать один номер LUN и переключаться на другой ресурс без необходимости отработки отказа для других машин с тем же LUN.
    •  Можно более эффективно использовать дисковое пространство, поскольку не нужно размещать каждый файл виртуального жесткого диска (VHD) на отдельном диске с дополнительным местом, выделенным именно для этого VHD-файла. Вместо этого свободное пространство в общем томе кластера может занимать любой VHD-файл с данным номером LUN.
    •  Упрощен процесс отслеживания путей к VHD-файлам и другим файлам, используемым виртуальными машинами. Вместо идентификации дисков по буквам (ограничено количеством букв алфавита) или идентификаторам GUID (которые сложно запомнить и использовать) можно указывать имена путей. При использовании общих томов кластера путь будет находиться на системном диске узла в папке \ClusterStorage. Однако при просмотре с любого узла кластера будет отображаться одинаковый путь.
    •  Если общие тома кластера используются для создания конфигурации, поддерживающей большое количество виртуальных машин, проверку можно выполнять гораздо быстрее, чем с конфигурацией, в которой для поддержки кластеризованных виртуальных машин используется множество номеров LUN. С меньшим числом номеров LUN проверка происходит значительно быстрее (проверка осуществляется с помощью мастера проверки конфигурации в оснастке для отказоустойчивых кластеров).
    •  К оборудованию не предъявляется никаких особых требований, кроме тех, которые уже существуют для хранилища в отказоустойчивом кластере (однако для общих томов кластера необходима система NTFS).
    •  Повышен уровень устойчивости, поскольку кластер может правильно реагировать даже при нарушении подключения между узлом и устройством SAN или при отказе части сети. Кластер перенаправит трафик общих томов кластера по функционирующей части SAN или сети.

Изменения, внесенные в существующие функции

Ниже представлен краткий список улучшений в отказоустойчивых кластерах.

  •  Дополнительные проверки кластеров. Дополнительные проверки, реализованные в мастере проверки кластеров в оснастке для отказоустойчивых кластеров, позволят выполнить точную настройку кластеров, осуществлять контроль конфигураций и выявлять потенциальные неполадки в кластерах, прежде чем они вызовут отказ системы.
  •  Поддержка дополнительных кластеризованных служб. Помимо служб и приложений, которые ранее можно было настраивать в кластере, теперь кластеризация доступна для серверов службы репликации распределенной файловой системы (DFS) и посредника подключений к удаленному рабочему столу (ранее известного как посредник сеансов служб терминалов).
  •  Дополнительные параметры переноса параметров между кластерами. Мастер миграции в оснастке отказоустойчивых кластеров позволяет переносить параметры с кластеров, работающих под управлением Windows Server 2003, Windows Server 2008 и Windows Server 2008 R2. Ранее перенос был возможен только для кластеров с Windows Server 2003. Мастер также может выполнять перенос параметров для дополнительных типов ресурсов и групп ресурсов.
  •  Возможность перемещения виртуальной машины на другой узел с незначительным или нулевым прерыванием в обслуживании клиентов. Windows Server 2008 R2 поддерживает динамическую миграцию — способ переноса виртуальной машины на другой узел, во время которого сохраняется подключение клиентов к виртуальной машине. Также доступны методы быстрого переноса и перемещения виртуальных машин, аналогичные методам, которые предоставлялись для кластеров под управлением Windows Server 2008.

Дополнительные проверки кластеров

Мастер проверки кластеров ранее включал проверки, которые помогали тестировать набор серверов, сети и подключенные хранилища перед добавлением их в кластер. Проверки также были полезны при повторном тестировании кластеров после внесения изменений, например после изменения конфигурации хранилища. Эти проверки продолжают оставаться доступными, и в дополнение к ним были реализованы новые наборы тестов. Новые тесты называются проверками конфигурации кластера и помогают выполнять проверку установленных в кластере параметров, например параметров взаимодействия кластеров в доступных сетях. Эти проверки позволяют анализировать текущую конфигурацию вплоть до частных свойств кластеризованных ресурсов с целью проверки их соответствия рекомендациям. Проверки конфигурации кластера можно также применять для просмотра и архивации конфигураций кластеризованных служб и приложений (включая параметры для ресурсов отдельных кластеризованных служб и приложений).

Дополнительные проверки позволят выполнять точную настройку кластеров, осуществлять контроль конфигураций и выявлять потенциальные неполадки в кластерах, прежде чем они вызовут отказ системы. Это помогает оптимизировать конфигурацию и сравнить ее с рекомендациями, определенными для организации.

Поддержка дополнительных кластеризованных служб

Помимо служб и приложений, которые ранее можно было настраивать в отказоустойчивом кластере, теперь доступна кластеризация для следующих служб.

  •  Посредник подключений к удаленному рабочему столу (ранее — посредник сеансов служб терминалов). Посредник подключений к удаленному рабочему столу поддерживает балансировку нагрузки и переподключение сеанса в ферме серверов удаленного рабочего стола с балансировкой нагрузки. Посредник подключения к удаленному рабочему столу используется для предоставления доступа к программам RemoteApp и виртуальным рабочим столам через подключение удаленных приложений RemoteApp и рабочего стола.
  •  Репликация DFS. Репликация DFS — это эффективный механизм репликации нескольких основных узлов, который можно использовать для синхронизации папок между серверами в сетях с ограниченной полосой пропускания. Кластеризовать можно любой сервер группы репликации.

Дополнительные параметры переноса параметров между кластерами

Мастер миграции в оснастке отказоустойчивых кластеров позволяет переносить параметры с кластеров, работающих под управлением Windows Server 2003, Windows Server 2008 и Windows Server 2008 R2. Ранее перенос был возможен только для кластеров с Windows Server 2003. Как и раньше, мастер поддерживает перенос параметров со следующих групп ресурсов:

  •  Файловый сервер
  •  Протокол DHCP
  •  Универсальное приложение
  •  Универсальный сценарий
  •  Универсальная служба
  •  WINS-сервер

В операционной системе Windows Server 2008 R2 мастер миграции позволяет также выполнять перенос параметров со следующих групп ресурсов:

  •  Пространство имен распределенной файловой системы (DFS-N)
  •  Координатор распределенных транзакций (DTC)
  •  Сервер службы имен хранилищ Интернета (iSNS)
  •  Очередь сообщений (MSMQ)
  •  Протокол NFS
  •  Другие серверы (только клиентская точка доступа и хранилище)
  •  Посредник подключений к удаленному рабочему столу

Следует заметить, что для других кластеризованных серверов, таких как кластеризованные сервера печати, доступны дополнительные процессы переноса.

Возможность переноса виртуальной машины на другой узел с незначительным или нулевым прерыванием в обслуживании клиентов

Отказоустойчивые кластеры в Windows Server 2008 R2 предоставляют множество способов перемещения виртуальной машины с одного узла кластера на другой.

  •  Динамическая миграция. При запуске динамической миграции кластер копирует память, используемую виртуальной машиной, с текущего узла на другой узел, так что в момент фактического перехода на другой узел виртуальная машина уже может использовать данные о памяти и состоянии. Обычно процесс перехода выполняется достаточно быстро, поэтому использующий виртуальную машину клиент не теряет подключения к сети. При использовании общих томов кластера динамическая миграция происходит почти мгновенно, поскольку не требуется переносить владение диском.

Динамическая миграция применима при плановом обслуживании, но не в случае незапланированной отработки отказа. На сервере с поддержкой Hyper-V в конкретный момент времени может выполняться только один процесс динамической миграции (на сервер или с него). Например, при наличии кластера, состоящего из четырех узлов, одновременно может быть запущено не более двух процессов динамической миграции при условии, что в операции задействованы разные узлы.

  •  Быстрая миграция. При запуске быстрой миграции кластер копирует память, используемую виртуальной машиной, на диск хранилища, так что в момент фактического перехода на другой узел данные о памяти и состоянии могут быть быстро прочитаны с диска узлом, принимающим владение. Быстрая миграция применима при плановом обслуживании, но не в случае незапланированной отработки отказа. Быстрая миграция используется для одновременного перемещения нескольких виртуальных машин.
  •  Перемещение. При запуске перемещения кластер готовится перевести виртуальную машину в автономный режим путем выполнения операции, указанной в конфигурации кластера для ресурса виртуальной машины.
    •  Сохранение (задано по умолчанию) — сохранение состояния виртуальной машины с возможностью его восстановления при повторном подключении виртуальной машины к сети.
    •  Завершение работы — завершение работы операционной системы (с ожиданием закрытия всех процессов) виртуальной машины перед ее отключением от сети.
    •  Завершение работы (принудительно) — завершение работы операционной системы в виртуальной машине без ожидания окончания медленных процессов с последующим отключением виртуальной машины от сети.
    •  Выключение — похоже на отключение питания виртуальной машины. Может привести к потере данных.

Параметры, указанные для операции перевода в автономный режим, не действуют при динамической миграции, быстрой миграции или незапланированной отработке отказа. Они влияют только на перемещение (или отключение ресурса от сети с помощью действия Windows PowerShell или приложения).

2 ПОСТРОЕНИЕ ОТКАЗОУСТОЙЧИВОГО КЛАСТЕРА

2.1 Общие сведения о предприятии

Уже несколько лет подряд на предприятии активно идет процесс автоматизирования различных направлений деятельности. В частности продолжается внедрение систем 1С, Лоцман PLM, Компас 3D и других.

Практически все используемые на предприятии системы имеют свои базы данных и требуют наличия СУБД MS SQL. Совокупный объем баз данных превышает 250 ГБ.

Ежедневно на терминальном сервере в «часы пик» активно работает свыше 200 пользователей 1С. Число активных пользователей систем Лоцман и Компас 3D превышает 150 человек.

2.2 Существующее оборудование и сервисы

До внедрения отказоустойчивого кластера базы данных SQL всех приложений обслуживались одним сервером, который также выступал в роли терминального сервера 1С.

Данной конфигурации было вполне достаточно для обслуживания всех существующих задач. Однако подобное решение несет в себе огромные риски для деятельности предприятия, т.к. отказ сервера ведет к остановке практически всех подсистем. В случае остановки сервера будет невозможна нормальная работа конструкторских бюро, выпуск и отгрузка продукции, полуфабрикатов, все финансовые операции будут заморожены.

 В случае выхода из строя «центрального» сервера, восстановительные работы будут заключаться в поиске подходящего оборудования, восстановления данных из резервных копий. На сегодняшний момент доставка серверного оборудования под заказ в город Воронеж может составлять от двух недель до нескольких месяцев. Подобные перерывы в работе недопустимы и губительны для любой организации, тем более для производства.   

Некоторые организации умудряются держать в запасе либо нужное оборудование, либо  комплектующие (имеющие наибольшую вероятность отказа) для него. Действительно, подобные меры позволяют сократить до минимума (от нескольких часов до нескольких суток, в зависимости от сложности системы) время простоя, ведь для восстановления работоспособности достаточно лишь развернуть резервные копии и мы получаем полностью работоспособную систему. Однако данный подход весьма затратный и малоэффективный, так как компьютерная техника из года в год морально устаревает, а с каждым годом на рынке появляются все более производительные системы за те же деньги. А, находясь на складе, оборудование не «отрабатывает» вложенных в него средств.

2.3 Мероприятия для повышения доступности приложений

Для повышения отказоустойчивости основных систем в нашей организации было принято решение построения отказоустойчивого кластера на базе операционной системы Microsoft Windows Server 2008 R2. Эта мера нацелена на повышение доступности таких служб как MS SQL Server, MS Hyper-V, сервер приложений 1С, сервер приложений Лоцман, посредник терминальных сессий и другие.  

2.4 Ожидаемые результаты внедрения отказоустойчивого кластера

Благодаря внедрению кластера должна повыситься отказоустойчивость и доступность следующих основных служб:

  1.  Microsoft SQL Server;
    1.  Microsoft Hyper-V;
    2.  1C server v8.2.

Время восстановления после сбоя должно варьировать от нескольких секунд (время перехода экземпляра SQL сервера с одного узла кластера на другой) до нескольких минут (время миграции виртуальной машины Hyper-V между узлами). Таким образом, полное восстановление работоспособности служб в кластере после отказа одного из узлов сокращается до времени миграции этих служб между узлами кластера, что позволяет сократить время простоя организации в целом.

2.5 Выбор оборудования

Для реализации проекта по внедрению высокодоступного кластера необходимо как минимум наличие следующих компонентов:

  1.  Общий дисковый массив с возможностью подключения минимум к двум узлам с разделяемым доступом;
  2.  Два сервера (конфигурация каждого сервера по отдельности должна удовлетворять требованиям кластеризуемых служб);
  3.  Программное обеспечение, поддерживающее работу в режиме кластера.

В нашем случае было принято решение построения SAN хранилища на базе оборудования IBM.

Данное решение обосновывается тем, что внедрение системы хранения данных на основе SAN позволяет в дальнейшем без труда масштабировать уже существующую инфраструктуру.

2.5.1 Построение сети хранения данных (SAN)

Для построения системы хранения данных было закуплено следующее оборудование:

  1.  Двухконтроллерный дисковый массив IBM DS-3524;
  2.  Двухконтроллерный дисковый массив IBM DS-3512;
  3.  Оптические коммутаторы IBM System Storage SAN24B-4;
  4.  Оптические двухпортовые контроллеры Qlogic QLE-2562;
  5.  Cоединительные кабели FC;
  6.  Соединительные кабели SAS.

Дисковый массив IBM DS-3512 предназначен для расположения на нем баз данных sql. Данная система позволяет использовать скоростные диски (15000rpm) с интерфейсом SAS.

Дисковый массив  IBM DS-3524 будет использоваться как хранилище образов дисков виртуальных машин Hyper-V и как файловое хранилище данных пользователей.

На оптических коммутаторах SAN 24b будут построены две независимые фабрики (сети данных) для обеспечения отказоустойчивости.

Рассмотрев возможные точки отказа, можно определить те компоненты, которые действительно необходимо резервировать именно для нашей организации. Таким образом, при проектировании СХД я уделил особое внимание резервированию дисковых накопителей и каналов связи. В итоге была разработана следующая схема системы хранения данных.

Рисунок 5 – Схема проектируемого кластера

Из схемы видно, что резервирование каналов осуществляется на нескольких этапах:

  1.  Объединение дисковых полок DS-3524 и DS-3512 через интерфейс SAS. Каждый SAS контроллер полки-расширения связан с каждым SAS контроллером основной полки. Отказ любого из SAS контроллера при такой схеме подключения не ведет к отказу СХД в целом.
  2.  Основная дисковая полка подключена аналогичным способом через два оптических контроллера, имеющих по два оптических порта, к двум оптическим коммутатором, на которых настроены независимые фабрики. Подобная схема носит название Dual Fabric. Таким образом, отказ любого из контроллера (либо порта) или коммутатора также не ведет к отказу СХД в целом.
  3.  Каждый из серверов взаимодействует с СХД через оптические контроллеры (HBA), подключенных через два порта в каждый оптический коммутатор.

В итоге мы имеем SAN инфраструктуру с многопутевым вводом-выводом.  

Каждый из дисковых массивов IBM DS3512  и IBM DS3524 имеет резервирование питания, т.е. по два блока питания, каждый из которых подключается к разным источникам бесперебойного питания. Подобным образом подключены и оптические коммутаторы.

Схему физических соединений можно увидеть на рисунке 6.

Рисунок 6 – Физическое соединение дискового хранилища

2.5.2 Подключение серверов

Проектируемый отказоустойчивый кластер будет состоять из двух серверов, дублирующих друг друга попарно. Таким образом, в итоге кластер будет состоять из двух мощных серверов, предназначенных для размещения критических служб, таких как  MS SQL Server и двух серверов меньшей мощности для размещения виртуальных машин.

Каждый из четырех серверов подключается к системе хранения данных через оптические контроллеры посредством оптических кабелей. Оптические контроллеры имеют по два порта, что позволяет дублировать каналы связи. В итоге каждый из четырех серверов подключается к двум фабрикам параллельно, как это было изображено на рисунке 5.  

Для резервирования питания каждый сервер имеет по два или четыре блока питания «горячей замены», подключенных аналогично СХД к разным источникам бесперебойного питания.

2.5.3 Создание LUN на СХД

Как было сказано выше, одним из основных условий создания кластера является наличие общего разделяемого дискового ресурса. Для создания нашего кластера я обозначил необходимым и достаточным создание следующих массивов на системе хранения данных:

  1.  Массив Raid10 из 8 дисков 300Gb(15000rpm);
    1.  Массив Raid10 из 2 дисков 300Gb(15000rpm);
    2.  Массив Raid10 из 12 дисков 300Gb(10000rpm);
    3.  Массив Raid10 из 10 дисков 300Gb(10000rpm).

Рисунок 7 – Созданные RAID-массивы

Таким образом, на двух дисковых полках были созданы четыре дисковых массива. На этих массивах я создал следующие логические диски:

  1.  ClusterSQL – располагается на массиве RAID10 из 8 скоростных дисков. Предназначен для хранения баз данных SQL.
  2.  Bases1C – располагается на двух зазеркаленных скоростных дисках. Обеспечивает хранения баз 1Сv7.7.
  3.  ClusterQuorum – располагается на массиве RAID10 из 12 дисков. Является диском-свидетелем отказоустойчивого кластера.
  4.  DataStorage - располагается на том же массиве RAID10 из 12 дисков, что и кворумный раздел. Предназначен для создания файлового хранилища.
  5.  HyperVStorage - располагается на массиве RAID10 из 10 дисков. Предназначен для хранения образов жестких дисков виртуальных машин.

В результате я получил хранилища для разных задач на разных физических жестких дисках, что в дальнейшем позволит избежать вытеснения одних задач другими в плане использования дисковых ресурсов.

2.5.4 Разграничение доступа к разделам (зонирование)

Основной задачей зонирования является разграничение потоков ввода/вывода в сетях хранения данных (SAN). Зонирование, может осуществляться адаптером сервера (HBA), контроллером RAID массива или непосредственно оптическим коммутатором.

Для ограничения доступа к кластерным разделам я выделил два уровня:

  1.  Зонирование оптических коммутаторов;
  2.  Зонирование дисковой полки.

2.5.4.1 Зонирование оптических коммутаторов

Зонирование коммутаторов при построении SAN фактически заключается в объединение отдельных портов коммутатора или хостов в группы. Обмен данными в таком случае может осуществляться только между членами группы (зоны).

Два основных метода зонирования коммутаторов – это зонирование по номеру порта и зонирование по WWN. WWN – это идентификационный номер порта оборудования, присваиваемый производителем.

Я буду осуществлять WWN-зонирование, так как в этом случае привязка идет по адресу самого хоста, а не по номеру порта коммутатора. Это означает, что физическое переключение хоста в другой порт коммутатора не изменит топологию SAN. Данный метод считается наиболее эффективным.

Прежде чем приступать к зонированию, необходимо на коммутаторе присвоить каждому хосту (WWN) псевдоним (alias).

Рисунок 9 – Зарегистрированные WWN адаптеров

Из скриншота на рисунке 9 видно, что на данном коммутаторе зарегистрированы  WWN  пяти адаптеров: один дисковой полки и четыре серверов (один файловый сервер и три узла кластера). На момент написания данной работы  в кластер были включены только три сервера из планируемых четырех. Каждому WWN были присвоены соответствующе псевдонимы (по сетевым именам серверов) для упрощения их дальнейшего использования.

Следующий шаг зонирования – это непосредственное создание самих зон и включение в них необходимых псевдонимов адаптеров.

Я выделил две зоны:

  1.  Зона для кластера - Cluster;
  2.  Зона для файлового сервера - FileServer.

Рисунок 10 – Члены зоны Cluster

Из рисунка 10 видно, что в зону CLUSTER вошли три сервера и два порта дискового массива. Это значит, что обмен данными в данной группе будет осуществляться только между ее участниками, т.е. узлами кластера.

Рисунок 11- Члены зоны FileServer

На рисунке 11 изображена зона FileServer, членами которой являются два порта дискового массива и один файловый сервер.

Второй оптический коммутатор зонируется аналогичным образом.

На данном этапе зонирование оптических коммутаторов является достаточным для функционирования SAN инфраструктуры.

2.5.4.2 Зонирование дискового массива (маппинг)

В этом разделе будет рассмотрено ограничение доступа к разделам дискового массива на уровне RAID-контроллера самой дисковой полки.

В разделе 2.5.3 я описал создание логических дисков. Для того, чтобы в дальнейшем предотвратить непредвиденное поведение всей инфраструктуры и избежать несанкиционированного доступа к данным, необходимо произвести разграничение доступа на уровне RAID-контроллера дисковой полки. Это осуществляется путем назначения доступа к необходимым LUN по тому же WWN адаптера хоста.

Управление дисковым массивом IBM Storage DS-3524 осуществляется через консоль управления IBM DS Storage Manager.

Перед разграничением доступа необходимо зарегистрировать сами адаптеры по их WWN на дисковой полке.

Рисунок 12 – Зарегистрированные адаптеры

На рисунке 12 изображены зарегистрированные адаптеры (только первые порты) серверов с их WWN и псевдонимами. После регистрации адаптеров можно приступать к организации групп и разграничения доступа.

Как было сказано ранее, нам необходимы две группы безопасности: для кластера (Cluster) и для файлового сервера (FileServer).

В групп для кластера будут входить три сервера (рисунок 13):

- srv-asp6;

- srv-asp7;

- srv-asp9.

Этой группе будет предоставлен доступ к четырем разделам:

- ClusterQuorum;

- HyperVStorage;

- ClusterSQL;

- Bases1C.

Все эти разделы логические диски являются разделяемыми файловыми ресурсами для создания кластера. Из этого следует, что к этим логическим дискам доступ будет возможен только с серверов, являющихся узлами кластера.

Рисунок 13 – Маппинг группы Cluster

Членом второй группы FileServer является только один сервер (srv-asp1), которому предоставлен доступ на диск DataStorage (рисунок 14).

Рисунок 14 – Маппинг группы FileServer

На этом этапе разграничение доступа к дисковым массивам можно считать достаточным для функционирования SAN и кластера.

2.6 Построение отказоустойчивого кластера в MS Windows 2008R2

2.6.1 Выбор редакции операционной системы

Построение отказоустойчивого кластера в операционной системе Windows Server 2008R2 реализуется на основе технологии Microsoft Failover Clustering (MSCS). Данная служба доступна в Windows Server 2008R2 начиная в редакциях Enterprise и Datacenter.

Соответственно, единственным правильным выбором для нашей организации будет операционная система Microsoft Windows Server 2008R2 Enterprise.

Перед началом создания кластера выбранная операционная система должна быть установлена на все серверах, являющихся узлами кластера.

2.6.2 Подключение логических дисков

Сразу после установки операционной системы и необходимых драйверов контроллеров и других системных устройств сервером будут обнаружены созданные раннее и назначенные логические диски через SAN. Однако вместо четырех логических дисков (помимо системных) в управлении дисками мы увидим в 4 раза больше дисков. Каждый логический диск будет иметь 4 «копии», доступ к которым получить будет невозможно.

Это является результатом отсутствия драйвера MPIO (многопутевой ввод вывод). Этот драйвер является одним из компонентов операционной системы и устанавливается через диспетчер сервера. После его установки все «копии» дисков исчезнут и в управлении дисками появятся созданные ранее четыре логических диска соответствующего объема. Замечу, что  данную процедуру необходимо проделать для каждого узла кластера.

Все диски необходимо отформатировать на одном из узлов кластера. На остальных узлах достаточно лишь назначить дискам соответствующие метки тома и буквы дисков.

Рисунок 15 – Подключенные диски в управлении дисками

После этого шага наше дисковое хранилище полностью готово к созданию отказоустойчивого кластера. Однако всяческое использование дисков на этом шаге может привести к непредсказуемым последствиям, т.к. правильную организацию доступа к ним обеспечивает только служба кластеризации.

2.6.3 Проверка узлов кластера

Приступим непосредственно к сборке кластера из подготовленных узлов.

Первым делом необходимо добавить на каждом узле через диспетчер сервера компонент «Средство отказоустойчивости кластеров».

Рисунок 16 – Добавление компонента

После установки этого компонента, в диспетчере сервера появиться «Диспетчер отказоустойчивости кластеров». Все дальнейшие манипуляции с кластером будут осуществляться именно через него.

Прежде чем приступить к сборке кластера, Microsoft настоятельно рекомендует провести проверку узлов будущего кластера на совместимость. Этот тест покажет, возможно собрать кластер из указанных узлов или нет. В случает отрицательного результата будет выведен лог непройденных тестов. В любом случае, проверка является одним из шагов сборки кластера.

2.6.4 Сборка узлов в отказоустойчивый кластер

После получения положительных результатов проверки можно собирать сам кластер. Делается это через «Мастер создания кластера».

В мастере необходимо выбрать требуемые узлы, указать имя и адрес будущего кластера. После того, как все шаги мастера буду пройдены, произойдет сборка кластера и он будет отображен в «Диспетчере отказоустойчивости кластера».

В результате сборки у меня получился кластер с сетевым именем CLUSTER.RUDGORMASH.RU. Мастер автоматически выбрал минимальный раздел для размещения кворума.

Остальные разделы были добавлены мной с соответствующими метками вручную, для размещения на них других служб.

Рисунок 17 – Консоль диспетчера отказоустойчивости

На этом этапе сборка отказоустойчивого кластера полностью закончена. Кластер состоит из 3 узлов. Он полностью готов для размещения на нем служб, которые нуждаются в повышении отказоустойчивости.

В дальнейшем на собранном кластере мною были размещены следующие службы:

  1.  MS SQL Server 2008R2;
  2.  MS HyperV;
  3.  MS File Server;
  4.  MS Terminal Services Session Broker.

Теперь в случае отказа любого из узлов, все службы размещенные в данный момент на нем, в автоматическом режиме мигрируют на доступные узлы кластера. Таким образом, цель, поставленная в начале данной работы, полностью достигнута.

ЗАКЛЮЧЕНИЕ

сеть резервное копирование информация защита

В свете требований предъявляемых к процессу управления в современных условиях рассмотрены возможности предоставляемые корпоративной сетью, указывающие на целесообразность ее применение.

Была представлена разработанная корпоративная сеть. Рассмотрены и обоснованы мероприятия и технические средства по защите информации и предупреждению потери данных в корпоративной сети. Описана архитектура сегмента сетевого кластера, сделан выбор аппаратных и программных средств для кластера.


 

А также другие работы, которые могут Вас заинтересовать

58580. Конституция России 51 KB
  Цель урока: учащиеся продолжают работу по формированию основ правовой культуры закреплению знаний учащихся о государственном устройстве страны о трех ветвях власти. Правила игры: Право ответа игрок получает только от капитана.
58581. Свобода в жизни человека 72 KB
  Воспитательная: подвести учащихся к пониманию что свобода является непреходящей ценностью в любом обществе раскрыть ее значимость в жизни каждого человека; продолжить формирование ценностных ориентаций учащихся путем обсуждения альтернативных моделей поведения человека в ситуациях выбора...
58582. Развитие общества 110.5 KB
  Цель: сформировать у учащихся комплекс знаний о развитии общества. Задачи: Учебная: усвоение учащимися сведений о развитии общества глобальных проблемах человечества понятий прогресс регресс реформа революция глобализация. 2 назовите основные сферы жизни...
58584. Политическая деятельность 64.5 KB
  Так что такое политика Что представляет собой политическая деятельность Кто и как участвует в ней Давай те исследуем эти вопросы. Тема урока Политическая деятельность. Мы рассмотрим следующие вопросы: Политика как деятельность Власть и властная деятельность Легитимность власти.
58585. УРОК ОБЩЕСТВОЗНАНИЯ В НАЧАЛЬНОЙ ШКОЛЕ И ПОДГОТОВКА К НЕМУ УЧИТЕЛЯ 100.5 KB
  Комбинированный урок включает в себя следующие компоненты: организационный момент; проверка знаний и умений предыдущего урока; повторение тех понятий фактов имен и явлений которые тесно связаны с содержанием нового урока; переход к изучению нового материала мостик от известного к неизвестному...
58586. Звуки [н]. Строчная буква «н» 36.28 KB
  На этапе актуализации знаний предложены задания (в том числе и развивающего характера), которые подготовят учащихся к восприятию нового материала.
58587. Оформление проектной работы. Подготовка и оформление пояснительной записки проекта 2 MB
  Подготовка и оформление пояснительной записки проекта. Обучающая определить требования предъявляемые к оформлению пояснительной записки проекта оформить первую часть пояснительной записки введение.
58588. Олимпийские игры в древности 81.5 KB
  Цель урока: Знакомство с историей Олимпийских игр в древности оценка их значения в жизни Древней Греции и современности; осознание миротворческой роли Олимпийских игр Задачи урока: Способствовать формированию знаний учащихся по истории Олимпийских игр...