Непотопляемый сервер: настраиваем кластер на основе Windows 2003 Server

🕛 16.06.2008, 11:54

Сегодня бизнес-процессы многих компаний полностью завязаны на информационных технологиях. С ростом такой зависимости организаций от работы вычислительных сетей доступность сервисов в любое время и под любой нагрузкой играет большую роль. Один компьютер может обеспечить лишь начальный уровень надежности и масштабируемости, максимального же уровня можно добиться за счет объединения в единую систему двух или нескольких компьютеров - кластер.
Для чего нужен кластер

Кластеры применяют в организациях, которым нужна круглосуточная и бесперебойная доступность сервисов и где любые перерывы в работе нежелательны и недопустимы. Или в тех случаях, когда возможен всплеск нагрузки, с которым может не справиться основной сервер, тогда ее помогут компенсировать дополнительные хосты, выполняющие обычно другие задачи. Для почтового сервера, обрабатывающего десятки и сотни тысяч писем в день, или веб-сервера, обслуживающего онлайн-магазины, использование кластеров очень желательно. Для пользователя подобная система остается полностью прозрачной - вся группа компьютеров будет выглядеть как один сервер. Использование нескольких, пусть даже более дешевых, компьютеров позволяет получить весьма существенные преимущества перед одиночным и шустрым сервером. Это равномерное распределение поступающих запросов, повышенная отказоустойчивость, так как при выходе одного элемента его нагрузку подхватывают другие системы, масштабируемость, удобное обслуживание и замена узлов кластера, а также многое другое. Выход из строя одного узла автоматически обнаруживается, и нагрузка перераспределяется, для клиента все это останется незамеченным.
Возможности Win2k3

Вообще говоря, одни кластеры предназначены для повышения доступности данных, другие - для обеспечения максимальной производительности. В контексте статьи нас будут интересовать MPP (Massive Parallel Processing) - кластеры, в которых однотипные приложения выполняются на нескольких компьютерах, обеспечивая масштабируемость сервисов. Существует несколько технологий, позволяющих распределять нагрузку между несколькими серверами: перенаправление трафика, трансляция адресов, DNS Round Robin, использование специальных программ, работающих на прикладном уровне, вроде веб-акселераторов. В Win2k3, в отличие от Win2k, поддержка кластеризации заложена изначально и поддерживается два типа кластеров, отличающихся приложениями и спецификой данных:

1. Кластеры NLB (Network Load Balancing) - обеспечивают масштабируемость и высокую доступность служб и приложений на базе протоколов TCP и UDP, объединяя в один кластер до 32 серверов с одинаковым набором данных, на которых выполняются одни и те же приложения. Каждый запрос выполняется как отдельная транзакция. Применяются для работы с наборами редко изменяющихся данных, вроде WWW, ISA, службами терминалов и другими подобными сервисами.

2. Кластеры серверов - могут объединять до восьми узлов, их главная задача - обеспечение доступности приложений при сбое. Состоят из активных и пассивных узлов. Пассивный узел большую часть времени простаивает, играя роль резерва основного узла. Для отдельных приложений есть возможность настроить несколько активных серверов, распределяя нагрузку между ними. Оба узла подключены к единому хранилищу данных. Кластер серверов используется для работы с большими объемами часто изменяющихся данных (почтовые, файловые и SQL-серверы). Причем такой кластер не может состоять из узлов, работающих под управлением различных вариантов Win2k3: Enterprise или Datacenter (версии Web и Standart кластеры серверов не поддерживают).

В Майкрасофт Application Center 2000 (и только) имелся еще один вид кластера - CLB (Component Load Balancing), предоставляющий возможность распределения приложений COM+ между несколькими серверами.
NLB-кластеры

При использовании балансировки нагрузки на каждом из хостов создается виртуальный сетевой адаптер со своим независимым от реального IP и МАС-адресом. Этот виртуальный интерфейс представляет кластер как единый узел, клиенты обращаются к нему именно по виртуальному адресу. Все запросы получаются каждым узлом кластера, но обрабатываются только одним. На всех узлах запускается служба балансировки сетевой нагрузки (Network Load Balancing Service), которая, используя специальный алгоритм, не требующий обмена данными между узлами, принимает решение, нужно ли тому или иному узлу обрабатывать запрос или нет. Узлы обмениваются heartbeat-сообщениями, показывающими их доступность. Если хост прекращает выдачу heartbeat или появляется новый узел, остальные узлы начинают процесс схождения (convergence), заново перераспределяя нагрузку. Балансировка может быть реализована в одном из двух режимов:

1) unicast - одноадресная рассылка, когда вместо физического МАС используется МАС виртуального адаптера кластера. В этом случае узлы кластера не могут обмениваться между собой данными, используя МАС-адреса, только через IP (или второй адаптер, не связанный с кластером);

2) multicast - многоадресная рассылка, МАС-адрес кластера назначается физическому адресу, но не затирая его. Для реализации этого метода маршрутизаторы должны поддерживать групповые МАС-адреса.

В пределах одного кластера следует использовать только один из этих режимов.

Можно настроить несколько NLB-кластеров на одном сетевом адаптере, указав конкретные правила для портов. Такие кластеры называют виртуальными. Их применение дает возможность задать для каждого приложения, узла или IP-адреса конкретные компьютеры в составе первичного кластера, или блокировать трафик для некоторого приложения, не затрагивая трафик для других программ, выполняющихся на этом узле. Или, наоборот, NLB-компонент может быть привязан к нескольким сетевым адаптерам, что позволит настроить ряд независимых кластеров на каждом узле. Также следует знать, что настройка кластеров серверов и NLB на одном узле невозможна, поскольку они по-разному работают с сетевыми устройствами.

Администратор может сделать некую гибридную конфигурацию, обладающую достоинствами обоих методов, например, создав NLB-кластер и настроив репликацию данных между узлами. Но репликация выполняется не постоянно, а время от времени, поэтому информация на разных узлах некоторое время будет отличаться.

С теорией на этом закончим, хотя о построении кластеров можно рассказывать еще долго, перечисляя возможности и пути наращивания, давая различные рекомендации и варианты конкретной реализации. Все эти тонкости и нюансы оставим для самостоятельного изучения и перейдем к практической части.
Настройка NLB-кластера

Для организации NLB-кластеров дополнительное ПО не требуется, все производится имеющимися средствами Win2k3. Для создания, поддержки и мониторинга NLB-кластеров используют компонент «Диспетчер балансировки сетевой нагрузки» (Network Load Balancing Manager), который находится во вкладке «Администрирование» «Панели управления» (команда NLBMgr). Так как компонент «Балансировка нагрузки сети» ставится как стандартный сетевой драйвер Windows, установку NLB можно выполнять и при помощи компонента «Сетевые подключения», в котором доступен соответствующий пункт. Но лучше использовать только первый вариант, одновременное задействование диспетчера NLB и «Сетевых подключений» может привести к непредсказуемым результатам.

Диспетчер NLB позволяет настраивать и управлять из одного места работой сразу нескольких кластеров и узлов.

Возможна также установка NLB-кластера на компьютере с одним сетевым адаптером, связанным с компонентом «Балансировка нагрузки сети», но в этом случае при режиме unicast диспетчер NLB на этом компьютере не может быть использован для управления другими узлами, а сами узлы не могут обмениваться друг с другом информацией.

Для упрощения будем считать, что операционные системы установлены, сетевые подключения настроены (как обычно), узлы будущего кластера подключены к Active Directory и у тебя есть соответствующие права.

Теперь вызываем диспетчер NLB. Кластеров у нас пока нет, поэтому появившееся окно не содержит никакой информации. Выбираем в меню «Кластер» пункт «Новый» и начинаем заполнять поля в окне «Параметры кластера». В поле «Настройка IP-параметров кластера» вводим значение виртуального IP-адреса кластера, маску подсети и полное имя. Значение виртуального МАС-адреса устанавливается автоматически. Чуть ниже выбираем режим работы кластера: одноадресный или многоадресный. Обрати внимание на флажок «Разрешить удаленное управление» - во всех документах Майкрасофт настоятельно рекомендует его не использовать во избежание проблем, связанных с безопасностью. Вместо этого следует применять диспетчер или другие средства удаленного управления, например инструментарий управления Windows (WMI). Если же решение об его использовании принято, следует выполнить все надлежащие мероприятия по защите сети, прикрыв дополнительно брандмауэром UDP-порты 1717 и 2504.

После заполнения всех полей нажимаем «Далее». В окне «IP-адреса кластера» при необходимости добавляем дополнительные виртуальные IP-адреса, которые будут использоваться этим кластером. В следующем окне «Правила для портов» можно задать балансировку нагрузки для одного или для группы портов всех или выбранного IP по протоколам UDP или TCP, а также блокировать доступ к кластеру определенным портам (что межсетевой экран не заменяет). По умолчанию кластер обрабатывает запросы для всех портов (0-65365); лучше этот список ограничить, внеся в него только действительно необходимые. Хотя, если нет желания возиться, можно оставить все, как есть. Кстати, в Win2k по умолчанию весь трафик, направленный к кластеру, обрабатывал только узел, имевший наивысший приоритет, остальные узлы подключались только при выходе из строя основного.

Например, для IIS потребуется включить только порты 80 (http) и 443 (https). Причем можно сделать так, чтобы, например, защищенные соединения обрабатывали только определенные серверы, на которых установлен сертификат. Для добавления нового правила нажимаем «Добавить», в появившемся диалоговом окне вводим IP-адрес узла, или если правило распространяется на всех, то оставляем флажок «Все». В полях «С» и «По» диапазона портов устанавливаем одно и то же значение - 80. Ключевым полем является «Режим фильтрации» (Filtering Mode) - здесь задается, кем будет обработан этот запрос. Доступно три поля, определяющие режим фильтрации: «Несколько узлов», «Один узел» и «Отключить этот диапазон портов». Выбор «Один узел» означает, что трафик, направленный на выбранный IP (компьютера или кластера) с указанным номером порта, будет обрабатываться активным узлом, имеющим наименьший показатель приоритета (о нем чуть ниже). Выбор «Отключить…» значит, что такой трафик будет отбрасываться всеми участниками кластера.

В режиме фильтрации «Несколько узлов» можно дополнительно указать вариант определения сходства клиентов, чтобы направлять трафик от заданного клиента к одному и тому же узлу кластера. Возможны три варианта: «Нет», «Одно» или «Класс C». Выбор первого означает, что на любой запрос будет отвечать произвольный узел. Но не следует его использовать, если в правиле выбран протокол UDP или «Оба». При избрании остальных пунктов сходство клиентов будет определяться по конкретному IP или диапазону сети класса С.

Итак, для нашего правила с 80-м портом остановим свой выбор на варианте «Несколько узлов - класс C». Правило для 443 заполняем аналогично, но используем «Один узел», чтобы клиенту всегда отвечал основной узел с наименьшим приоритетом. Если диспетчер обнаружит несовместимое правило, будет выведено предупреждающее сообщение, дополнительно в журнал событий Windows будет внесена соответствующая запись.

Далее подключаемся к узлу будущего кластера, введя его имя или реальный IP, и определяем интерфейс, который будет подключен к сети кластера. В окне «Параметры узла» выбираем из списка приоритет, уточняем сетевые настройки, задаем начальное состояние узла (работает, остановлен, приостановлен). Приоритет одновременно является уникальным идентификатором узла; чем меньше номер, тем выше приоритет. Узел с приоритетом 1 является мастер-сервером, в первую очередь получающим пакеты и действующим как менеджер маршрутизации.

Флажок «Сохранить состояние после перезагрузки компьютера» позволяет в случае сбоя или перезагрузки этого узла автоматически ввести его в строй. После нажатия на «Готово» в окне Диспетчера появится запись о новом кластере, в котором пока присутствует один узел.
Следующий узел добавить также просто. Выбираем в меню «Добавить узел» либо «Подключить к существующему», в зависимости от того, с какого компьютера производится подключение (он уже входит в кластер или нет). Затем в окне указываем имя или адрес компьютера, если прав для подключения достаточно, новый узел будет подключен к кластеру. Первое время значок напротив его имени будет отличаться, но когда завершится процесс схождения, он будет такой же, как и у первого компьютера.

Так как диспетчер отображает свойства узлов на момент своего подключения, для уточнения текущего состояния следует выбрать кластер и в контекстном меню пункт «Обновить». Диспетчер подключится к кластеру и покажет обновленные данные.

После установки NLB-кластера не забудь изменить DNS-запись, чтобы разрешение имени теперь показывало на IP-кластера.
Изменение загрузки сервера

В такой конфигурации все серверы будут загружены равномерно (за исключением варианта «Один узел»). В некоторых случаях необходимо перераспределить нагрузку, большую часть работы возложив на один из узлов (например, самый мощный). Применительно к кластеру правила после их создания можно изменить, выбрав в контекстном меню, появляющемся при щелчке на имени, пункт «Свойства кластера». Здесь доступны все те настройки, о которых мы говорили выше. Пункт меню «Свойства узла» предоставляет несколько больше возможностей. В «Параметрах узла» можно изменить значение приоритета для конкретно выбранного узла. В «Правилах для портов» добавить или удалить правило нельзя, это доступно только на уровне кластера. Но, выбрав редактирование конкретного правила, мы получаем возможность скорректировать некоторые настройки. Так, при установленном режиме фильтрации «Несколько узлов» становится доступным пункт «Оценка нагрузки», позволяющий перераспределить нагрузку на конкретный узел. По умолчанию установлен флажок «Равная», но в «Оценке нагрузки» можно указать другое значение нагрузки на конкретный узел, в процентах от общей загрузки кластера. Если активирован режим фильтрации «Один узел», в этом окне появляется новый параметр «Приоритет обработки». Используя его, можно сделать так, что трафик к определенному порту будет в первую очередь обрабатываться одним узлом кластера, а к другому - другим узлом.
Журналирование событий

Как уже говорилось, компонент «Балансировка нагрузки сети» записывает все действия и изменения кластера в журнал событий Windows. Чтобы их увидеть, выбираем «Просмотр событий - Система», к NLB относятся сообщения WLBS (от Windows Load Balancing Service, как эта служба называлась в NT). Кроме того, в окне диспетчера выводятся последние сообщения, содержащие информацию об ошибках и обо всех изменениях в конфигурации. По умолчанию эта информация не сохраняется. Чтобы она записывалась в файл, следует выбрать «Параметры -> Параметры журнала», установить флажок «Включить ведение журнала» и указать имя файла. Новый файл будет создан в подкаталоге твоей учетной записи в Documents and Settings.
Настраиваем IIS с репликацией

Кластер кластером, но без службы он смысла не имеет. Поэтому добавим IIS (Internet Information Services). Сервер IIS входит в состав Win2k3, но, чтобы свести к минимуму возможность атак на сервер, он по умолчанию не устанавливается.

Инсталлировать IIS можно двумя способами: посредством «Панели управления» или мастером управления ролями данного сервера. Рассмотрим первый. Переходим в «Панель управления - Установка и удаление программ» (Control Panel - Add or Remove Programs), выбираем «Установку компонентов Windows» (Add/Remove Windows Components). Теперь переходим в пункт «Сервер приложений» и отмечаем в «Службах IIS» все, что необходимо. По умолчанию рабочим каталогом сервера является \Inetpub\wwwroot. После установки IIS может выводить статические документы.

Вот, собственно, и все. Если в файл hosts, который находится в C:\Windows\System32\Drivers\Etc, добавить запись для разрешения имени веб-сервера и IP-адрес кластера, то, обратившись с локального узла, можно получить документ с веб-сервера. Для репликации данных между узлами кластера используй службу DFS