Какая информация необходима для настройки soft zoning на fc коммутаторе

Обновлено: 09.01.2025

Delphi site: daily Delphi-news, documentation, articles, review, interview, computer humor.

В администрировании SAN есть два понятия: Zoning и LUN Masking. Они важны, поэтому их коснусь чуть подробнее.

Вот смотрите - у вас есть система хранения, и к ней подключены серверы. Скорее всего, это серверы с разными задачами. Какие-то используются под виртуальные машины, и на них установлен ESX(i). Какие-то используются без виртуализации, и на них установлены Windows, Linux и другие операционные системы.

И на системе хранения мы создаем отдельные LUN’bi для этих серверов. В подавляющем большинстве случаев нам не надо, чтобы LUN, на котором ESX хранит свои ВМ, был доступен с физического сервера с, к примеру Windows, и наоборот. Более того, если он будет доступен - это очень опасно, так как может привести к повреждению данных. ESX на таком LUN создаст свою файловую систему, VMFS, а Windows понятия не имеет, что это за файловая система. И будет считать этот диск пустым. И даст нам его отформатировать в NTFS. А это уничтожит VMFS и ВМ на ней. Вот для предотвращения подобных эксцессов и необходимы правильное зонирование и маскировка.

Зонирование - процесс настройки доступности СХД со стороны серверов. Выполняется на уровне коммутатора FC, в котором мы указываем видимость портов друг другом. То есть мы настраиваем, какие HBA к каким SP смогут обращаться. Некоторые коммутаторы FC требуют настройки зонирования всегда, вне зави симости от того, необходима ли эта настройка нам. Но как правильно настраивать зоны - надо смотреть документацию конкретного производителя.

Зонировать можно по портам или по WWN. WWN, World Wide Name - это уникальный идентификатор устройства в сети SAN, аналог MAC-адреса Ethernet. Например, если вы посмотрите на рис. 3.14, то увидите в нижней части рисунка WWN контроллера в сервере (HBA) и контроллера в системе хранения (SP).

Рис. 3.14. Информация о путях к LUN

VMware рекомендует зонировать по портам, а не по WWN. Связано это с тем, что одному порту ESX(i) могут соответствовать несколько WWN. Такое может произойти в случае, если мы назначаем уникальные собственные WWN каким-то виртуальным машинам. Позволяющий это механизм называется NPIV - N-Port ID Virtualization. Если наше оборудование FC поддерживает данный стандарт, то в свойствах ВМ мы можем активировать соответствующую настройку. Подробности см. в разделе, посвященном ВМ.

Маскировка - настройка, выполняемая на системе хранения. Суть настройки - в указании того, какому HBA (следовательно, серверу) какие LUN должны быть видны. Делается на уровне WWN, то есть в интерфейсе управления системы хранения мы должны выбрать LUN и выбрать WWN тех серверов (их HBA), которые должны его увидеть. В интерфейсах разных систем хранения эта опера ция может называться по-разному; где-то она называется «презентованием LUN», LUN Presentation.

Настройки зонирования и маскировки являются взаимодополняющими. С точки зрения администратора ESX(i), необходимо, чтобы корректно было выполнено зонирование - наши серверы ESX(i) имели доступ к СХД. И на этих СХД была сделана маскировка - то есть серверы ESX(i) имели доступ к выделенным под ВМ LUN, не имели доступа ни к каким другим LUN и чтобы к их LUN не имели доступа никакие другие серверы.

Обратите внимание. Маскировка может выполняться на самом сервере ESX(i). Это необходимо в том случае, когда мы хотим скрыть какой-то LUN от ESX(i), но сделать это на SAN мы по каким-то причинам не можем. Для того чтобы замаскировать LUN со стороны ESX(i) (фактически спрятать самому от себя), нам понадобятся vSphere CLI и раздел Mask Paths в документе Fibre Channel SAN Configuration Guide.

Настройка зонирования на коммутаторе HP StorageWorks SN6000C FC Switch (Cisco MDS 9148) с NX-OS 5.2

В этой статье мы пошагово рассмотрим простейший пример настройки зонирования на оптических коммутаторах серии Cisco MDS 9000. В нашем случае будет использоваться коммутатор HP StorageWorks SN6000C FC Switch AW585A (Cisco MDS 9148 Multilayer Fabric Switch) с прошивкой NX-OS 5.

Последовательность действий будет следующей:

Создание наборов зон (zoneset) и включение зон в наборы

Создание нового VSAN

Посмотреть текущий имеющийся список VSAN можно командой:

В конфигурации по умолчанию Cisco DMS уже имеет VSAN 1, которому назначены все порты коммутатора. Согласно документа Cisco MDS 9000 Family CLI Quick Configuration Guide не рекомендуется использовать стандартный VSAN 1 для продуктивных задач. Вместо этого сразу стоит создать свой VSAN.

Создаём свой VSAN, например, с номером 2 и именем «Production»:

Созданный VSAN может находиться в неактивном состоянии (down) пока в него не включены порты, или если к включенным в него портам ничего не подключено.

Включение портов в VSAN

Все активные интерфейсы коммутатора (с 1 по 16), используемые в нашем примере, назначаются в новый созданный VSAN 2

После этого можем включить интерфейсы, так как по умолчанию они могут быть отключены:

Выполняем проверку состояния интерфейсов, выводя в консоль информацию обо всех интерфейсах за исключением выключенных:

Как видим, порты с 1 по 16 включены в VSAN 2, но к ним пока ничего не подключено.

Ещё один способ посмотреть членство интерфейсов коммутатора в разных VSAN

Создание псевдонимов

В Cisco MDS существуют псевдонимы двух типов FC Alias и Device Alias. Возможности у Device Alias шире, чем FC Alias, но этот вид алиасов работает только на коммутаторах Cisco, а алиасы FC Alias совместимы с коммутаторами других производителей и могут быть полезны в смешанных мультивендорных фабриках.

Алиасы FC Alias могут содержать несколько WWPN, в то время, как Device Alias используется для описания одного WWPN.

Алиасы FC Alias используются только для зонирования и работают только в рамках одного VSAN, в то время, как Device Alias могут быть использованы для зонирования, port security, Inter-VSAN Routing (IVR) и доступны сразу во всех VSAN.

Алиасы FC Alias распространяются по коммутаторам вместе с набором зон (zoneset), а алиасы Device Alias не имеют такой привязки и распространяются через службу CFS (Cisco Fabric Service).

Есть мнение, что в фабрике с коммутаторами только от Cisco лучше использовать Device Alias.

При создании алиасов рекомендуемой Cisco практикой считается использование WWN конечного порта - WWPN.

Подсмотреть WWPN устройств, подключенных на тот или иной интерфейс коммутатора можно в базе данных FLOGI. Например, подключим к 3 порту коммутатора (интерфейс fcl/3) один из контроллеров СХД, а затем посмотрим информацию о подключенном к этому порту устройстве:

Здесь мы увидим и опорный WWN контроллера СХД и WWPN порта контроллера СХД, который нам потребуется для создания алиаса.

Рассмотрим пример создания FC Alias:

Рассмотрим пример создания Device Alias:

В нашем случае к 16 порту коммутатора подключен HBA контроллер с хоста, на который нужно транслировать СХД из порта 3. По аналогии с выше приведённым примером, создадим для хоста ещё один алис Device Alias, после чего посмотрим всю информацию из базы данных FLOGI, где уже будут дополнительно отображаться наши алиасы, облегчая восприятие информации.

Создание зон

Следующим шагом будет создание зон и добавление в эти зоны участников. Для начала создадим зону с говорящим названием.

Посмотрим какие способы добавления участников в зону мы имеем:

Как видим, при добавлении членов зоны можно использовать разные методы, но одним из самых наглядных будет использование в качестве членов зоны ранее созданных алиасов Device Alias.

Добавим в зону ранее созданные псевдонимы WWPN и посмотрим общую информацию о зонах и их членах:

Создание наборов зон

Набор зон zoneset может включать в себя одну и более зон, при этом одна и та же зона может быть включена в разные наборы зон. Но только один zoneset может быть активным в рамках отдельно взятого VSAN. Для примера создадим один единственный набор зон с именем «ActiveZoneSet» и включим в него ранее созданную зону:

Активация набора зон

Активируем набор зон и сохраняем конфигурацию текущую рабочую конфигурацию в стартовую.

С этого момента зонирование на нашем коммутаторе начинает работать.

Проверим активный набор зон для всех VSAN

Проверяем результат работы зонирования - проверяем доступность стораджа на хосте.

Дополнительные источники информации:

Twistedminds - Cisco MDS для самых маленьких.
Годная сжатая статья, от которой я оттолкнулся. Рекомендуется к прочтению

Проверено на следующих конфигурациях:

Автор текущей редакции:
Алексей Максимов
Время публикации: 11.04.2019 21:41

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage. О вариантах подключениях устройств хранения к серверу тут.

Примером FC SAN является даже прямое соединение между сервером и СХД т.к. на сервере используется FC HBA (подробнее в разделе Комоненты) внутри сервера. Недостаток direct – невозможно без остановки сервера подключить доп. СХД к серверу. Single-switch/dual-switch – подключение серверов к СХД через FC-коммутаторы, dual-switch, понятно, для отказоустойчивости/балансинга.

Преимущества FC SAN

Производительность (FC до 16гб/с), централизованное/гибкое управление, динамическая утилизация ресурсов, трафик не грузит LAN, масштабируемость, совместимость с SCSI устройствами хранения (особенно важно было при старте FC, не потребовало ничего менять на серверах).

Fibre Channel

FC описан в ряде стандартов, внизу скрин со стандартами в зависимости от уровня имплементации.

В стеке FC 5 уровней с похожей на TCP/IP схемой инкапсуляции:

Пример инкапсулиции SCSI команд в стек FC.

Адресация

Каждое устройство в сети Fiber Channel имеет уникальный номер WWN. WNN бывает двух видов, под оба выделено 64 бита, со своей частью под Vendor ID:

Не проверенная инфа из вебинара: при подключении устройства к сети FC на основе WWNN делается 24-битный адрес устройства WWPN из-за ограничения поля адреса в FC в 24 бита. Сопоставлением имен WWNN и WWPN занимаются FC-коммутаторы.

Логические топологии

В сетях FC бывают три варианта топологий:

Типы портов

Типы портов в FC-сетях:

Компоненты сети хранения FC

Storage device – устройство хранения (СХД, ленточные библиотеки)
FC коммутаторы – промежуточные устройства (судя по вебинару есть так же FC роутеры), часто на них поднят iSNS сервер для работы (см. в статье SAN на базе IP)
HBA (Host Bus Adapter) – по сути NIC сервера в FC SAN. Обычно HBA подключаются в PCI-e интерфейс на сервере/контроллере СХД. В FC используется оптика, поэтому HBA, помимо прочего, выполняет функцию преобразования электрических сигналов в оптические (и наоборот).
Optical fiber – среда передачи

Подключение устройств Storage device (СХД) к сети FC делается через специальные FC порты на FC платах СХД. Это могут быть обычные FC платы или платы FCoe, с возможностью передачи FC-кадров через Ethernet (инкапсуляция FC в Ethernet).

FC коммутаторы имеют порты под SFP FC (или gbic/xfp). Только в редких случаях порты бывают не SFP, а с жесткой заточкой под определенный тип FC.

FC коммутаторы имеют поддержку Zoning – зонирование сети FC, что-то типо VLAN на Ethernet коммутаторах. Позволяет делить сеть FC на отдельные участки. Используется для упрощения администрирования, улучшения безопасности, увеличения производительности. Одно устройство может входить сразу в несколько зон.

Есть два основных режима зонирования:

HBA бывают SCSI, FB. Имеют часто возможность вставления SFP. Бывают многопортовые HBA. Наиболее популярные вендоры: Brocade, Emulex, Qlogic.

Скорость и расстояние в технологии FC в зависимости от используемой Optical fiber. Расстояние от 0.5 метра до 50км (без использования промежуточных FC свичей). Лимит на минимальное сделан во избежание слишком мощного сигнала, в противном случае нужно ставить аттенюаторы. Скорость до 16Gbit/s. Внутри ЦОД чаще всего используют многомод. На многомоде расстояние до 500м, причем уменьшение скорости пропорционально увеличению расстояния.

Multipath

Сравнение FC SAN с IP SAN и Конвергенция FC SAN и IP SAN

Всем тем, кто работает в сетях хранения хорошо известно, что такое Fibre Channel (FC). Но «классическим» сетевикам это понятие может быть в новинку. Если не углубляться в детали для чего он нужен, то на high-level FC можно представить как переход от дисков, которые подсоединяются по проводам к сетевому подключению. Т.е. FC по сути представляет собой целиковый стек протоколов, по которым осуществляется доступ от инициатора (сервера) к фабрике.

Каждый физический FC интерфейс на коммутаторе может работать в одном из доступных ему режимов.

E-port (expansion). Подсоединяется к другому Е-порту для создания межкоммутаторного линка (Inter-Switch Link, ISL). Е-порты переносят фреймы, которые предназначаются конечным серверам. По сути, это аналог 802.1Q в LAN сетях.
F-port (fabric). Подсоединяется к периферийному устройству (серверу или диску). Аналог access-порта.
N-port (node). Порт на сервере (дисковом устройстве), подсоединяется к F-порту.

Точно также, как в классических IP-сетях используются МАС и IP-адреса, в FC предусмотрена своя адресация. У каждого порта есть свой World Wide Name (WWN), который покупается производителем у IEEE.

WWN’ы бывают двух типов:

Node WWN (nWWN). Уникально идентифицирует устройство. Каждая FC сетевая плата, коммутатор, шлюз и FC диск имеют по одному уникальному nWWN.
Port WWN (pWWN). Идентифицирует конкретный порт на устройстве. Т.е. двойной HBA (Host Bus Adapter) имеет три WWN: один nWWN и два pWWN.

Помимо встроенных аппаратных адресов у устройств есть логический адрес – FC Identificator (FCID). Это 3-ех байтный адрес, который назначается устройству фабрикой (!). Адрес состоит из трех частей:

Domain ID. У каждого коммутатора DID свой и является уникальным в фабрике.
Area ID. Характеризует группу портов внутри логической зоны.
Port ID.

Собственно, FCID используется в Data Plane операциях на FC-коммутаторах. За назначение FCID на коммутаторы отвечает специальный коммутатор, который называется основным (principal switch). Он выбирается в сети автоматически и не требует никакой дополнительной конфигурации. Единственное его отличие от всех остальных коммутаторов в сети – ответственность за назначение FCID. Но если Вам очень захочется, то можете руками определить основной свитч с помощью команды fcdomain priority (меньше – лучше).

Прим. Важно: для увеличения стабильность фабрики, никакой новый коммутатор не может стать основным при подключении в сеть, если такой свитч уже был выбран.

После того, как principal свитч был выбран, посмотрим, что происходит, когда в фабрику подсоединяется новое устройство (будь то новый диск, сервер или коммутатор).

Fabric Channel Login

Прежде чем N-порт сможет обмениваться данными с другим N-портом, должна пройти некая последовательность действий:

N-порт должен присоединиться к фабрике. Это процесс называется Fabric Login (FLOGI)
О новом порту должно быть известно всем остальным устройствам в фабрике

Рассмотрим процесс FLOGI. Он начинается в тот момент, когда N-порт подсоединяется к F-порту.

После завершения Fabric Login, в результате которого устройство регистрируется на фабрике, по требованию (когда хост хочет передать данные на другой диск) начинается процесс Port Login (PLOGI). Его целью является установление логической сессии между двумя интерфейсами для последующего обмена информацией (аналог установления TCP-сессии).

PLOGI начинается с порта устройства-инициатора.

После этого сессия считается установленной и в дело вступают протоколы более высокого уровня (напр. запись базы данных SQL на удаленный диск). Сей процесс известен как Process Login.

В сетях хранения данных важнейшим условием является обеспечение lossless среды (т.е. среды передачи данных без потерь) при обмене данными между портами серверов (эта критичность связана с работой SCSI). Это так называемый FC Flow Control, в основу которого положена структура кредитов, которая заключается в том, что Tx порт высылает кадры только в том случае, если есть уверенность в том, что Rx порт в данный момент не перегружен и может этот кадр принять и обработать. Весь процесс устроен примерно следующим образом:

Tx никогда не допускает ситуации, при которой BB_Credit_CNT становится больше, чем BB_Credit. Т.е. если Tx не получил подтверждения от Rx о свободном буфере, то передача кадров приостанавливается.

Одним из важнейших понятий в FC является понятие Zoning. По сути, это некий аналог ACL, который распространяется на всю фабрику целиком. Также, применения зонинга является обязательным.

Основой зонинга является разделение различных устройств в разные зоны. Хосты, которые относятся к разным зонам не могут общаться между собой.

У циски FC поддерживается на Nexus5K и MDS9K. В случае Nexus’а сейчас нам доступны модели двух поколений: 5500 и 5600. Почти все коммутаторы имеют в парт-номерах приставку UP (например, Nexus 5548UP). Это значит, что эти порты – унифицированные, т.е. могут работать как в режиме FC, так и в режиме Ethernet. По умолчанию, все порты – Ethernet. У MDS все порты исключительно Fibre Channel.

Прежде всего (если мы работаем с N5K) надо перевести часть портов в FC режим. Есть нюанс: мы не можем поменять роль произвольных портов. Номера FC портов всегда должны начинаться с последнего парта в коммутаторе (или же в модуле расширения). Например, для 5548UP мы можем перевести порты с №32-27, но не можем с №17-20.

Делается это с помощью следующей конструкции:

slot <SLOT NUMBER>

port <PORT NUMBER> type fc

После этого перезагружаемся. Либо ребутаем модуль расширения командой poweroff module <MODULE NUMBER>.

Настраиваем F-порт на устройстве. Это очень просто:

interface fc <INTF ID>

switchport mode f

Далее необходимо связать этот порт с VSAN’ой.

vsan database

vsan <VSAN ID>

vsan <VSAN ID> interface fc <INTF ID>

Теперь настраиваем транк (Е-порты) между коммутаторами.

interface fc <INTF ID>

switchport mode E

switchport trunk allowed vsan <VSANs IDs>

По идее, это все. В SAN сетях чаще всего не требуется применять Inter-VSAN роутинг (в отличие от повсеместного InterVlan роутинга в LAN), т.к. классический Best-Practice дизайн предполагает наличие 2ух фабрик, которые физически изолированы друг от друга. И каждая из которых работает по отдельности (очень часто их называют Фабрика А и Фабрика Б).

Посмотреть какая VSAN с каким интерфейсом ассоциирована можно командой

Можно также посмотреть, какие VSAN разрешены на конкретном интерфейсе (бывает полезно, если этот интерфейс – транк)

После настройки необходимо убедиться в отработке процесса FLOGI

В этом выводе видно, что к порту fc9/13 подключены 5 дисков, а также указаны их pWWN. Если FLOGI не отрабатывает, а порт настроен корректно в F-режим, то это сигнализирует о какой-то низкоуровневой проблеме (битый кабель, ASIC и пр.)

Посмотреть какому pWWN какой FCID был выдан можно так

Напоминаю, что FLOGI хранятся локальной на коммутаторе, а FCNS – целиком на фабрике.

Читайте также: