•  “Обнаружение устройств iSCSI”
•  “Список ”
•  “Восстановление ошибок iSCSI”
•  “Безопасность iSCSI”

Обнаружение устройств iSCSI
Для открытия сессии iSCSI, инициатор должен знать IP адрес, номер порта TCP и iSCSI имя таргета. Преимущество механизма обнаружения таргетов iSCSI, заключается в том, что требует небольших накладных расходов в небольших топологиях и масштабируется до топологий промышленных предприятий.

Команда SendTargets
Инициатор логируется на iSCSI таргет, с целью обнаружения устройств, и запрашивает список WWUI адресов доступных устройств, посылая различные команды SendTargets. Все iSCSI таргеты, должны поддерживать команду SendTargets.

Протокол iSNS
Протокол iSNS разработан для облегчения автоматического обнаружения, управления, конфигурирования устройств iSCSI и Fibre Channel устройств в сетях TCP/IP. iSNS предоставляет возможность использования сервисов, совместимых с Fibre Channel, по обнаружению и управлению устройствами в IP сетях, и по функциональности приближает IP сети к сетям SAN. iSNS также облегчает интеграцию сетей IP и Fibre Channel networks, при помощи возможности эмулирования сервисов Fibre Channel fabric, сервисов управления устройствами iSCSI и Fibre Channel. Тем самым iSNS работает в любых сетях хранения данных, содержащих устройства iSCSI и Fibre Channel.

Сервис SLP
Таргеты iSCSI регистрируются в SLP, набором сервисных URL. Один адрес URL соответствует таргету, к которому можно получить доступ. Инициатор обнаруживает таргеты при помощи запросов к сервису SLP. Таргеты, которые не поддерживают SLP, либо находятся под контролем сервиса управления, могут быть зарегистрированы промежуточным сервисом.

Список
Списки позволяют проверять целостность незашифрованных данных, после того как целостность данных была проверена на уровне протокола передачи данных и охватывает весь путь коммуникации, включая все элементы, которые могут изменить PDU сетевого уровня, таких как маршрутизаторы, коммутаторы и прокси.
Дополнительный заголовок и списки помогают защитить целостность заголовка и данных. Списки размещаются после заголовка и данных PDU. Данные списки также используются этапе логина. Разделение заголовка списков и данных списков, используется при маршрутизации iSCSI, когда изменяется только заголовок передаваемого пакета.

Восстановление ошибок iSCSI
iSCSI поддерживает три уровня восстановления ошибок:
◆ Уровень 0 подразумевает восстановление на уровне сессии.
◆ Уровень 1, использует уровень 0. Восстанавливает ошибки списков.
◆ Уровень 2, использует уровень 1. Восстанавливает соединение.
Самым основным видом восстановления, является восстановление на уровне сессии. Во время восстановления сессии, в которой обнаружен любой род ошибок, прерывается вся сессия iSCSI. Все TCP соединения между инициатором и таргетом закрываются, и все SCSI соединения закрываются со статусом ошибки. Далее осуществляется создание новой сессии iSCSI и создание новых соединений TCP.
Первый уровень восстановления ошибок стартует, когда драйвер iSCSI устройства обнаруживает ошибку в списке и пакет должен быть отброшен. Команда, данные которой были потеряны, завершится с соответствующим кодом ошибки.
Восстановление соединения стартует, когда разрывается соединение TCP. При обнаружении обрыва TCP соединения, iSCSI драйвер завершить все команды, которые отправлялись после команды, на которой произошел сбой или попытаться отправить SCSI команды через другое TCP соединение. Если необходимо, драйвер iSCSI может установить новое соединение TCP и может информировать таргет о пересылке SCSI команд через другое TCP соединение.

Безопасность iSCSI
Исторически сложилось, что в обычных системах хранения данных шифрование не применяется. Обычно дисковые массивы напрямую подключаются к узлу, либо через Storage Area Network (SAN) и полностью отделены от внешних сетей. Передача данных SCSI через сети IP, требует конфиденциальности передаваемых данных. iSCSI должен поддерживать возможность предотвращение активных атак (таких как замена идентификатора, вставка сообщений, их изменение) и пассивных атак (таких, как перехват пакетов, с целью анализа данных передающихся через сеть). Хотя технически это возможно, сеть iSCSI не должна быть настроена без обеспечения шифрования данных. Без шифрования пакетов, iSCSI может использоваться только в конкретных случаях, например, когда все оборудование установлено в одном помещении и угрозы безопасности нет.

Механизм шифрования
В шифровании данных iSCSI участвуют инициатор, таргет и конечные точки IP соединения. В ситуации, когда одно соединение iSCSI использую множество таргетов и инициаторов, требуется использовать конечные точки. Для обеспечения такой iSCSI конфигурации, используются два независимых механизма обеспечения безопасности:
◆ Входящие соединения требуют аутентификации на уровне соединения iSCSI (осуществляется путем обмена iSCSI пакетов с логинами PDU.)
◆ Защита пакетов (целостности, аутентификации и конфиденциальности данных) происходит с использованием IPsec на уровне IP.
Эти два механизма безопасности, дополняют друг друга. Аутентификация входящих соединений инициатора и таргета iSCSI, а также IPsec обеспечивает шифрование передаваемых данных.

Методы аутентификации
Могут использоваться следующие методы аутентификации:

CHAP (Challenge Handshake Authentication Protocol)
Аутентификация Challenge-Handshake Authentication Protocol (CHAP) периодически идентифицирует участников соединения, используя тройную аутентификацию. CHAP используется во время установки соединения и может быть повторена в любое время, после установки соединения. CHAP обеспечивает защиту от атак воспроизведения в совокупности с помощью постепенного изменения идентификатора и использования переменных промежутков времени между запросами. Повторное использование запросов на аутентификацию ограничивает время на атаку. Аутентификатор контролирует частоту и периодичность запросов. Этот метод авторизации зависит от "секрета" известного только передающим данные узлам. Данный "секрет" не передается через соединение.

SRP (Secure Remote Password)
Этот механизм предназначен для защиты соединений, с использованием пароля, установленного пользователем, и используется при устранении проблем безопасности, которые традиционно ассоциируются с многоразовыми паролями. Данная система также обеспечивает механизм обмена ключами в процессе аутентификации, позволяя обеспечить требуемые уровни защиты (защиту конфиденциальности и/или защиту целостности) во время сессии обмена данными. Для данного механизма защиты не требуется серверов для хранения ключей и сертификатов, а также ключи доступов не хранятся долгое время.

KRB5 (Kerberos V5)
Kerberos определяет основные средства проверки (такие, как пользователя рабочей станции или сервере сети) в незащищенной сети. Это достигается, не полагаясь на аутентификацию операционной системы, либо на списки доверительных IP адресов узлов. Kerberos выполняет аутентификацию при помощи сторонней службы аутентификации, с использованием шифрования с общим ключом.

SPKM1 & 2 (Simple Public Key GSS-API Mechanisim)
Этот механизм обеспечивает аутентификацию, создание ключей, целостность данных и конфиденциальность данных в режиме он-лайн распределения публичных ключей. SPKM может быть использован в качестве замены любого приложения, которое использует сервисы, делающие запросы к GSS-API (например, любое приложение, которое уже использует Kerberos GSS-API для обеспечения безопасности).
 

Обзор технологий передачи данных на большие расстояния
Для понятия технологий передачи данных на большие расстояния, важно знать о проблемах реализаций соединений сетей SAN, на больших расстояниях. В данном разделе будут расмотренны следующие темы:
◆ “Ранние реализации сетей SAN ”
◆ “DWDM ”
◆ “CWDM ”
◆ “SONET ”
◆ “GbE ”
◆ “TCP/IP ”

Ранние реализации сетей SAN
Для соединения одним портом коммутаторов Fibre Channel через большие расстояния, оба оптических кабеля (прием и передача), должны были быть подключены к провайдеру.  Заказчики, обычно, тратили много денег на построение, обслуживание и эксплуатацию оборудования, при добавлении оптических соединений E_Port портов между коммутаторами, с целью прироста производительности и резервирования каналов передачи данных. Существующие оптические сети, в основном использовались для передачи Ethernet трафика и не могли одновременно использоваться для передачи Fibre Channel и Ethernet. В дополнение к стоимости, существовали и аппаратные ограничения для передачи данных между континентами.  Трансмиттеры Fibre Channel, которые устанавливались в оптические коммутаторы, имели ограничения по мощности передаваемого оптического сигнала. Даже при использовании ретрансляторов, происходило рассеивание сигнала при проходе через несколько ретрансляторов.
Также ограничения имели и оптические коммутаторы Fibre Channel. Инициализация соединения и контроль потока данных контролировали оптические коммутаторы Fibre Channel. Стандарт Fibre Channel, ограничивал соединения по расстоянию и скорости передачи данных. Чтобы обойти эти ограничения в SAN, каждый производитель коммутационного оборудования использовал собственные нестандартные решения для обхода ограничений Fibre Channel. Это могло помешать массовому использованию стандарта Fibre Channel.

DWDM
Dense Wavelength Division Multiplexing (DWDM) это процесс, при котором несколько каналов данных передаются по одной паре оптических проводов, с использованием различных длин волн лучей. Это отличает данную технологию от обычно волокно-оптических  сетей, которые передают только один канал через пару оптических проводов.
При использовании DWDM, несколько лучей с разной длинной волны (каналов), могут объединяться в многоцветный луч, который будет передавать данные через одно волокно (dark fiber). Данная технология позволяет передавать несколько независимых потоков данных через одно физическое соединение, позволяет существенно повысить пропускную способность канала. Каждый луч может передавать данные на скорости, ограниченной оборудованием, обычно 1-4 Gb.
Различные форматы данных могут передаваться одновременно и на разных скоростях, по нескольким каналам. К примеру, IP трафик, ESCON SRDF, Fibre Channel SRDF, SONET, ATM, могут одновременно передаваться по оптическому каналу.
DWDM не зависит от протокола, либо формата передаваемых данных и передающая система не влияет на передаваемые ею данные.

Рисунок 1. Иллюстрация концепции технологии DWDM

Для заказчиков, это означает, что множество каналов SRDF® и Fibre Channel ISL (межкоммутаторное соединение), могут быть переданы через одну пару оптических кабелей, в отличие от традиционных оптических сетей. Это особенно важно, когда оптические соединения между сайтами обходятся дорого. К примеру, заказчик может арендовать оптический канал, и чем больше данных будет передано по нему, тем более экономично эффективным будет данное решение.
При использовании современных технологий, количество каналов, которое можно передать через одно оптоволоконное соединение, остается неограниченным. Ограничения связанны с оборудованием DWDM. Опто-электрические трансиверы и коммутационное оборудование, имеет ограничение по количеству передаваемых каналов.
В настоящий момент доступны топологии кольцо и точка-точка с резервированием и без схем DWDM. Технология DWDM, позволяет объединять два и более геораспределенных датацентров, в единый виртуальный датацентр.
DWDM системы, могут совмещать и разделять большое количество каналов. Каждому каналу определяется его собственная длинна волны (лямбда). В основном, каналы разделены длинной волны в 10 nm. С улучшением оптических каналов, разделение между длинами волн может уменьшено, что позволит увеличить количество передаваемых каналов.
Решения на основе DWDM имеет высокую стоимость в связи с консолидацией каналов, гибкостью использования и большим количеством оборудования, которое также нужно охлаждать (для предотвращения понижения частоты сигнала) повторное усиление и перестройка (3R) назначений длин волн каналов, для обеспечения оптической связи на больших расстояниях. Масштабирование возможностей также предлагаются в среде DWDM. DWDM блэйд системы предоставляют следующие преобразования протоколов:
◆ Fibre Channel в SONET
◆ Fibre Channel в Gigabit Ethernet
◆ Fibre Channel в IP
В дополнение к этому, блейд системы включают в себя такие опции, как ускорение записи и использование буферных кредитов. Список последнего поддерживаемого оборудования, можно найти в EMC Support Matrix.
На рисунке 2, показана основная концепция, увеличения длинны канала Fibre Channel, при использовании технологий DWDM.
 
Рисунок 2. Увеличение расстояния соединения Fibre Channel
d1 = DWDM сигнал передается по dark fiber.
d2 и d3 = Внутренние соединения ISL между коммутатором и DWDM.
Может быть SM или MM, в зависимости от коммутатора DWDM и требуемого расстояния.
d4 и d5 = Локальные соединения между серверами и дисковыми массивами.

Все компоненты выбраны случайно и не относятся, к какой либо установке у клиента.
Ограничение расстояния передачи данных, может быть связанно с требованиями приложений, т.к. увеличение расстояния влияет на время отклика.

Ниже приводится перечень общих принципов использования систем DWDM:
◆ Может использоваться для передачи протокола ESCON RDF, с прямым подключением ESCON директора массива Symmetrix к коммутатору DWDM.
◆ Может использоваться для передачи соединений ISL между коммутаторами Fibre Channel. (В показана матрица совместимости E-Lab Navigator)
◆ Документация по построению топологий сетей Fibre Channel, прилагается к каждому коммутатору.
◆ Не поддерживается прямое подключение адаптера HBA и директора Fibre Channel массива Symmetrix к DWDM. В E-Lab Navigator, содержится дополнительная документация по построению топологий с использованием DWDM.
◆ Для построения топологий с использованием DWDM, следует выбирать наименьшее расстояние между площадками.

CWDM
Coarse Wave Division Multiplexing (CWDM), также как DWDM, использует схожий процесс совмещения каналов, используя для каждого канала волны различной длинны. Технология CWDM предназначена для совмещения небольшого количества каналов, с целью снижения стоимости.
В CWDM каналы разделяются длинной волны в 20 nm. Технология CWDM, использует более дешевое оборудование, чем DWDM, т.к. требует меньшего охлаждения оптического оборудования, в связи с более широким разделением частот между каналами. В технологии CWDM уменьшено количество передаваемых каналов.
CWDM, также как DWDM, использует технологию преобразования оптического сигнала в одном устройстве CWDM.
Соединения CWDM, могут использовать высокую длину волны в более высокой оптической мощностью. Частота канала выбирается CWDM GBIC/SFP трансивером, который устанавливается в оптические коммутаторы Fibre Channel.
Оборудование CWDM, при достаточном питании может устанавливать соединения на расстояниях до 100 км, и при этом не требует много места в стойке. Также требуется установка пассивных MUX/DEMUX, для соединения каналов 9-микроновый dark fiber кабель.

Различия между DWDM и CWDM
Существуют следующие различия между DWDM и CWDM:
◆ Количество каналов, поддерживаемое технологиями.
Системы DWDM, поддерживают от 16 каналов и выше, в то время, как CWDM поддерживает до 16 каналов.
◆ CWDM GBIC/SFP оптика может быть использована для увеличения длины волны выходного канала (также как оптика коммутатора FC).
Оптика CWDM GBIC/SFP, обычно устанавливается прямо в коммутаторы Fibre Channel, либо FC HBA.
◆ Цена.
Оборудование для DWDM, достаточно дорогое, это связанно с потребностью поддержания точной температуры оптических трансиверов. DWDM обеспечивает большую гибкость и пропускную способность канала.
◆ На основе CWDM, можно строить сложные конфигурации.
CWDM требует специфические трансиверы для каждого канала. С ростом использования оборудования CWDM, возникают трудности с управлением сетевой инфраструктуры.
◆ Устройства DWDM поддерживают расширение функционала (например, конвертация протоколов, использование буферных кредитов, ускорение записи).

SONET
Synchronous Optical NETwork, (SONET), это стандарт для передачи оптических сигналов телекоммуникации, разработанный ассоциацией Exchange Carriers Standards Association для ANSI. SONET определяет технологию передачи сигналов различной длинны посредством синхронной оптической сети. Стандарт определяет смешивание сигналов, для последующей передачи на физическом уровне по модели OSI.
Синхронизация предусмотрена Синхронизация обеспечивается одним основным элементом сети с очень точными часами (Stratum 3), источником которого является исходящий сигнал OC-N. Данный таймер используют все элементы сети для синхронизации (тайминг петли).
SONET используется в сетях SAN, для объединения множества низкоскоростных каналов (ESCON и 1, 2 Gb Fibre Channel) в одно высокоскоростное соединение. Это может уменьшить количество каналов DWDM, используемых для соединения сетей SAN.
Основным элементом SONET, является STS-1 (Synchronous Transport Signal), состоящим из заголовка, плюс Synchronous Payload Envelope (SPE), в общей сложности 810 байт. 27-битный транспортный заголовок, используется для администрирования, эксплуатации. Оставшиеся байты, формируют SPE, состоящего из 9 байт, для переноса информации о пути. Его структура показана на рисунке 3, столбцы 1, 2, и 3 транспортная нагрузка.

 
Рисунок 3 STS-1

STS-1 работает на скорости 51.84 Mb/s, несколько STS-1 требуется для обеспечения требуемой пропускной способности для ESCON, Fibre Channel, и Ethernet, как показано в таблице 1.
95% скорости сети, это полезная пропускная способность STS-1 (за счет накладных расходов).
 

Таблица 1 SONET/Synchronous Digital Hierarchy (SDH)

Один OC-48, может передавать в среднем 2.5 канала на скорости 1 Gb/s, см. таблицу 1. Для достижения большей скорости передачи данных для клиентских подключений, несколько STS-1 вкладываются в STS-N. SONET создает STS-3, чередованием байт трех STS-1.
Каждый STS можно исключить из канала, в SONET командами ADD/DROP, т.к. может возникнуть потребность в прекращении соединений SAN. DWDM может также собирать каналы SONET (OC-48), что также позволяет увеличить расстояние на которое передаются данные.

GbE
Gigabit Ethernet (GbE) терминология определяет массу технологий, позволяющих передавать пакеты Ethernet, со скоростью 1024 мегабит (Mb/s), или 1 гигабит в секунду. Gigabit Ethernet, также поддерживает соединения на скорости 10/100 Mb/s. GbE определен IEEE публикацией 802.3z, которая определила стандарт в июне 1998 года. Это стандар физического уровня пакетов ANSI Fibre Channel. Этот стандарт, был создан в дополнение к существующим стандартам сетей Ethernet (802.3 – пакет Ethernet), опубликованного в 1985 году организацией IEEE. Ниже приводится номенклатура и характеристики GbE:
◆ 1000Base-SX определяет стандарт передачи Gigabit Ethernet по оптическим мульти-модовым сетям (50 или 62.5 микрон), с длинной волны 850 нанометров. Может передаваться на расстояния до 500 метров.
◆ 1000Base-Lx определяет стандарт передачи Gigabit Ethernet по оптическим синг-модовым сетям (9 микрон) с длинной волны 1310 нанометров fiber with 1310. Может передаваться на расстояния до 10 км.
◆ Медные коаксиальные кабели, по ним могут передаваться пакеты, стандартов 1000Base-SX и 1000Base-Lx.
◆ GbE в основном используется для передачи данных FC на большие расстояния, с использованием TCP/IP, в качестве транспортного уровня. В некоторых случаях, используется протоколы, разработанные различными вендорами.
◆ Продукты, использующие GbE, для передачи данных на большие расстояния, могут использовать различные опции, такие как компрессию, ускоренную запись и буферные кредиты.

TCP/IP
Как говорилось в ”Обзор технологии TCP/IP”, Transmission Control Protocol (TCP) является транспортным протоколом, ориентированным на большое количество соединений. Он гарантирует надежность доставки потоков данных, между конечными точками. TCP достигает этого, путем назначения уникальных номеров каждой последовательности передаваемых данных, и получением подтверждений о доставке (ACK), и повторяет отправку, если это требуется. Когда соединение между конечными точками устанавливается, данные могут быть переданы. Поток данных, который проходит через соединение, считается одной серией, состоящей из восьми-битных байт, каждой из которых дается порядковый номер. Более полную информацию, можно получить в разделе: ”Обзор технологии TCP/IP”:
◆ “Терминология TCP”
◆ “Восстановление ошибок в TCP”
◆ “Перегрузка сети ”
◆ “Безопасный интернет протокол (IPsec)”
◆ “Туннелирование и IPsec”

• Основные конфигурации
• Поддерживаемые конфигурации
• EMC iSCSI таргеты
• Настройка таргетов iSCSI
• Решения с использование маршрутизаторов

Технологии развертывания WAN
Есть две основные топологии построения сетей, с использованием WAN оптимизаторов:
◆ В качестве шлюзов
◆ В качестве маршрутизаторов
Когда WOC, используется в качестве шлюза, это означает, что все передаваемые данные проходят через WAN Optimization Controllers (Рис.1). В такой конфигурации, WOC следует располагать как можно ближе друг к другу, чтобы уменьшить время задержек сети WAN.
 

Рисунок 1. Шлюз

Если WOC используются в качестве маршрутизатора, они не подключаются к сети напрямую. Трафик пакетов должен быть маршрутизирован\переадресован на WOC, при помощи функций сети, например WCCP, PBR, VRRP.
 

Рисунок 2. Маршрутизатор

◆ WCCPv2 (Web Cache Communication Protocol) – это протокол маршрутизации данных, который представляет собой механизм переадресации данных в режиме реального времени. WCCP также включает в себя механизм, обеспечивающий балансировку нагрузки, отказоустойчивости и масштабируемости.
◆ PBR (Policy Based Routing) – это технология, которая выбирает маршрут передачи данных, основываясь на политиках, основанных на размерах пакетов, протоколах, адресах отправителя\получателя, либо других характеристиках.
◆ VRRP (Virtual Router Redundancy Protocol) – протокол, обеспечивающий резервирование, предназначен для повышения отказоустойчивости default gateway.

В случае прекращения подачи питания, либо отказа оборудования, или ПО WOC, WOC может предпринимать ряд действий, к примеру, пропускать неоптимизированный трафик, либо блокировать весь проходящий через него трафик. Типы отказов указываются на  WAN, и, как правило, называются следующим образом:
◆ Fails-to-Wire
В данном режиме, устройство WOC, будет пропускать данные, как кроссоверный кабель, соединяющий коммутатор Ethernet локальной сети непосредственно с маршрутизатором WAN, и трафик будет передаться непрерывно и не будет оптимизированным.
◆ Fails-Open / Fails-to-Block
Устройство будет вести себя, как открытый порт на WAN маршрутизаторе. Маршрутизатор WAN, воспримет это, как прекращение соединения и будет передавать трафик, согласно таблицам маршрутизации.
В зависимости от топологии сети, каждый из этих режимов, имеет свои преимущества.

Рассмотрение решений для передачи данных на большие расстояния
В данном разделе представлены решения для увеличения расстояний, на которые передаются данные.
◆ “Скорость соединения”
◆ “Буферизация данных и контроль над потоком данных”
◆ “Окно TCP/IP”
◆ “Активное сетевое оборудование”
◆ “FC SONET/GbE/IP”

Скорость соединения
Скорость соединения, является достаточно важной частью технологий передачи данных на большие расстояния. В сетях SAN, скорость соединения приравнивается к максимальной пропускной способности между портами E_Port и/или F_Port. Различные скорости соединений, существуют в сетях SAN. В таблице 1 приведен список скоростей Fibre Channel.
Таблица 1. Скорость сетей STS

Принципы использования Fibre Channel BB_Credit на больших расстояниях
Для максимального использования канала Fibre Channel, порты с обеих сторон канала DWDM, должны иметь большое количество буферов BB_Credit. Для расчета требуемого количества буферов BB_Credit, в зависимости от скорости и расстояния используется следующая формула:

Коэффициент 2, используемый в формуле, относится ко времени, требуемому для прохождения пакета через оптическую сеть, от отправителя к получателю и возврат R_RDY отправителю.
Максимальные расстояния, на которые передаются данные, зависят от оптической мощности трансиверов и угасанию сигнала внутри сети. Расстояние между портами, организующими ISL соединение, между коммутаторами Fibre Channel и портами DWDM должны быть прибавлены к суммарному расстоянию (d1+d2+d3).

Далее будут рассмотрены зависимости от количества буферов BB_Credit, от расстояния передачи данных через Fibre Channel, между портами E_Ports.
Если предположить, что верно следующее:
◆ Скорость сигнала в оптоволокне 5 микросекунд/км, или 59 сеунд/м.
◆ Размер пакета 2148 байт.
Максимальное расстояние, предполагает 100% загрузку соединения ISL. Если ISL загружено не полностью, можно увеличить расстояние, используя большее количество буферов BB_Credits. Например, для порта коммутатора, работающего на скорости 2 Gb/s с 120 BB_Credits и соединения ISL, которое загружено на 50%, максимальное расстояние передачи может достигать 240 км.
Количество буферов в коммутаторах Brocade, зависит от типа используемых ASIC. В таблице 2 показана зависимость моделей коммутаторов от используемых ASIC.

Таблица 2. Нумерация коммутаторов и ASIC