Концентраторы, коммутаторы и маршрутизаторы SAN

Сетевой концентратор (hub) или коммутатор обеспечивает соединение своих портов так, что любой порт может “разговаривать” с любым другим или всеми остальными портами3. Коммутаторы и концентраторы – это обычно устройства Уровня 2 (“Layer 2”, L2) в терминологии IP. Например, в сети IP/Ethernet коммутаторы работают на уровне Ethernet – втором уровне в многоуровневой модели Internet Protocol.

В отличие от концентраторов, коммутаторы не используют архитектуру «общей полосы пропускания» (“shared bandwidth”). Если в концентраторе два порта “разговаривают” между собой, то остальные порты в это время не могут разговаривать. Полосу пропускания между всеми узлами может загрузить только один порт, поскольку концентратор работает по принципу первым пришел – первым обслужен. Если пара устройств через концентратор переговаривается на полной скорости, то в это время другие устройства не могут переговариваться.

С другой стороны коммутатор позволяет устройствам соединяться независимо от трафика через любую другую пару портов, поскольку ни один ввод/вывод не может полностью захватить полосу пропускания коммутатора. Это преимущество стало одной из причин успеха коммутаторов Fibre Channel на рынке SAN, которые быстро вытеснили концентраторы FC-AL – при использовании концентраторов хост на какое-то время может лишиться доступа к устройствам хранения, что недопустимо для SAN.

Хотя допускается, что в некоторых случаях трафик между одной парой портов коммутатора влияет на трафик между другими портами, но в коммутаторе невозможна ситуация, когда один поток трафика захватывает всю полосу пропускания и другие потоки не могут проходить через коммутатор (как это происходит в концентраторе). Первая из описанных ситуаций – это пример перегруженности (congestion) в сети, разработанной в расчете на переподписку (oversubscription); вторая – пример блокирования.

Например, внутри многих коммутаторов с матрицей коммутации (crossbar) есть узкие места, из-за которых эти устройства работают так, как если бы имели ограниченную или разделяемую полосу пропускания. Архитектура матрицы коммутации использует централизованный “планировщик”, неспособный одновременно поддерживать соединения между всеми портами и поэтому особенно неэффективный при обслуживании трафика “от одного ко многим (many to one)”, который часто используется при консолидации хранения. Если одновременно работают много портов, то планировщик станет главным узким местом коммутатора и производительность упадет у всех активных в один и тот же момент времени портов.

Однако, в правильно спроектированном коммутаторе этот сценарий не приведет к полной блокировке трафика между какой-либо группой портов: он может замедлиться, но в любом случае будет идти. При этом устройства не смогут получить нужную им полосу пропускания (как и при использовании концентратора), но некорректно называть «коммутатором» устройство, которым трафик может блокироваться. На коммутаторах Fibre Channel также выполняется пакет программного обеспечения и протоколов, известных под общим названием “сервисы фабрики” (“fabric services”), без которых невозможна корректная работа SAN. Например, если на каждом коммутаторе не выполнялось программное обеспечения сервера имен, то все устройства (хосты и дисковые массивы) пришлось бы конфигурировать вручную, из-за чего была бы ограничена масштабируемость SAN. В SAN на основе других технологий (не FC) также используются аналогичные сервисы, хотя их внедрение отличается от SAN на основе FC. Например, хотя протокол iSCSI предусматривает аналогичные сервисы, их не поддерживают коммутаторы Ethernet, из-за чего сети iSCSI нужно конфигурировать вручную либо приобретать выделенные серверы для выполнения этих сервисов или использовать специальные коммутаторы iSCSI, которые обычно стоят дороже аналогичных моделей FC, хотя значительно проигрывают им по производительности. Более эффективны коммутаторы сетей хранения, в которых есть встроенная поддержка сервисов, что сегодня означает коммутаторы Fibre Channel

Маршрутизатор схож с коммутатором в том, что он должен обеспечить маршрут передачи данных между своими любыми портами, но маршрутизатор работает на более высоком уровне стека протоколов.

Если коммутатор сети передачи данных работает на уровне Ethernet (L2), то маршрутизатор сети передачи данных работает на уровне IP (L3), что позволяет ему автоматически и полуавтоматически соединять сетевые сегменты в иерархическую структуру, а не в одноуровневую. Маршрутизаторы SAN также работают на более высоком уровне.

Исторически маршрутизаторы работали намного медленнее коммутаторов и поэтому не использовались в высокопроизводительных фабриках. Стоит отметить, что многие IP-маршрутизаторы реализованы на уровне программного обеспечения, а не аппаратуры. В современных IP-сетях обычно используются коммутаторы Уровня 3 (L3) , комбинирующие аппаратное ускорение коммутации L2 с интеллектуальными функциями маршрутизации L3 в единой интегрированной платформе. За последние несколько лет были выпущены маршрутизаторы для рынка SAN: лезвия Brocade AP7420, 7500 и FR4-18i – примеры маршрутизаторов с аппаратным ускорением на более высоком уровней для туннелей Fibre Channel и FCIP. Сети хранения выдвигают очень жесткие требования к надежности и производительности коммутаторов и маршрутизаторов – сеть должна передавать каждый пакет без потерь или задержек, за исключением крайне редко возникающих особых условий, и в любом случае сохранять исходный порядок пакетов. Дело в том, что узлы и приложения, подключенные к SAN, предназначены для прямого подключения к устройствам хранения, поэтому доставка с нарушением порядка пакетов или их потери должны быть полностью исключены. Любая “работоспособная” SAN должна обеспечить такое использование устройств хранения, при котором любой хост видит их как подключенные напрямую и тогда протокол SCSI в SAN будет работать точно так же, как в DAS.

В то время, когда были написаны самые популярные сегодня приложения, операционные системы и драйверы, хост с его диском соединяли только несколько метров кабеля SCSI без каких-либо промежуточных устройств. При такой архитектуре риск потери данных был крайне мал, как и того, что скорость передачи данных будет невелика при использовании данного подключения. Поскольку такие проблемы были полностью исключены, то разработчики не тратили время на создание надежных механизмов коррекции и исправления ошибок и поэтому в драйверах SCSI не предусмотрена защита от сбоев сети. Они быстро работают и способны использовать недорогое оборудование, однако если всё же возникнет ошибка или узкое место производительности, то они повлияют и на более высокие уровни. Например, при потере пакета и/или падении производительности большинство ленточных устройств прервут операцию резервного копирования, либо в лучшем случае перейдет в старт/стопный режим, при котором скорость записи резко уменьшается. Чтобы не возникло подобных ситуаций следует использовать коммутаторы и маршрутизаторы, соответствующие требованиям SAN к надежности и производительности.

В стандарты Fibre Channel изначально были заложены эти требования и все поставляемые Fibre Channel платформы проектируются с их учетом: узлы в SAN не смогут правильно обработать ошибку и поэтому нужно полностью исключить вероятность ошибки. Независимо от того, какая технология используется в инфраструктуре SAN, сама инфраструктура должна быть лучшей в своем классе для обеспечения надежного и предсказуемого поведения приложений, т.е. полного отсутствия потерь пакетов при нормальной работе и исключения риска нарушения порядка их доставки, эффективной балансировки нагрузки на всех портах для исключения перегрузки и блокировки трафика.