Присоединяйтесь к группе IKS Data Center Conference Поделиться с коллегами

Новые кабельные решения для ЦОДов

Статьи

08.10.2018   Автор: Николай НОСОВ

Новые кабельные решения для ЦОДов

Новые стандарты для кабельных систем во многом ориентируются на дата-центры и существенно увеличивают скорости передачи данных.

Стоимость СКС составляет 3% стоимости ЦОДа, однако, как сообщил на организованной «ИКС-Медиа» конференции «ЦОД-2018» Сергей Горюнов, менеджер по развитию продаж компании Molex MPN Structured Cabling, кабельные соединения являются причиной 70% инцидентов. А инцидент в ЦОДе -- это потеря денег, репутации и доверия клиентов.
 
Волшебное слово «быстро»!
 
Вложения в кабельную систему -- долгосрочные, ведь средний срок ее эксплуатации составляет 10--15 лет. Поэтому при проектировании СКС следует учитывать перспективу стремительного роста объема передаваемых данных и требований к скорости передачи по каналам связи. Если в офисных СКС по-прежнему встречаются каналы 10 Мбит/с, то в ЦОДах уже используются каналы c пропускной способностью 100 Гбит/c. И это не предел. В декабре 2017 г. официально принят новый стандарт IEEE 802.3bs, предусматривающий увеличение скорости канала до 200 и 400 Гбит/с (см. табл.). 
 
Таблица. Спецификации стандарта IEEE 802.3bs
 

Спецификация

Расстояние, м

Тип волокна*

Примечание

400GBASE-SR16

100

MM

По 16 волокон на прием и передачу

400GBASE-DR4

500

SM

Четыре параллельных волокна в обоих направлениях, 100 Gb на одно волокно

400GBASE-FR8

2000

SM

WDM ( два волокна, одно на прием, другое на передачу)

400GBASE-LR8

10000

SM

То же

200GBASE-DR4

500

SM

Четыре параллельных волокна в обоих направлениях

200GBASE-FR4

2000

SM

WDM (два волокна, одно на прием, другое на передачу)

200GBASE-LR4

10000

SM

То же

*SM – одномодовое, MM -- многомодовое

 

Источник: IEEE

 

Оборудование, отвечающее стандарту IEEE 802.3bs, уже появляется на рынке. Так, в 2018 г. упомянутая Molex начала производить поддерживающие новые стандарты коннекторы высокой плотности, а Mellanox Technolgies, по заявлению системного инженера этой компании Александра Петровского, планирует в следующем году выпустить коммутаторы с портами 400 Гбит/с.
 
Ethernet для СХД
 
Одна из сфер применения кабелей нового стандарта -- Ethernet-фабрики для систем хранения данных (Ethernet Storage Fabric, ESF). Раньше СХД рассматривалась как некая проприетарная система с набором дисков, подключенная к сети хранения данных. Ее было сложно обслуживать и дорого масштабировать. Сейчас, особенно в облачных инфраструктурах, используются программно определяемые хранилища. Для их создания обычные серверы с большим количеством дисков масштабируются горизонтально в виде одного большого пула хранения, а программные решения формируют из них общий кластер. Подключаются серверы друг к другу с помощью высокоскоростной сети. Для этих целей теперь может использоваться технология Ethernet, которая значительно выигрывает в скорости у Fibre Chanel, способной обеспечить производительность не более 32 Гбит/с.
 
Рис. 1. Ethernet-фабрика для СХД
 

Сеть Ethernet-фабрики для хранилища строится в топологии Leaf-Spine (рис. 1). К коммутаторам уровня Leaf подключаются серверы (узлы хранения). Маршрутизация осуществляется с помощью протоколов OSPF/BGP. На уровне агрегации используются протоколы LAG/MLAG (Multi-Chassis Link Aggregation Groups). Хранилище масштабируется стойками -- от одной до тысячи и более. В каждую стойку устанавливаются по два коммутатора, которые подключаются к вышестоящей фабрике. Для подключения служат каналы 40 и 100 Гбит/с, а с внедрением нового стандарта скорости вырастут еще больше. ESF поддерживает широкий набор СХД-протоколов и приложений: iSCSI/iSER, FS/NFSoRDMA, CIFS/SMB Direct, NVMeOF, Ceph, HDFS, Lustre/GPFS/GlusterFS.

Витая пара для ЦОДов

 
Новации в кабельных системах для ЦОДов коснулись не только оптики, но и электропроводных решений. Для связи серверов с коммутаторами в дата-центрах появились кабели восьмой категории (Cat8) на медной витой паре, поддерживающие скорость 25 и 40 Гбит/c. Принятие стандарта категории 8 заняло почти 10 лет: его предшественник, востребованный на практике стандарт категории 6а, был принят еще в 2008 г. Кабели Cat8 отличаются от предшественников частотой (до 2 ГГц, что в четыре раза выше, чем у 6а), длиной тракта (не более 30 м, в то время как у 6а -- 100 м), числом коннекторов (не более двух -- кросс-коннект запрещен), конструкцией кабеля (каждая витая пара в фольге, все вместе в металлической оплетке, а экранирование требует заземления) и коннекторов (существуют две модификации -- 8.1 (RG-45) и 8.2 (Tera, GG45, ARJ)).
 
Новый кабель слишком короткий для прокладки в офисных зданиях, но отлично подходит для организации внутрирядной связи в дата-центрах. Ограничение длины кабелей категории 8 тридцатью метрами не случайно. Таким образом, пояснил директор по продажам компании Leviton Сергей Логинов, достигается оптимальный баланс между мощностью трансиверов и дальностью передачи сигнала, позволяющий снизить энергопотребление и соответствующие операционные издержки. 
 
С помощью кабелей категории 8 для соединения стоек в машзалах ЦОДов можно использовать несколько типов архитектур -- End-of-Row (коммутаторы располагаются в конце ряда стоек), Middle-of-Row (в середине) и Top-of-Rack (коммутаторы размещаются вверху стоек с ИТ-оборудованием) (рис. 2). 
 
 
Рис. 2. Варианты подключения стоек с использование Cat8
 
End-of-Row (EoR) и Middle-of-Row (MoR) предполагают классический подход к построению структурированной кабельной системы, при котором коммутационные шнуры соединяют оборудование через коммутационные панели.
 
При часто используемой в дата-центрах архитектуре Top-of-Rack (ToR) ИТ-оборудование подключается напрямую к расположенным вверху стойки коммутаторам. У каждого такого коммутатора есть оптические порты, соединенные с коммутаторами уровня агрегации. Такая схема не является классической для структурированной кабельной системы, но для 8-й категории просто подключение коммутационным шнуром уже может рассматриваться как СКС.
 
Кабели категории 8 дешевле, чем оптические, обеспечивают обратную совместимость с кабелями категории 6 (разные порты одного коммутатора могут поддерживать разные скорости), так что при их использовании заказчик получает универсальную инфраструктуру, способную работать на скоростях от 1 до 40 Гбит/c.
 
Cat8 – идеальный вариант для малых и средних ЦОДов, в машинных залах которых в одном ряду размещается не более 30 стоек. В крупных ЦОДах, где стоек в рядах более 30 и требуются скорости выше 40 Гбит/c, следует применять оптоволокно.
 

С. Логинов призывает правильно проектировать кабельную систему на основе кабелей категории 6а и использовать архитектуру ToR, тогда для перехода на стандарт Cat8 будет достаточно заменить коммутационные шнуры. При выборе между EoR и MoR следует остановиться на MoR -- это позволит организовать более длинный ряд стоек. Кроме того, предпочтительнее использовать экранированный кабель категории 6а, поскольку наличие заземления облегчит переход на Cat8.
 

Спонсоры
Генеральный партнер
Платиновый спонсор
Золотой спонсор
Золотой спонсор
Серебряный спонсор
Серебряный спонсор
Спонсор
Спонсор
Партнёр выставки
Партнёр выставки
Партнёр выставки
Партнёр выставки
Партнёр выставки