Лучшие практики прокладки кабелей для центров обработки данных: что на самом деле работает

Вот кое-что, о чем большинство справочников по кабелям не скажут вам заранее: сам кабель почти никогда не приводит к сбоям в работе центра обработки данных. Отключение происходит из-за кабеля, который вы не смогли отследить, патча, который вы подключили не к тому порту в 2 часа ночи, или заброшенного комплекта Cat 5e 2014 года, который уже десять лет тихо перекрывает поток воздуха под вашим фальшполом. Хорошая практика прокладки кабелей заключается не в покупке самого модного оптоволокна -, а в том, чтобы все было легко найти, заменить и защитить от холодного воздуха.

В этом руководстве рассказывается о том, что на самом деле меняет ситуацию: как выбрать правильный кабель для каждого канала, как организовать тысячи прогонов, не теряя при этом рассудок, и где обновления 400G/800G могут вас укусить, если ваше физическое предприятие не готово.

 

 

Краткий обзор типов кабелей: узнайте, что и куда идет

Типичный центр обработки данных использует четыре или пять типов кабелей, и каждый из них выполняет определенную задачу. В таблице ниже приведены основные характеристики, что позволяет вам быстро принимать решения во время проектирования или закупок.

 

Тип кабеля	Максимальная скорость	Типичный охват	Лучший вариант использования	Разъем	Тенденция затрат
Кат 6а (медь)	10 Гбит/с	100 m	Сервер-–-коммутатор ToR, сети управления	RJ45	Низкая -, около 0,30–0,50 долл. США за фут установки.
Кат 8 (Медь)	25-40 Гбит/с	30 m	Короткие соединения стоек-к-стойкам в зонах с высокой-плотностью	RJ45/не-полевой термин RJ45	Умеренный - примерно в 2–3 раза категории 6а
Многомодовое волокно OM3/OM4	100 Гбит/с (OM4)	100-150 m @ 100G	Соединения корешковых-листов в одном зале	ЛК/МПО-12	Умеренный
Широкополосный многомодовый OM5	400 Гбит/с (SWDM)	100 m @ 400G	Коротко-каналы 400G с использованием мультиплексирования длин волн	МПО-12/МПО-16	Выше -, но экономится количество волокон
Одномодовое оптоволокно OS2-	800 Гбит/с+	10-80 км	DCI, между-зданиями, длинные магистральные трассы	ЛК/МПО-16	Само волокно дешево; трансиверы стоят дороже
ЦАП (медный кабель прямого подключения)	До 400 Гбит/с	1–5 м (пассивный)	Та же-стойка или соседний-переключатель стойки-к-переключателю	SFP+/SFP28/QSFP+/QSFP-ДД	Самая низкая-стоимость за соединение -, отдельная оптика не требуется.
AOC (активный оптический кабель)	До 400 Гбит/с	5-30 m	Между стойками, когда ЦАП не достигает, а прорыв оптоволокна излишен	SFP+/QSFP+/QSFP-ДД	Средний-диапазон - дешевле, чем комбинация оптического кабеля и патч-кабеля

 

Стоит отметить одну вещь: столбец «Максимальная скорость» рассказывает только половину истории. Реальная-эффективность ссылки зависит отоптический трансиверподключен к каждому концу. Подключите оптику 100G SR4 к оптоволокну OM3, и максимальная дальность действия составит около 70 метров -, а не 100 метров. Этот 30-метровый разрыв помешал множеству планов развертывания.

 

 

 

 

 

Структурированная кабельная система против подхода «пока работает»

В стандартах ANSI/TIA-942 и ISO/IEC 24764 описаны структуры структурированной кабельной системы для центров обработки данных. Короткий вариант: проложите кабели по определенным маршрутам, заделите их на патч-панелях и разделите горизонтальный и магистральный уровни. Альтернативный вариант - прямого подключения концов-к-концам кабеля любой длины, который есть на полке, работает до тех пор, пока вам не понадобится переместить сервер. Затем вы протягиваете кабель через джунгли без этикеток, без документации и с окном внесения изменений, которое закроется через 40 минут.

Структурированная кабельная система стоит дороже в первый день. Это окупается, когда ваша команда впервые заменяет неисправный переключатель ToR менее чем за 15 минут вместо двух часов. Если на вашем предприятии более 200 стоек, против этого нет никаких аргументов.

 

 

Прокладка кабелей: вещи, которые избавят вас от неприятностей

 

Пометьте оба конца - и фактически сохраните метки.

Следуйте стандартам маркировки ANSI/TIA-606. Приобретите промышленный принтер Brady или Dymo, который импортирует списки CSV; Написанные от руки этикетки на ленте отслаиваются в течение года, и тогда вы снова возвращаетесь к отслеживанию кабелей вручную. Совет для профессионалов: указывайте на этикетке номер стойки и номер порта, а не только серийный идентификатор. Когда вы стоите в полночь перед стойкой высотой 48U, «R14-U32-P17» сэкономит вам больше времени, чем «CBL-002847».

 

Убейте мертвые кабели

Заброшенные кабели — тихие убийцы воздушного потока. Каждый аудит центра обработки данных, который мы видели, выявил 15-30 % массы неработающих кабелей под фальшполом. Эта медь и волокно не передают никаких данных, но блокируют доступ холодного воздуха к воздухозаборникам. Запланируйте удаление во время планового технического обслуживания — не ждите, пока сработает сигнал перегрева, который усугубит проблему.

 

Подберите длину кабеля к длине трассы

Три метра провисания, намотанного за патч-панелью, не кажутся проблемой, пока вы не умножите их на 500 портов. Имейте в наличии предварительно-разрезанные соединительные кабели длиной 0,5 м, 1 м, 2 м и 3 м для прокладки внутри-стойки. Для оптоволоконных линий тот же принцип применяется и к оптике:100Г КСФП28 СР4на 3-метровом участке экономит деньги и мощность по сравнению с модулем LR4, который вам не нужен.

 

Цветовой-код по функции, а не по прихоти

Выберите схему и запишите ее на стене каждой клетки. Общее соглашение: синий — для производственной сети, желтый — для одномодового оптоволокна, оранжевый — для многомодового, красный — для вне-вне-управления, зеленый — для хранилища (iSCSI/FC). Дело не в том, какой цвет что означает -, а в том, что все члены команды согласны с ним и придерживаются его.

 

Документируйте по ходу дела -, а не «потом»

«Позже» никогда не наступает. Каждое перемещение, добавление или изменение кабеля должно обновлять DCIM или электронную таблицу до того, как технический специалист покинет ряд. Устаревшая документация хуже, чем отсутствие документации, потому что люди ей доверяют и принимают неверные решения.

 

Подберите свой завод по производству волокна для перехода на следующий уровень скорости

Если вы сейчас используете каналы 100G, ваша волоконно-оптическая станция уже должна справиться с этой задачей.400G QSFP-ДДмодули без замены-кабелей. Это означает низкие вносимые-потери в одном-режиме, разъемы MTP/MPO-16 (а не более старые 12-жильные варианты с пределом 100G) и чистые торцы разъема,-проверенные с помощью области действия -, а не просто подход "стереть и надеяться". Создание команд дляРазвертывания 800Gследует уделять особое внимание допускам-радиуса изгиба и маркам соединителей; Сигнализация PAM4 на скорости 800G гораздо менее прощает загрязнение или смещение оптоволокна, чем NRZ на более низких скоростях.

 

Проверьте, прежде чем винить оптику

Примерно две-трети билетов RMA с «неисправным приемопередатчиком» оказываются загрязненными разъемами. Микроскоп для проверки оптоволокна стоимостью 400 долларов сэкономит вам тысячи долларов на ненужной замене модулей в течение года. Очистите каждый разъем перед вставкой, осмотрите торцевую поверхность порта-перед подключением и наденьте пылезащитные колпачки на все, что не используется.

 

 

Где кабельная система соответствует переходу 400G/800G

Переход к 400G и 800G меняет понятие «достаточно хорошо» на физическом уровне. Медь категории 8 теперь обеспечивает скорость 25-40 Гбит/с на коротком расстоянии, что делает ее реальным вариантом для восходящих каналов связи на верхних--стойках при строительстве с нуля -, хотя ограничение на расстояние в 30 метров сохраняет эту нишу. Широкополосное многомодовое волокно OM5 позволяет использовать коротковолновое мультиплексирование с разделением каналов (SWDM) на четырех длинах волн на одной нити, что уменьшает количество волокон, необходимых для каналов связи 400G с коротким радиусом действия.

Что касается DCI, то когерентная подключаемая оптика -, в частности модули 400G-ZR в форм-факторе QSFP-DD -, заменяет автономные транспондеры DWDM для городских-межсоединений на расстоянии до 80 км. Если архитектура вашего кампуса или нескольких-сайтов основана наТранспортные платформы DCIилиDWDM-системыОднако разговор о кабельных системах выходит далеко за рамки дата-холла: корпуса для сращивания, разнообразие оптоволоконных маршрутов и бюджет оптических потерь — все это требует внимания, прежде чем вы сможете создать когерентное соединение.

Ни одно из этих изменений не делает основы менее важными. Вам по-прежнему нужны чистые разъемы, честные этикетки и организованные лотки. Технологии становятся быстрее, но режимы сбоев остаются удивительно человечными.

 

 

Итог

Кабели для центров обработки данных не являются гламурными, и они редко получают бюджетный приоритет по сравнению с следующим поколением серверов с графическим процессором. Но чистая,-хорошо документированная кабельная установка – это разница между 15-минутной заменой оборудования и 4-часовой перестрелкой. Правильно подберите физический уровень — выберите кабели итрансиверыкоторые соответствуют вашим фактическим расстояниям и скоростям, маркируют и документируют все, а также проектируют на один уровень скорости сверх того, который вы развертываете сегодня. Остальное стремится позаботиться само о себе.