Оптические модули 400G подходят для центров обработки данных

 

Каждый раз, когда я думаю, что мир центров обработки данных может на секунду успокоиться, кто-то входит и говорит что-то вроде: «Эй, почему бы нам не заняться400Gвезде?", как будто вырвать и заменить половину сети так же просто, как заменить удлинитель. Но да, - 400G здесь, и нравится нам это или нет, мы с этим разбираемся.

 

 

Не-так-линейный путь обновления

 

Люди говорят о скоростях сети так, как будто они предсказуемо масштабируются, например: «10G → 40G → 100G → 400G → 800G».
Это совершенно не то, что вы чувствуете, когда на самом деле вы подключаете эти устройства в 3 часа ночи, надеясь, что светодиоды соединения мигнут так, как положено.

Я до сих пор помню развертывание в 2019 году, когдаидеямагистрали 400G заставило половину команды уставиться в пол, потому что никто из нас не доверял ранним термальным данным QSFP-DD. Модули нагрелись настолько, что заставили вас усомниться в своем жизненном выборе. Один парень даже неделями держал тепловизионную камеру на своем столе, просто чтобы наблюдать за ними.

В любом случае-да, 400G имеет значение. Но не потому, что так говорится на маркетинговом слайде. Это важно, потому что скачки трафика уже никого не удивляют. Рабочие нагрузки искусственного интеллекта поглощают пропускную способность таким образом, что традиционные схемы трафика на Востоке-Западе кажутся разминочными-упражнениями.

 

Форматы, или «Какой прямоугольник меньше разоряет ваш бюджет?»

 

Если вы достаточно долго работали с физическим оборудованием, со временем у вас сформируется твердое мнение о форме модулей. Лично мне CFP8 никогда не нравился. Он слишком большой. Такое ощущение, будто кто-то расплавил кассету VHS в трансивер. Мы использовали несколько из них при обновлении магистрального маршрутизатора, и эти устройства стали настолько горячими, что мы фактически отложили остальные линейные карты до тех пор, пока оборудование не улучшит поток воздуха в этом проходе.

QSFP-DD стал вариантом «хорошо, мы выберем этот вариант» главным образом потому, что его поддержали поставщики. OSFP тоже хорош - На самом деле я предпочитаю тепловые режимы -, но если у вас нет поставщика коммутатора, вы его не используете. Инфраструктура центра обработки данных на 40% состоит из технологий и на 60% из политики; никто вам этого не скажет, пока ваша спецификация не будет отклонена в третий раз.

 

 

Многомодовый или однорежимный-мод (и кладбища оптоволокна, которые, как мы все притворяемся, не существуют)

 

Я провел достаточно аудитов центров обработки данных, чтобы знать одну универсальную истину:Заводы по производству волокна никогда не бывают такими чистыми, как утверждается в документации.
В половине случаев ярлыки не соответствуют действительности. Иногда патч-панели таят в себе загадки прошлого десятилетия.

Это абсолютно влияет на 400G.

SR8 через многомод? Отличный - на бумаге. В реальном мире вы неправильно подключаете разъем MPO, и внезапно полоса 6 выглядит так, как будто она умирает. Однажды я потратил целый день на чистку разъемов и в конце концов обнаружил, что установщик пережал кабель, пытаясь закрыть дверцу стойки. Это было весело.

DR4, FR4, LR4 - да да, расстояния указаны в брошюрах. Но цена является настоящим отличием. Один из наших клиентов переключил половину запланированных каналов DR4 обратно на AOC просто потому, что бюджет на оптику превысил лимит закупок. Практичность всегда побеждает элегантность.

 

Энергия, тепло и другие вещи, которые обжигают руки

 

Позвольте мне быть откровенным:400G греется.
Не «теплый».
Не «слегка поджаренный».
Настолько жарко, что, когда кто-то впервые вручает вам модуль, только что выдернутый из работающего переключателя, вы пересматриваете свои дружеские отношения.

Некоторые производители сейчас заявляют об оптике мощностью менее 8 Вт. Я поверю в это, когда смогу прикоснуться к одному, не издав ни звука.

Охлаждение становится настоящим архитектурным решением. В одном из развертываний наш самый горячий коридор поднялся почти на 4 градуса после того, как мы заполнили последние 8 портов коммутатора высотой 1RU устройствами LR4. Учреждения обвинили сеть. Сетевые объекты виноваты. В итоге мы просто переместили два PDU и поменяли стойку. Проблема исчезла, больше никто о ней не говорил.

 

 

Технологический скачок (PAM4 — это не волшебство, это просто… прекрасно)

 

О переходе от NRZ к PAM4 говорят так, как будто это была великая революция. Это не так. Это был просто наименее болезненный способ запихнуть больше битов в те же самые трубы.

PAM4 шумит.
Это суетливо.
Это требует лучших DSP, лучших печатных плат, лучшего всего.

Но это работает, и как только поставщики уладили проблемы с выравниванием, практические проблемы практически исчезли. По большей части. Я до сих пор видел модули DR4, которые отказывались блокироваться на полном расстоянии до тех пор, пока волокно не будет повторно-заключено. Понятия не имею, почему. Заработало после доработки. Вот так иногда бывает с оптикой.

 

Модули, которые вы действительно видите в полевых условиях

 

Если вы проводили время в реальном центре обработки данных -, а не в слайд-шоу -, вы, вероятно, сталкивались с этим примерно в следующем порядке:

400G-SR8

Дешево (почти), предсказуемо. Разъемы MPO, которые собирают пыль, как магниты. Подходит для коротких тиражей, хорош для лабораторий. Плохо, если у вас нет подходящих инструментов для чистки.

400G-DR4

Я вижу это больше всего. Подходит для типичного варианта использования «несколько сотен метров, но не километров». Однажды мы использовали DR4, чтобы продлить соединение между двумя зданиями, потому что прокладка нового трубопровода была заблокирована городскими разрешениями. Иногда самый простой ответ – просто купить более дорогую оптику.

400G-FR4

Лучший радиус действия, полосы CWDM, двойной LC. Мне они нравятся, но они дороже. Большинство предприятий не будут их трогать, если им не будут абсолютно необходимы 2 км.

400G-LR4

Это как огнетушители: важные, дорогие, и вы надеетесь, что они вам никогда не понадобятся.

Все остальное каким-то образом существует, но я никогда не видел, чтобы кто-нибудь был в восторге от PLR4 или ER8 за пределами телекоммуникационных-тяжелых сред.

 

Денежная часть, которую никто не любит обсуждать

 

Отделы закупок нервничают, когда слышат «400G».
Как будто заметно нервничал.

SR8 может быть доступным. DR4 тем более полезен, если у вас есть поставщик, который вас не обманывает. Но оптика LR по-прежнему стоит достаточно дорого, и вы сомневаетесь, прежде чем заказывать ее в больших количествах.

AOC и DAC? Конечно, - для верхней части--стойки или если ваши коммутаторы прилегают друг к другу в одной стойке. У нас было одно развертывание, где весь листовой слой располагался так близко, что самый длинный кабель составлял 4 метра, поэтому ЦАП сэкономили нам тысячи. В других случаях AOC служат-помощью при плохом планировании оптоволокна.

 

 

Реальность развертывания (не та чистая версия, которую вы слышите на конференциях)

 

Я буду краток:
400G обнажает все слабые места вашего завода по производству волокон.
И ваша маркировка.
И, возможно, ваша документация.

Я видел:

перекрестно соединенные-панели имеют неправильную маркировку с 2015 года

Кассеты МПО установлены задом наперед

неправильно использовались чистящие средства (да, такое случается)

оптика вышла из строя, потому что кто-то погнул кабель не по тому радиусу

Ничего из этого не появляется на вебинарах поставщиков. Но в реальных условиях эти маленькие недостатки съедают целые выходные.

 

И об этом разговоре о 800G…

 

Оно приближается. Конечно. Но мысль о том, что 800G скоро «заменит» 400G — это нонсенс. У большинства предприятий все еще есть островки 10G, которые отказываются умирать. Гиперскейлеры движутся быстро потому, что этого требует масштаб, а не потому, что этого хотят технологии.

400G останется с нами на долгие годы. Честно говоря, сумма денег, привязанная к существующей инфраструктуре, почти гарантирует это.

 

Последние заметки, прежде чем я вернусь в свою лабораторию

 

400G не элегантен. Это не безболезненно. Это не то чистое и блестящее обновление, которое люди представляют себе, когда видят анонсы нового оборудования.

Но это работает. И как только вы переживете свое первое развертывание -, включая потение из-за оптоволокна, жару и периодические загадочные колебания канала связи -, вы в конечном итоге оцените, как далеко продвинулась отрасль.

Если вы планируете использовать 400G в новой сборке, хорошо. Только не забывайте о скучных вещах: наборах для чистки, правильном потоке воздуха, о ком-то, кто действительно знает, как правильно завершить MPO, и хотя бы об одном человеке в вашей команде, который сможет сохранять спокойствие, когда ссылка отказывается открываться без видимой причины.

Последнее найти труднее, чем хорошую оптику.