Оптические модули 400G в современных сетях

 

Войны форм-факторов, которые никто не выиграл

 

QSFP-DD и OSFP возникли в процессе стандартизации как два брата и сестры, которые не могли прийти к согласию ни в чем, кроме того, что оба хотели 400G. Промышленности требовалось восемь электрических линий по 50 Гбит/с каждая, и два разных консорциума решили решить эту проблему двумя разными способами.

QSFP-DD выиграл спор о совместимости. Он подходит к существующим клеткам QSFP28, если вы достаточно сильно прищуритесь и не возражаете против второго ряда штифтов. Обратная совместимость имеет значение, когда у вас есть десятки тысяч развернутых портов и финансовый директор, который задает острые вопросы о неисправных активах.

OSFP выиграла тепловой спор. Корпус немного большего размера и встроенный радиатор означают, что вы действительно можете рассеивать 15-20 Вт, потребляемые этими модулями, не перегревая соседние порты. Я видел линейные карты, у которых угловые порты QSFP-DD постоянно нагревались на 8 градусов выше, чем средние, потому что конструкция воздушного потока предполагала конверты мощности 100G.

Ни один из них по-настоящему не выиграл. Большинство гиперскейлеров выбрали QSFP-DD для упрощения инвентаризации. В большинстве телекоммуникационных развертываний использовался OSFP, поскольку их когерентным модулям требовался тепловой запас. Все остальные выбрали то, что поставлял поставщик коммутаторов, и пошли дальше.

Вариант QSFP112 заслуживает упоминания, поскольку он всех сбивает с толку. Четыре линии по 100G каждая-то же самое совокупное 400G, меньше линий, более новые SerDes. Это важно для подключения сетевых карт, где вы хотите, чтобы сервер-связывал-TOR без сложности коробки передач DSP. Это имеет меньшее значение, чем утверждают производители в других местах.

 

PAM4 изменил всё (и кое-что сломал)

 

Вот что никто адекватно не объясняет, когда продают вам 400G: сигнализация PAM4 обменивает помехоустойчивость на эффективность полосы пропускания, и этот компромисс не является бесплатным.

При кодировании NRZ использовались два уровня сигнала. Высокий или низкий. Один или ноль. Вашему приемнику просто нужно было различать эти два состояния, и глазковая диаграмма давала вам удобные пределы. PAM4 использует четыре уровня-00, 01, 10, 11-, что означает, что ваш приемник теперь должен различать три пересечения порога с разницей в одну треть напряжения. Теоретическое снижение отношения сигнал/шум в 9,54 дБ вовсе не является теоретическим. Он отображается в ваших счетчиках BER до FEC каждый божий день.

DSP внутри модуля 400G компенсирует это героической работой. Прямая-выравнивание с прямой связью, выравнивание с обратной связью по решению, тактовый сигнал и восстановление данных-все работают со скоростью 53,125 ГБод на полосу. Когда это работает, это незаметно. Когда это не работает, вы получаете всплески исправимых ошибок, перемежающиеся случайными неисправимыми, и удачи вам в выяснении, в чем проблема — ваш модуль, ваше волокно, ваш хост или космическое фоновое излучение.

 

 

Варианты длины волны: больше, чем просто досягаемость

 

Технические характеристики охвата отражают лишь часть истории.

400G-SR8 использует 850-нм VCSEL по восьми параллельным волокнам, обеспечивая передачу данных на расстояние 100 метров через OM4. Это дешево. Он многомодовый. Для этого требуется разъем MPO-16 с восемью волокнами TX и восемью RX. Внутри стойки или между соседними стойками это работает нормально. В тот момент, когда кто-то спросит о возможности запуска «еще немного дальше», напомните ему, что модальная дисперсия на длине волны 850 нм не подлежит согласованию.

400G-DR4 работает на длине волны 1310 нм по четырем параллельным одномодовым волокнам-, рассчитанным на длину 500 метров. Разъем MPO-12 использует восемь внешних волокон и оставляет четыре неиспользованными-факт, который сбивает с толку монтажников кабелей примерно один раз за развертывание. DR4 стал рабочей лошадкой для подключения листьев-позвоночников в одномодовых установках, поскольку расстояние 500 метров покрывает большинство геометрий центров обработки данных, и при этом остается достаточно места.

400G-FR4 использует длины волн CWDM4 (1271, 1291, 1311, 1331 нм), мультиплексированные в одну пару волокон через дуплексный LC. Дальность два километра. Именно здесь 400G становится экономичным для межсетевых соединений в кампусе, поскольку вам не нужно протягивать восемь-магистральных оптоволоконных MPO между зданиями.

400G-LR4 расширяет тот же подход CWDM4 до 10 километров с более высокой стартовой мощностью и лучшими приемниками. Скачок цен с FR4 на LR4 до сих пор удивляет отделы закупок, которые еще не обновили свою ментальную модель ценообразования 100G-LR4.

 

Последовательный слон

 

400G-ZR заслуживает отдельного раздела, поскольку представляет собой принципиально другую технологию, но в том же форм-факторе.

Все, что я описывал до сих пор, использует оптику прямого-детектирования. Свет попадает, фотодиод преобразует его, DSP очищает. Когерентная оптика кодирует информацию как по амплитуде, так и по фазе одновременно в двух поляризациях, а затем использует гетеродин и сложную цифровую обработку сигнала для восстановления всей информации на приемнике. Результат: 400 Гбит/с по 120+ километрам неусиленного оптоволокна в подключаемом модуле.

Стандарт OIF 400ZR определяет модуляцию 16QAM со скоростью 60 ГБод с двойной поляризацией. Комбинированная FEC (внутренняя лестница мягкого-решения, внешняя лестница жесткого-решения) обеспечивает чистый выигрыш в кодировании примерно на 10,8 дБ. Все это потребляет 15-20 Вт и выделяет тепло, которое заставило бы плакать модуль QSFP-DD.

Я видел модули ZR, установленные в коммутаторах, которые не были рассчитаны на такую ​​тепловую нагрузку. Шасси переключателя сообщало о нормальной температуре, поскольку его датчики на впуске измеряли холодный воздух. Модуль сообщил о температуре 73 градуса, потому что он был зажат между двумя другими модулями ZR с недостаточным потоком воздуха. Канал работал-едва-с повышенными поправками FEC, чего никто не замечал, пока значение BER до-FEC не превысило пороговое значение и пакеты не начали теряться.

Варианты ZR+ и MZR расширяют охват за счет совместимости. Усовершенствования-специфического поставщика, касающиеся мощности запуска, чувствительности приемника и алгоритмов FEC, позволяют расширить каналы связи на расстояние более 400 км, но вы покупаете решение, а не товар.

 

 

Вопрос третьей стороны-

 

Я разговаривал об этом примерно шестьсот раз.

"Можем ли мы использовать оптику 400G-стороннего производителя?"

Технически да. Спецификации MSA существуют именно для обеспечения совместимости с несколькими-поставщиками. Соответствующий QSFP-DD от производителя X должен вести себя идентично устройству от производителя Y. Стандарты IEEE определяют оптические и электрические параметры. CMIS (спецификация общего интерфейса управления) стандартизирует способ взаимодействия хоста с модулем.

Практически это зависит.

Механизмы аутентификации Cisco превратились из простого подхода «ошибка-отключить порт», как на старых платформах, к более сложной проверке поставщика, которая регистрирует предупреждения, но не обязательно отключает функциональность. Команда сервисного неподдерживаемого-приемопередатчика остается запасным выходом. Arista, как правило, более снисходительна, но отказывается поддерживать проблемы, которые могут возникнуть из-за модулей-сторонних производителей. Позиция Juniper варьируется в зависимости от платформы и версии программного обеспечения, поэтому необходимо учитывать их матрицы совместимости.

Я без колебаний использую оптику-сторонних производителей в лабораторных условиях. Для производственных путей, по которым осуществляется коммерческий трафик в 2 часа ночи, когда что-то выходит из строя? Я хочу иметь возможность позвонить в TAC и попросить их действительно помочь, а не немедленно отвлекаться на «замену на поддерживаемые трансиверы».

Математика затрат меняет этот расчет для гиперскейлеров, которые покупают модули десятками тысяч и нанимают инженеров-оптиков, которые могут независимо оценивать и квалифицировать поставщиков. Иная математика для предприятий, покупающих сотни модулей через каналы сбыта с ограниченными техническими ресурсами.

 

Тепловая реальность

 

Модуль 400G QSFP-DD потребляет от 10 до 15 Вт в зависимости от варианта и поставщика. Когерентный модуль ZR 400G потребляет 15-20 Вт. Модуль QSFP 800G-DD800-, уже развернутый в кластерах AI, потребляет 18–25 Вт.

Поместите 64 из них в коммутатор высотой 2RU, и вы получите 640 Вт только от оптики, не считая ASIC коммутатора, памяти, вентиляторов и блоков питания. Проблема теплового расчета превратилась из «адекватной» в «критическую» за одно поколение.

Во время квалификационного испытания я наблюдал, как тепловизионная камера сканировала полностью-нагруженный коммутатор 400G. Самые горячие модули оказались не такими, как вы ожидали. Угловые позиции, с подветренной стороны от выхлопной системы ASIC, нагревались сильнее, чем центральные модули с лицевой-плитой, куда поступал свежий воздух. Стандартные показания температуры DDM показали разброс в 17 градусов для портов, которые предположительно были идентичными.

Спецификации модуля обещают работу при температуре от 0 до 70 градусов, но кривые производительности при 70 градусах не выглядят так же, как при 25 градусах. Пороговый ток лазера увеличивается. Эффективность уклона снижается. Дрейф длины волны-а для систем CWDM4 и DWDM дрейф длины волны означает перекрестные помехи с соседними каналами.

Системы с воздушным-охлаждением приближаются к пределу своих возможностей. Жидкостное охлаждение коммутаторов остается экзотикой, но становится все более необходимым для кластеров AI/ML, где графические процессоры и оптика конкурируют за один и тот же тепловой бюджет.

 

 

Тестирование реальности

 

Стандарты IEEE определяют точки соответствия. Они не гарантируют, что ваша конкретная ссылка будет работать.

TDECQ (четвертичная схема закрытия передатчика и дисперсии) — это эквивалент PAM4 OMA (амплитуда оптической модуляции), но более сложный. Он пытается охарактеризовать качество передатчика таким образом, чтобы прогнозировать производительность приемника. Для измерения требуются эталонные приемники и математические преобразования, которые различаются у разных производителей испытательного оборудования, что вызывает бесконечные дебаты в комитетах по стандартам.

Предварительное-тестирование BER FEC имеет большее значение, чем когда-либо. "Отпечаток пальца" ваших битовых ошибок-случайных или пакетных, равномерно распределенных или сконцентрированных в определенных символах PAM4-определяет, может ли ваша FEC действительно их исправить. Настоящие случайные ошибки прекрасно сочетаются с кодами Рида-Соломона. Пакетные ошибки из-за проблем с восстановлением тактовой частоты или неправильного поведения DSP могут перегрузить FEC, даже если необработанный BER выглядит приемлемым.

Я научился запрашивать статистику до-FEC для каждого канала 400G, а не только после-FEC. Ссылка, показывающая 0,00 post-FEC BER при выполнении предварительной-FEC BER со скоростью 2×10⁻⁴, выглядит великолепно, пока вы не поймете, что запаса почти не осталось. Добавьте слегка грязный разъем или устаревший лазер, и эта линия без предупреждения опрокинется обрыв FEC.

 

Загрязнение разъема

 

При 400G проблема загрязнения становится острой. Модулированный глаз имеет меньший запас. Частицы, которые были бы невидимы на более низких скоростях, теперь ослабевают настолько, что имеют значение.

Диаметр сердцевины одномодового-волокна составляет 9 микрометров. Разъем MTP/MPO-12 поддерживает восемь активных оптоволоконных каналов (четыре TX, четыре RX) плюс четыре неиспользуемых. Каждый цикл спаривания рискует заразиться. Каждое загрязненное конечное лицо рискует вносимыми потерями, которые съедают ваш бюджет канала.

Требуемая дисциплина уборки не-не подлежит обсуждению, но редко соблюдается последовательно. Очистители одним-нажатием, сухие салфетки, не допускающие статического электричества, влажная уборка изопропиловым спиртом, который необходимо немедленно вытереть насухо, не допуская испарения.-У каждого метода есть сторонники и критики. В чем все согласны: перед подключением проверьте оптоволокном, а если оно грязное, очистите его и проверьте еще раз.

Я видел, как команда развертывателей потратила целый день на устранение неполадок в прерывистом канале 400G-DR4. Несколько замен модулей. Обзоры конфигурации. Наконец достал смотровую площадку и обнаружил на переходнике перегородки строительный мусор, который никто не догадался проверить. Двадцать секунд с помощью чистящего инструмента исправили то, чего не удалось сделать за четыре часа устранения неполадок.

 

 

Что все это означает для планирования

 

Если вы сегодня развертываете новую структуру центра обработки данных, 400G является базовой линией для уровня позвоночника и, в большей степени, для восходящих каналов-Spine. Стоимость одного бита упала до уровня, при котором выход 4×100G из модуля 400G зачастую обходится дешевле, чем отдельные модули 100G. DR4 для всего, что находится на расстоянии более 30 метров внутри здания. FR4 для межсетевых соединений в кампусе. LR4 или ZR, если вы перемещаетесь между объектами.

Если вы представляете предприятие, обдумывающее первое развертывание 400G, то коммутационные платформы стали более совершенными, цепочка поставок модулей стабилизировалась, а ценообразование больше не требует одобрения руководителя-в каждом заказе на поставку. Начните с обновления -позвоночника, докажите, что ваша кабельная инфраструктура способна выдерживать более жесткие требования к загрязнению, и поймите, что ваши инструменты управления должны начать собирать статистику FEC еще до того, как она вам действительно понадобится.

Если вы являетесь гиперскейлером, читая это, вы уже прошли 400G для кластеров графических процессоров и задаетесь вопросом, как на самом деле будет развернуто 1,6T. Удачи в решении тепловых проблем; Я прочитаю твои статьи через два года.

Сами модули стали удивительно надежными. Проблемы существуют повсюду: загрязненные разъемы, неправильно настроенные режимы FEC, тепловые конструкции, рассчитанные на вчерашние пределы мощности, а также организации поддержки, которые все еще учатся устранять проблемы с целостностью сигнала PAM4. Непривлекательные основы-очистите разъемы, измерьте температуру, поймите бюджет FEC-значат больше, чем когда-либо будут дебаты о спецификациях.