Понимание оптического модуля 400 г

 

Почему 400G случился тогда, когда это произошло

 

Существует определенная неизбежность увеличения пропускной способности, которую ожидают ветераны отрасли. В то время переход от 10G к 40G казался значительным. Затем появился 100G, и внезапно все заговорили об архитектуре позвоночника-листа и схемах трафика с востока-запада. Но 400G? Этот переход был другим.

Схема модуляции NRZ, которая хорошо служила нам от 1G до 25G, просто не могла экономически масштабироваться за пределы 100G. Физика подорожала. Целостность сигнала стала кошмаром. Конечно, технически можно было бы усилить NRZ,-но кривые затрат не имели смысла для массового развертывания. Таким образом, отрасль перешла на PAM4.

Что делает PAM4,-и это стоит понимать, если вы определяете инфраструктуру,-кодирует два бита на символ вместо одного. Четыре уровня амплитуды вместо двух. Удвоенная пропускная способность без удвоения скорости передачи данных. Компромисс? Отношение сигнала-к-шуму снижается примерно на 10 дБ по сравнению с NRZ. Это не тривиально. Вот почему каждый модуль 400G поставляется со встроенным упреждающим исправлением ошибок и почему DSP (процессор цифровых сигналов) стал таким важным компонентом в этих трансиверах.

 

 

Войны форм-факторов

 

Я уже много лет наблюдаю за дебатами о QSFP-DD и OSFP на выставках и собраниях по закупкам. У обеих сторон есть веские аргументы. Ни один из них не одержал окончательной победы.

QSFP-DD вышел из альянса QSFP-DD MSA, и его ключевой особенностью является обратная совместимость. У вас есть несколько модулей QSFP28, которые вы не готовы заменить? Они вставляются прямо в клетку QSFP-DD. Размеры-ширина 18,35 мм и длина 89,4 мм сохраняют привычный форм-фактор. На передней панели высотой 1U можно разместить 36 портов. Это 14,4 Тбит/с совокупной пропускной способности, если заполнить каждый слот. Для операторов, осуществляющих постепенное обновление, это имеет огромное значение.

OSFP применил другой подход. Группа Octal Small Form-factor Pluggable заявила: забудьте об обратной совместимости, давайте оптимизируем управление температурным режимом и будущую масштабируемость. Модули OSFP шириной 22,58 мм и длиной 107,8 мм имеют большую площадь поверхности для рассеивания тепла. Они поддерживают диапазоны мощности до 15-20 Вт по сравнению с максимальной мощностью QSFP-DD в 12–15 Вт. Когда вы используете когерентную оптику или планируете использовать 800G, этот запас становится актуальным.

NVIDIA сделала ставку-на OSFP для своей платформы Quantum-2 InfiniBand. Это не пустяки. Однако корпоративные коммутаторы Cisco и Arista по-прежнему преимущественно поставляют порты QSFP-DD.

 

Что на самом деле означают буквы

 

Если вы когда-нибудь читали спецификацию и задавались вопросом, почему DR4 стоит меньше, чем FR4, несмотря на то, что оба являются «модулями 400G», вы не одиноки. Номенклатура следует шаблонам, но у этих шаблонов есть исключения, и у исключений есть своя собственная логика.

• СР (Короткая дальность): Многомодовое волокно, длина волны 850 нм. 400G-SR8 использует восемь параллельных линий 50G PAM4 через разъем MPO-16. Максимальная дальность действия составляет около 100 метров по оптоволокну OM4-70 метров по оптоволокну OM3. Существует также SR4, который упаковывает 100G в каждую из четырех полос с использованием более высокоскоростных VCSEL. Тот же охват, меньше волокон. Вариант 400G-SR4.2 (иногда называемый BIDI) отличается двунаправленной передачей, используя две длины волны в каждом направлении для достижения скорости 400G всего по четырем волокнам.
• ДР4: Одномодовое-волокно, 1310 нм, 500 метров. Это рабочая лошадка для соединений внутри-центра обработки данных, длина которых превышает возможности SR. Каждая из четырех оптических линий передает 100G PAM4 по выделенной оптоволоконной паре. Разъем МПО-12. Возможности коммутации здесь значительны-один DR4 можно разделить на четыре независимых канала 100G-DR, что помогает при подключении устаревшего оборудования 100G.
• ФР4: два километра, одиночный-режим. Вот где архитектура коробки передач заслуживает своего внимания. Модуль использует восемь электрических линий 50G, преобразует их в четыре оптических линии 100G через DSP, а затем мультиплексирует по длине волны -все четыре в одну пару волокон с использованием интервала CWDM4 (1271, 1291, 1311, 1331 нм). Дуплексный разъем LC. Гораздо более аккуратная кабельная разводка, чем при параллельном подходе DR4.
• LR4 и выше: та же схема длины волны, что и у FR4, но оптимизирована для дальности действия 10 км. ER4 толкает до 40км. ZR4 достигает 80 км, но требует согласованного обнаружения-совершенно другой технологии, другой цены и другого варианта использования. Стандарт 400ZR от OIF специально предназначен для городских приложений DCI, где вам нужна подключаемая когерентная оптика на лицевой панели коммутатора.

 

 

Вопрос о ЦСП

 

Каждый трансивер 400G содержит цифровой сигнальный процессор. Каждый. Это не дополнительная опция.-Модуляция PAM4 просто не работает без сложной обработки сигнала.

Что на самом деле делает DSP? Упреждающая-коррекция для компенсации потерь в канале. Выравнивание обратной связи по решению для меж-интерференции символов. Восстановление часов и данных для извлечения времени из полученного сигнала. Кодирование FEC при передаче, декодирование FEC и коррекция ошибок при приеме. В когерентных модулях добавьте в этот список компенсацию хроматической дисперсии и управление дисперсией режима поляризации.

DSP сжигает энергию. Многое из этого. Во многих модулях 400G на DSP приходится более половины общего энергопотребления. Marvell, Broadcom и Inphi (теперь часть Marvell) конкурируют за сокращение технологических узлов и повышение эффективности. Переход от 7-нм к 5-нм DSP привел к значительной-экономии энергии — порядка 20 % при эквивалентной функциональности.

Продолжаются споры о том, следует ли переносить DSP в саму ASIC коммутатора (то, что некоторые называют «линейной подключаемой оптикой» или LPO). Аргумент звучит так: если вы уже выполняете обработку сигнала на коммутаторе, зачем повторять ее в каждом трансивере? Противоположный-аргумент касается совместимости модулей и практических проблем, связанных с аттестацией оптики на разных платформах коммутаторов. Это будет происходить в течение следующих нескольких лет.

 

На сцену выходит кремниевая фотоника

 

Помните, когда все предполагали, что лазеры на InP (фосфиде индия) будут доминировать в 400G? Повествование изменилось.

Intel и Cisco с самого начала сделали ставку на кремниевую фотонику,-интегрирующую оптические компоненты на кремниевые подложки с использованием стандартных процессов изготовления КМОП. Обещание всегда касалось затрат в масштабе. Традиционная дискретная оптика требует ручной сборки лазерных чипов, модуляторов, фотодетекторов, причем каждый из разных материалов. Кремниевая фотоника позволяет построить большую часть оптического механизма на одном кристалле.

Кремниевые фотонные модули 400G-DR4, поставляемые сегодня, предлагают привлекательную экономичность для гипермасштабных развертываний. Они не всегда дешевле, чем альтернативы на основе EML,-пока-пока-, но траектория затрат благоприятствует кремнию, поскольку производительность увеличивается. Потребление энергии также увеличивается, особенно в секции модулятора.

Тем не менее, из кремния получается посредственный лазер. Косвенная проблема запрещенной зоны не решена. Таким образом, даже в модулях кремниевой фотоники обычно используется внешний чип усиления InP или GaAs, гибридно-интегрированный в кремниевую платформу. Это элегантная инженерия, но термин «кремниевая фотоника» остается несколько амбициозным.

 

Энергетические и тепловые реалии

 

Воздушное охлаждение достигает своих практических пределов для таких плотностей. Жидкостное охлаждение-холодные пластины на ASIC-коммутаторах, возможно погружение в воду целых стоек-больше не является экзотикой. Это просто дорогая инфраструктура, которую организации, предоставляющие услуги, все еще учатся определять и обслуживать.

 

Сценарии прорыва

 

Одна возможность, которой не уделяется достаточно внимания: модули 400G часто можно настроить для работы в режиме коммутации, представляя собой несколько интерфейсов с более низкой-скоростью для хост-системы.

400G-SR8 может стать двумя каналами 200G-SR4 или двумя каналами 100G-SR4, работающими на половинной скорости, или даже восемью независимыми каналами 50G (вариант с разделением каналов или SR8-C). 400G-DR4 можно разбить на четыре соединения 100G-DR, что полезно, когда вам нужно подключить порт коммутатора 400G к четырем отдельным серверам 100G.

Кабели здесь становятся интересными. Дуплексный жгут MPO-12–4xLC использует один порт DR4 и распределяет его по четырем независимым парам SMF. Сетевым архитекторам нравится такая гибкость, но последствия для управления кабелями вполне реальны. Ваш план структурированной кабельной системы должен учитывать сценарии прорыва с первого дня, иначе через шесть месяцев после развертывания вы будете использовать специальные патч-корды.

 

Что означает 800G для 400G

 

Индустрия развивается быстро.. 800Сейчас поставляются трансиверы G-в основном варианты SR8 и DR8 для межсоединений кластеров AI. Делает ли это 400G устаревшим? Даже близко.

Экосистема 400G повзрослела. Стоимость модулей существенно снизилась. Взаимодействие между поставщиками хорошо-налажено. Для большинства потребностей корпоративных и облачных сетей 400G представляет собой оптимальное сочетание производительности, стоимости и удобства эксплуатации. В течение многих лет он будет оставаться важнейшим фактором для конечных-Spine Fabric и соединений общего-центра обработки данных.

800G и, в конечном итоге, 1,6T будут доминировать в средах AI/ML, где графическим процессорам приходится передавать обучающие данные с абсурдной скоростью. Разный рынок, разные требования, разные разговоры о бюджете. Большинству сетей не придется следовать этой кривой.

 

 

Практические соображения, о которых никто не пишет

 

Некоторые вещи усвоились на собственном горьком опыте:

Совместимость модулей EEPROM имеет большее значение, чем признают производители. «Совместимые» трансиверы, которые нормально работают с одной моделью коммутатора, могут выдавать ошибки в другой с той же ASIC, но с другой прошивкой. Увеличьте время тестирования при проверке оптики сторонних-производителей.

Разъем LC на модулях FR4 и LR4 является дуплексным-всего два волокна-, но разъем MPO на DR4 и SR8 использует полировку APC (угловой физический контакт). Совмещение разъемов APC и UPC приведет к возвратным потерям более 20 дБ и периодическим ошибкам. Цветовое кодирование существует не просто так.

Модули PAM4 от разных производителей могут иметь несколько разные реализации FEC. Стандарты оставляют место для интерпретации. Если вы видите необъяснимо большое количество исправленных ошибок в канале, попробуйте заменить один конец на модуль того же-производителя, прежде чем обвинять оптоволоконный завод.

Температура имеет значение. Эти модули обычно рассчитаны на температуру корпуса до 70 градусов, но производительность снижается еще до достижения этого потолка. Сохраняйте хладнокровие, если хотите последовательного поведения.

 

Дорога вперед

 

Оптические модули 400G перешли от передовой к основной инфраструктуре. Технологические решения: -QSFP-DD против OSFP, параллельное решение против WDM, полупроводниковое решение против дискретной оптики-больше не несет в себе тот же риск, что и три года назад. Существуют надежные цепочки поставок. Несколько квалифицированных поставщиков конкурируют по цене и возможностям. Органы по стандартизации устранили большинство крайних случаев совместимости.

Для сетевых архитекторов, планирующих развертывание сегодня, схема выбора проста: сопоставьте форм-фактор со стратегией вашей платформы коммутатора, выберите тип трансивера (SR/DR/FR/LR) на основе фактических требований к дальности действия и не переусердствуйте-спецификациями. 400G-LR4 стоит значительно дороже, чем 400G-DR4. Если ваши самые длинные дистанции составляют 300 метров, вы тратите бюджет без какой-либо операционной выгоды.

Следующие несколько лет принесут постепенные улучшения: более низкое энергопотребление DSP, лучшая производительность кремниевой фотоники, возможно, некоторая стандартизация линейных подключаемых архитектур. Но фундаментальная технологическая платформа стабилизировалась. 400G больше не появляется. Теперь это просто инфраструктура,-которая можно с уверенностью планировать.

И честно? После хаоса начала эры 100G эту предсказуемость стоит ценить.