В прошлом месяце мне пришлось переделать все межсоединение коммутатора ToR, потому что кто-то заказал неправильную полярность. 16 часов простоя. Неинтересно объяснять это руководству.
Но позвольте мне отступить. Когда в третьем квартале мы приступили к проекту расширения DC, вопрос заключался в том, придерживаться ли во всем традиционного дуплекса LC или, наконец, стиснуть зубы и перейти на основу-на основе MPO. Наш ведущий сетевой специалист продолжал настаивать на MPO, говоря, что это «отраслевой стандарт» и «надежность на будущее» -, вы знаете, что делать. Я был настроен скептически, потому что слышал ужасные истории о проблемах полярности.
Оказывается, оба подхода имеют место быть, и ошибка любого из них будет стоить вам дорого.
Проблема с плотностью, с которой мы столкнулись
Наша старая установка представляла собой чистые портовые коммутаторы. 48-LC, все работало по оптике 10G SR, повсюду оптоволокно OM3. Работало нормально, пока нам не потребовалось добавить емкость. Кабельные лотки уже были заполнены на 60 %, и в кодексе указано, что нельзя превышать 50 % для вентиляционных помещений (зависит от юрисдикции, но это наши местные требования).
Итак, у нас было два варианта: - вырвать существующие лотки и установить более крупные или найти способ увеличить пропускную способность за счет меньшего количества физического кабеля. Угадайте, какой из финансов одобрил.
Именно здесь переход от mpo к lc приобретает смысл. 12-волоконный магистральный канал занимает примерно 1/3 места в лотке по сравнению с шестью дуплексными кабелями LC. А когда вы используете соединения 200+ между этажами, эта экономия места не просто удобна, она определяет, пройдет ли проверка или нет.
Настройка первых нескольких ссылок
Для первоначального развертывания мы использовали отводные кабели FS.com. Их прорыв от 5-метров OM4 MPO-12 до 6xLC еще в сентябре стоил около 85 долларов за штуку - я помню, потому что покупка заставила меня получить три котировки, и они оказались самыми низкими. Компания Corning предложила почти двойную цену за ту же спецификацию.
Часть установки... расскажу про полярность, потому что тут все выходит наперекосяк, если не обращать внимания.
Стандартный протокол 40GBASE-SR4 использует четыре линии. Ваш приемопередатчик QSFP+ имеет 12 волокон в интерфейсе MPO, но использует только 8 - четыре TX и четыре RX. Средние четыре позиции просто пусты. Когда вы подключаете патч-кабель MPO на одном конце, а на другом он выходит к LC, вам нужно, чтобы эти волокна подключались к правильным контактам.
Полярность типа B переворачивает массив. Волокно 1 на одном конце переходит в волокно 12 на другом конце. Волокно 2 идет к 11. И так далее. Это то, чего Cisco и большинство поставщиков ожидают от параллельной оптики 40G, что подтверждено спецификациями на сайте cisco.com. Но в некоторых старых устройствах используется прямой-тип A, и если вы смешаете их, вы по сути подключаете TX к TX и RX к RX, что совершенно ничего не дает.
Мы все промаркировали. Я имею в виду ВСЕ. На каждом отводе была маркировка с указанием положения волокна и типа полярности, потому что через три месяца, когда кому-то понадобится устранить неполадку, он не сможет вспомнить, какой кабель какой.
Скачок пропускной способности
Переход от 10G к 40G на порт на бумаге звучит великолепно. В реальности? В нашу первую неделю у нас были потери пакетов на двух восходящих каналах. Оказались грязные разъемы на концах LC.Разъем МПОИнтерфейсы имеют 12 точек контакта вместо 2, поэтому существует большая площадь поверхности, которая потенциально может быть загрязнена. Мы купили один из этих чистящих наборов MPO за 300 долларов - с механическим очистителем нажимного-действия. Стоит каждого пенни.
Согласно стандарту TIA-604-5, вносимые потери для этих кабелей должны составлять менее 0,5 дБ на сопряженную пару. Наше тестирование показало, что большинство соединений имеют уровень шума 0,3–0,4 дБ, что является надежным показателем. Уровень шума в одном кабеле составил 0,7 дБ, мы вытащили его и отправили обратно как неисправный. Когда вы используете 100-метровые пролеты на OM4, каждая десятая дБ имеет значение, потому что вы уже близки к потолку бюджета мощности.
Когда mpo vs lc станет реальным решением
Меньшие шкафы? Не заморачивайтесь с МПО. У нас есть несколько шкафов ЦАХАЛа, всего около 12 соединений. Прокладывать туда кабель МПО было бы глупо. Просто используйте обычные патч-корды LC и хватит. Точкой пересечения для нас было около 30-40 подключений в одном месте. Ниже этого дополнительная сложность управления полярностью MPO не оправдывает преимущества плотности.
Но в нашем главном ЦОД с 480 портами 40G между уровнями позвоночника и листьев MPO сэкономил нам, вероятно, две недели времени установки. Вместо завершения 960 отдельных соединений LC (480 дуплексных пар) мы использовали 80 соединительных линий MPO с заводскими-разъемами. Меньшее количество заделок в полевых условиях означает меньшую вероятность плохих обжимов или полировки.
Сетевые коммутаторы -, которые мы использовали, Arista 7280R - оснащены 32 портами QSFP28, каждый из которых обеспечивает скорость 100G. Для конечных соединений мы разобрали их, используя конфигурации кабелей mpo-lc для управления четырьмя каналами 25G на порт. Поддержка режима коммутации Arista довольно гибкая, описанная на сайте arista.com/en/support, и позволяет нам смешивать 100G и 4x25G на одном коммутаторе.
Управление кабелями становится странным
Длина имеет большее значение, чем вы думаете, если речь идет об отводных кабелях. Разделенная секция, в которой один ствол MPO разветвляется на несколько ветвей LC, - этой секции является жесткой. Обычно 18-24 дюйма ненапряженной зоны прорыва. Для этого вам понадобится свободное пространство.
В нашей конструкции стойки наверху было выделено 4U для прокладки кабелей, но этого оказалось недостаточно, когда мы начали добавлять прорывы. В итоге мы также установили проводные организаторы по бокам стойки, потому что ножки LC не сгибаются так сильно, как обычные патч-кабели. Минимальный радиус изгиба OM4 составляет 30 мм под нагрузкой согласно спецификациям TIA-568, а разъёмная секция имеет внутреннюю разгрузку от натяжения, что делает её более жёсткой.
Для прокладок между стойками мы использовали прямые магистральные кабели патч-корда MPO - без разрыва -, а затем выполняли разрыв на каждом конце короткими отрезками длиной 1 метр. Чистая установка и более простое отслеживание. Существуют длинные разъёмные кабели от mpo до lc, такие как 10-метровые или 15-метровые версии, но работать с ними сложно, потому что все эти ножки LC болтаются по всей длине.
Тестирование заняло больше времени, чем ожидалось
Тед
На приемочное тестирование мы выделили 2 дня. Взял 5. Каждое подключение MPO требует проверки полярности. Для каждого терминатора LC необходимо измерить вносимые и обратные потери. Если у вас есть 80 соединительных линий по 6 коммутационных линий в каждой, то для тестирования потребуется 480 дуплексных пар LC.
Мы поймали около 15 кабелей с проблемами. Некоторые из них были сменой полярности -, вероятно, каким-то образом смешали Тип A с порядком Типа B. У пары были высокие потери на определенных прядях волокна, обычно по какой-то причине в позиции 11 или 12. А у одного патч-корда MPO был треснутый наконечник, которого не было видно, пока мы не поместили его под микроскоп. Это было странно, потому что он прошел начальные вносимые потери, но не смог измерить обратные потери при -25 дБ, когда спецификация -35 дБ или выше.
Поставщик (снова FS) заменил все дефектные кабели, но добавил к графику неделю. Запланируйте еще 10% запасных кабелей для любого проекта MPO, поверьте мне.
Сделаю ли я MPO для ЖК еще раз? Да, для сред с высокой-плотностью. Для небольших развертываний или чего-либо менее 40G, где вы просто используете каналы 10G, обычная инфраструктура LC проще и дешевле. Но если вы имеете дело с оптикой QSFP и конструкциями опорных-листьев, прокладка кабелей на основе MPO- по сути обязательна, если только вам не нравится тратить в три раза больше времени на установку и прокладку кабелей.
Просто трижды-проверьте полярность, прежде чем что-либо подключать. Промаркируйте все. И купить запчасти.
