Для удовлетворения потребностей облачных сервисов сеть постепенно разделяется на подсистему (Underlay) и оверлей (Overlay). Подсистема Underlay — это физическое оборудование, такое как маршрутизация и коммутация, используемое в традиционных центрах обработки данных, которое по-прежнему придерживается концепции стабильности и обеспечивает надежную передачу данных по сети. Оверлей — это инкапсулированная бизнес-сеть, более близкая к сервису, использующая протоколы VXLAN или GRE для инкапсуляции, что обеспечивает пользователям удобные в использовании сетевые сервисы. Подсистемы Underlay и Overlay взаимосвязаны, но могут развиваться независимо друг от друга.
Базовая сеть — это фундамент сети. Если базовая сеть нестабильна, то для бизнеса не будет соглашения об уровне обслуживания (SLA). После трехуровневой сетевой архитектуры и архитектуры Fat-Tree архитектура сети центров обработки данных переходит к архитектуре Spine-Leaf, что ознаменовало третье применение модели сети CLOS.
Традиционная архитектура сети центра обработки данных
Трехслойная конструкция
С 2004 по 2007 год трехуровневая сетевая архитектура была очень популярна в центрах обработки данных. Она состоит из трех уровней: основного уровня (высокоскоростная коммутационная магистраль сети), уровня агрегации (обеспечивающего подключение на основе политик) и уровня доступа (подключающего рабочие станции к сети). Модель выглядит следующим образом:
Трехуровневая сетевая архитектура
Основной уровень: Коммутаторы ядра обеспечивают высокоскоростную пересылку пакетов в центр обработки данных и из него, связь с несколькими уровнями агрегации и отказоустойчивую маршрутную сеть L3, которая обычно обслуживает всю сеть.
Уровень агрегации: Коммутатор агрегации подключается к коммутатору доступа и предоставляет другие услуги, такие как межсетевой экран, разгрузка SSL, обнаружение вторжений, анализ сети и т. д.
Уровень доступа: Коммутаторы доступа обычно располагаются в верхней части стойки, поэтому их также называют коммутаторами ToR (Top of Rack), и они физически подключаются к серверам.
Как правило, коммутатор агрегации является точкой разграничения между сетями L2 и L3: сеть L2 находится ниже коммутатора агрегации, а сеть L3 — выше. Каждая группа коммутаторов агрегации управляет точкой доставки (POD), и каждая точка доставки представляет собой независимую сеть VLAN.
Протокол сетевой петли и протокол связующего дерева
Образование петель чаще всего происходит из-за путаницы, вызванной неясными путями назначения. При построении сетей пользователи, чтобы обеспечить надежность, обычно используют резервные устройства и резервные каналы связи, поэтому образование петель неизбежно. Сеть второго уровня находится в одном широковещательном домене, и широковещательные пакеты будут передаваться многократно в петле, образуя широковещательный шторм, который может мгновенно вызвать блокировку портов и паралич оборудования. Поэтому для предотвращения широковещательных штормов необходимо предотвращать образование петель.
Для предотвращения образования петель и обеспечения надежности возможно лишь преобразование резервных устройств и каналов связи в резервные устройства и каналы связи. То есть, порты и каналы связи резервных устройств блокируются в нормальных условиях и не участвуют в пересылке пакетов данных. Только при отказе текущего устройства пересылки, порта или канала связи, приводящем к перегрузке сети, порты и каналы связи резервных устройств открываются, что позволяет восстановить нормальную работу сети. Такое автоматическое управление реализуется протоколом Spanning Tree Protocol (STP).
Протокол STP (Spanning Tree Protocol) работает между уровнем доступа и уровнем приемника, и в его основе лежит алгоритм построения связующего дерева, работающий на каждом мосте с поддержкой STP, который специально разработан для предотвращения петель моста при наличии избыточных путей. STP выбирает наилучший путь передачи данных для пересылки сообщений и запрещает те каналы, которые не являются частью связующего дерева, оставляя только один активный путь между любыми двумя сетевыми узлами, а другой восходящий канал будет заблокирован.
Протокол STP обладает множеством преимуществ: он прост, работает по принципу «подключи и работай» и требует минимальной настройки. Машины внутри каждого пода принадлежат к одной и той же VLAN, поэтому сервер может произвольно перемещать местоположение внутри пода без изменения IP-адреса и шлюза.
Однако протокол STP не может использовать параллельные пути пересылки, поскольку он всегда отключает избыточные пути внутри VLAN. Недостатки STP:
1. Медленная сходимость топологии. При изменении топологии сети протоколу связующего дерева требуется 50-52 секунды для завершения сходимости топологии.
2. Не может обеспечить функцию балансировки нагрузки. При наличии петли в сети протокол STP может лишь заблокировать петлю, препятствуя пересылке пакетов данных по каналу связи и расходуя сетевые ресурсы.
Виртуализация и проблемы транспортного потока между Востоком и Западом
После 2010 года, с целью повышения эффективности использования вычислительных и запоминающих ресурсов, центры обработки данных начали внедрять технологию виртуализации, и в сети появилось большое количество виртуальных машин. Технология виртуализации преобразует сервер в множество логических серверов, каждая виртуальная машина может работать независимо, имеет свою собственную операционную систему, приложение, свой собственный MAC-адрес и IP-адрес, и они подключаются к внешним устройствам через виртуальный коммутатор (vSwitch) внутри сервера.
Виртуализация имеет сопутствующее требование: миграция виртуальных машин в режиме реального времени, то есть возможность перемещения системы виртуальных машин с одного физического сервера на другой с сохранением нормальной работы служб на виртуальных машинах. Этот процесс не затрагивает конечных пользователей: администраторы могут гибко распределять ресурсы серверов, а также ремонтировать и модернизировать физические серверы, не влияя на нормальную работу пользователей.
Для обеспечения бесперебойной работы сервиса во время миграции необходимо, чтобы не только IP-адрес виртуальной машины оставался неизменным, но и чтобы состояние виртуальной машины (например, состояние TCP-сессии) сохранялось в процессе миграции. Таким образом, динамическая миграция виртуальной машины может осуществляться только в пределах одного домена уровня 2, а не между доменами уровня 2. Это создает необходимость в более крупных доменах уровня 2 от уровня доступа до уровня ядра.
В традиционной архитектуре сети уровня 2 разделительной точкой между уровнями L2 и L3 является центральный коммутатор, а расположенные под ним центры обработки данных представляют собой полноценный широковещательный домен, то есть сеть уровня L2. Таким образом, обеспечивается произвольность развертывания устройств и миграции местоположения, а также отсутствует необходимость изменения конфигурации IP-адресов и шлюзов. Различные сети уровня L2 (VLAN) маршрутизируются через центральные коммутаторы. Однако центральный коммутатор в этой архитектуре должен поддерживать огромный массив таблиц MAC и ARP, что предъявляет высокие требования к его возможностям. Кроме того, коммутатор доступа (TOR) также ограничивает масштаб всей сети. В конечном итоге это ограничивает масштаб сети, возможности ее расширения и эластичность, а также приводит к проблемам задержки на всех трех уровнях планирования, что не позволяет удовлетворить потребности будущего бизнеса.
С другой стороны, трафик между центрами обработки данных, возникающий благодаря технологии виртуализации, также создает проблемы для традиционной трехуровневой сети. Трафик в центрах обработки данных можно условно разделить на следующие категории:
Движение с севера на юг:Трафик между клиентами за пределами центра обработки данных и сервером центра обработки данных, или трафик от сервера центра обработки данных в Интернет.
Движение с востока на запад:Трафик между серверами внутри центра обработки данных, а также трафик между различными центрами обработки данных, например, восстановление после сбоев между центрами обработки данных, связь между частными и публичными облаками.
Внедрение технологии виртуализации приводит к тому, что развертывание приложений становится все более распределенным, а «побочным эффектом» является увеличение трафика между серверами.
Традиционные трехъярусные архитектуры обычно проектируются для движения транспорта в направлении север-юг.Хотя его можно использовать для движения транспорта в направлении восток-запад, в конечном итоге он может оказаться неэффективным.
Традиционная трехъярусная архитектура против архитектуры с несущим листом.
В трехуровневой архитектуре трафик между узлами сети должен перенаправляться через устройства на уровнях агрегации и ядра. Это приводит к неоправданному прохождению через множество узлов. (Сервер -> Доступ -> Агрегация -> Основной коммутатор -> Агрегация -> Коммутатор доступа -> Сервер)
Следовательно, если через традиционную трехуровневую сетевую архитектуру проходит большой объем трафика между устройствами, подключенными к одному и тому же порту коммутатора, они могут конкурировать за пропускную способность, что приводит к низкому времени отклика для конечных пользователей.
Недостатки традиционной трехслойной сетевой архитектуры
Как видно, традиционная трехслойная сетевая архитектура имеет множество недостатков:
Неэффективное использование полосы пропускания:Для предотвращения зацикливания протокол STP обычно используется между уровнем агрегации и уровнем доступа, так что трафик передается только по одному восходящему каналу коммутатора доступа, а остальные каналы блокируются, что приводит к нерациональному использованию полосы пропускания.
Сложности при размещении крупномасштабных сетей:С расширением масштабов сети центры обработки данных распределяются по различным географическим точкам, виртуальные машины необходимо создавать и мигрировать в любое место, при этом их сетевые атрибуты, такие как IP-адреса и шлюзы, остаются неизменными, что требует поддержки «толстого» уровня 2. В традиционной структуре миграция невозможна.
Отсутствие транспортного потока в направлении восток-запад:Трехуровневая сетевая архитектура в основном предназначена для трафика Север-Юг, хотя она также поддерживает трафик Восток-Запад, но у нее есть очевидные недостатки. При больших объемах трафика Восток-Запад значительно возрастает нагрузка на коммутаторы уровня агрегации и ядра сети, и размер и производительность сети ограничиваются этими уровнями.
Это ставит предприятия перед дилеммой: стоимость и масштабируемость.Поддержка крупномасштабных высокопроизводительных сетей требует большого количества оборудования конвергентного и магистрального уровней, что не только влечет за собой высокие затраты для предприятий, но и требует предварительного планирования сети на этапе ее построения. В небольших масштабах это приводит к нерациональному использованию ресурсов, а при дальнейшем расширении масштабов сети масштабы расширения становятся труднопреодолимыми.
Архитектура сети типа «шпиндель-лист»
Что представляет собой сетевая архитектура Spine-Leaf?
В ответ на вышеуказанные проблемы,Появилась новая архитектура центров обработки данных — Spine-Leaf, которую мы называем сетью типа «лист-гребень».
Как следует из названия, архитектура состоит из основного (Spine) и дополнительного (Leaf) слоев, включая основные и дополнительные коммутаторы.
Архитектура с позвоночником
Каждый коммутатор доступа подключен ко всем коммутаторам доступа, которые не соединены напрямую друг с другом, образуя топологию полной сетки.
В архитектуре spine-and-leaf соединение от одного сервера к другому проходит через одинаковое количество устройств (сервер -> Leaf -> коммутатор Spine -> коммутатор Leaf -> сервер), что обеспечивает предсказуемую задержку. Это происходит потому, что пакету достаточно пройти только через один коммутатор spine и один коммутатор leaf, чтобы достичь пункта назначения.
Как работает Spine-Leaf?
Коммутатор Leaf: Он эквивалентен коммутатору доступа в традиционной трехуровневой архитектуре и напрямую подключается к физическому серверу как TOR (Top Of Rack). Отличие от коммутатора доступа заключается в том, что точка разграничения сети L2/L3 теперь находится на коммутаторе Leaf. Коммутатор Leaf расположен выше трехуровневой сети и ниже независимого широковещательного домена L2, что решает проблему BUM в больших двухуровневых сетях. Если двум серверам Leaf необходимо взаимодействовать, им необходимо использовать маршрутизацию L3 и перенаправлять ее через коммутатор Spine.
Spine-коммутатор: Эквивалент основного коммутатора. ECMP (Equal Cost Multi Path) используется для динамического выбора нескольких путей между Spine- и Leaf-коммутаторами. Разница заключается в том, что Spine-коммутатор теперь просто обеспечивает отказоустойчивую маршрутизацию L3 для Leaf-коммутатора, поэтому трафик север-юг центра обработки данных может маршрутизироваться от Spine-коммутатора, а не напрямую. Трафик север-юг может маршрутизироваться от граничного коммутатора параллельно Leaf-коммутатору к WAN-маршрутизатору.
Сравнение сетевой архитектуры типа «магистраль/лист» и традиционной трехслойной сетевой архитектуры.
Преимущества колючек
Плоский:Плоская архитектура сокращает путь связи между серверами, что приводит к снижению задержки и, следовательно, может значительно повысить производительность приложений и сервисов.
Хорошая масштабируемость:Когда пропускная способность недостаточна, увеличение количества коммутаторов на уровне ребер может обеспечить горизонтальное расширение полосы пропускания. При увеличении количества серверов, если плотность портов недостаточна, можно добавить коммутаторы доступа.
Снижение затрат: трафик в северном и южном направлениях, выходящий либо из оконечных узлов, либо из узлов гребня. Поток с востока на запад, распределенный по нескольким путям. Таким образом, сеть оконечных узлов и узлов гребня может использовать коммутаторы с фиксированной конфигурацией без необходимости в дорогостоящих модульных коммутаторах, что позволяет снизить затраты.
Низкая задержка и предотвращение перегрузок:В сети Leaf Ridge потоки данных имеют одинаковое количество переходов по сети независимо от источника и назначения, и любые два сервера доступны друг от друга по маршруту Leaf -> Spine -> Leaf с тремя переходами. Это обеспечивает более прямой путь передачи трафика, что повышает производительность и уменьшает узкие места.
Высокий уровень безопасности и доступности:Протокол STP используется в традиционной трехуровневой сетевой архитектуре, и при отказе устройства происходит перенастройка, что влияет на производительность сети или даже приводит к ее сбою. В архитектуре «лист-гребень» при отказе устройства перенастройка не требуется, и трафик продолжает проходить по другим обычным путям. Сетевая связность не нарушается, а пропускная способность снижается только на одном пути, что практически не влияет на производительность.
Балансировка нагрузки с помощью ECMP хорошо подходит для сред, где используются централизованные платформы управления сетью, такие как SDN. SDN позволяет упростить настройку, управление и перенаправление трафика в случае блокировки или отказа канала связи, что делает интеллектуальную топологию с балансировкой нагрузки и полной сеткой относительно простым способом настройки и управления.
Однако архитектура Spine-Leaf имеет некоторые ограничения:
Одним из недостатков является то, что увеличение количества коммутаторов приводит к увеличению размера сети. В центрах обработки данных с архитектурой сети Leaf-Rigd необходимо увеличивать количество коммутаторов и сетевого оборудования пропорционально количеству клиентов. По мере увеличения числа хостов требуется большое количество коммутаторов Leaf для подключения к коммутатору Rigd.
Для прямого соединения коммутаторов типа "гребень" и "листья" требуется согласование, и, как правило, разумное соотношение полос пропускания между коммутаторами типа "листья" и "гребень" не может превышать 3:1.
Например, на коммутаторе доступа подключено 48 клиентов со скоростью 10 Гбит/с, общая пропускная способность портов составляет 480 Гбит/с. Если четыре восходящих порта 40G каждого коммутатора доступа подключить к кольцевому коммутатору 40G, то пропускная способность восходящего канала составит 160 Гбит/с. Соотношение составляет 480:160, или 3:1. Восходящие каналы в центрах обработки данных обычно имеют скорость 40G или 100G и могут со временем перейти от начальной скорости 40G (N x 40G) к 100G (N x 100G). Важно отметить, что скорость восходящего канала всегда должна быть выше скорости нисходящего канала, чтобы не блокировать соединение портов.
Сети типа Spine-Leaf также предъявляют четкие требования к проводке. Поскольку каждый коммутатор Leaf должен быть подключен к каждому коммутатору Spine, необходимо прокладывать больше медных или оптоволоконных кабелей. Расстояние между коммутаторами увеличивает стоимость. В зависимости от расстояния между соединенными коммутаторами, количество высокопроизводительных оптических модулей, необходимых для архитектуры Spine-Leaf, в десятки раз выше, чем в традиционной трехъярусной архитектуре, что увеличивает общую стоимость развертывания. Однако это привело к росту рынка оптических модулей, особенно высокоскоростных оптических модулей, таких как 100G и 400G.
Дата публикации: 26 января 2026 г.
