В типичном сценарии применения NPB наиболее неприятной проблемой для администраторов является потеря пакетов, вызванная перегрузкой зеркальных пакетов и сетей NPB. Потеря пакетов в NPB может вызвать следующие типичные симптомы в инструментах внутреннего анализа:
- Формируется сигнал тревоги, когда снижается показатель мониторинга производительности сервиса APM и снижается вероятность успеха транзакций.
- Генерируется сигнал исключения индикатора мониторинга производительности сети NPM.
- Система мониторинга безопасности не может обнаружить сетевые атаки из-за пропуска событий.
- События аудита поведения потери обслуживания, генерируемые системой аудита обслуживания.
... ...
Важность NPB как централизованной системы сбора и распределения данных для обходного мониторинга очевидна. В то же время способ обработки пакетного трафика данных сильно отличается от традиционного сетевого коммутатора, а технология управления перегрузкой трафика во многих действующих сетях обслуживания неприменима к NPB. Как решить проблему потери пакетов NPB, давайте начнем с анализа первопричин потери пакетов, чтобы увидеть это!
Анализ первопричин перегрузки потери пакетов NPB/TAP
Прежде всего, мы анализируем фактический путь трафика и взаимосвязь между системой и входящей и исходящей сетью уровня 1 или уровня NPB. Независимо от того, какую топологию сети формирует NPB, как система сбора данных, между «доступом» и «выходом» всей системы существует соотношение ввода и вывода трафика «многие ко многим».
Затем мы посмотрим на бизнес-модель NPB с точки зрения чипов ASIC на одном устройстве:
Особенность 1: «Трафик» и «скорость физического интерфейса» входных и выходных интерфейсов асимметричны, что приводит к неизбежному появлению большого количества микровсплесков. В типичных сценариях агрегации трафика «многие к одному» или «многие ко многим» физическая скорость выходного интерфейса обычно меньше, чем общая физическая скорость входного интерфейса. Например, 10 каналов сбора 10G и 1 выходной канал 10G; В сценарии многоуровневого развертывания все NPBBS можно рассматривать как единое целое.
Особенность 2: Ресурсы кэша чипа ASIC очень ограничены. Что касается широко используемого в настоящее время чипа ASIC, то чип с пропускной способностью обмена 640 Гбит/с имеет кэш объемом 3–10 Мбайт; Чип емкостью 3,2 Тбит/с имеет кэш объемом 20-50 Мбайт. В том числе BroadCom, Barefoot, CTC, Marvell и других производителей ASIC-чипов.
Функция 3: Обычный механизм сквозного управления потоком PFC неприменим к службам NPB. Суть механизма управления потоком PFC заключается в обеспечении обратной связи по сквозному подавлению трафика и, в конечном итоге, уменьшении отправки пакетов в стек протоколов конечной точки связи для уменьшения перегрузки. Однако источником пакетов служб NPB являются зеркальные пакеты, поэтому стратегию обработки перегрузок можно только отбросить или кэшировать.
Ниже показано появление типичного микровсплеска на кривой течения:
Если взять в качестве примера интерфейс 10G, то на диаграмме анализа тенденций трафика второго уровня скорость трафика поддерживается на уровне около 3 Гбит/с в течение длительного времени. На диаграмме анализа тенденций в микромиллисекундах пик трафика (MicroBurst) значительно превысил физическую скорость интерфейса 10G.
Ключевые методы смягчения микровзрыва NPB
Уменьшите влияние несоответствия скорости асимметричного физического интерфейса.- При проектировании сети максимально уменьшите асимметричные скорости ввода и вывода физических интерфейсов. Типичный метод — использовать интерфейс восходящего канала с более высокой скоростью и избегать асимметричных скоростей физического интерфейса (например, одновременное копирование трафика 1 Гбит/с и 10 Гбит/с).
Оптимизация политики управления кэшем службы NPB.— Общая политика управления кэшем, применимая к службе коммутации, не применима к службе пересылки службы NPB. Политика управления кэшем статическая гарантия + Динамическое совместное использование должна быть реализована на основе особенностей сервиса NPB. Чтобы свести к минимуму влияние микровзрыва NPB в условиях текущих ограничений аппаратной среды чипа.
Внедрить секретное управление дорожным движением- Внедрить управление классификацией приоритетных услуг по организации трафика на основе классификации трафика. Обеспечьте качество обслуживания очередей с различными приоритетами в зависимости от пропускной способности очередей категорий и убедитесь, что пакеты трафика конфиденциальных для пользователя услуг могут пересылаться без потери пакетов.
Разумное системное решение расширяет возможности кэширования пакетов и возможности формирования трафика.- Интегрирует решение с помощью различных технических средств для расширения возможностей кэширования пакетов чипа ASIC. Формируя поток в разных местах, микровзрыв после формирования становится микроравномерной кривой потока.
Решение Mylinking™ Micro Burst для управления трафиком
Схема 1. Стратегия управления кэшем, оптимизированная для сети + управление приоритетами качества классифицированных услуг в масштабе всей сети.
Стратегия управления кэшем, оптимизированная для всей сети
Основываясь на глубоком понимании характеристик службы NPB и практических бизнес-сценариях большого числа клиентов, продукты Mylinking™ для сбора трафика реализуют набор стратегии управления кэшем NPB «статическое обеспечение + динамическое совместное использование» для всей сети, которая имеет хороший эффект на управление кэшем трафика в случае большого количества асимметричных интерфейсов ввода и вывода. Устойчивость к микровзрывам реализуется в максимальной степени, когда текущий кэш микросхемы ASIC фиксирован.
Технология микровзрывной обработки — управление на основе бизнес-приоритетов
Когда блок захвата трафика развертывается независимо, ему также можно присвоить приоритеты в соответствии с важностью инструмента внутреннего анализа или важностью самих служебных данных. Например, среди многих инструментов анализа APM/BPC имеет более высокий приоритет, чем инструменты анализа безопасности/мониторинга безопасности, поскольку он включает в себя мониторинг и анализ различных индикаторных данных важных бизнес-систем. Таким образом, для этого сценария данные, необходимые для APM/BPC, могут быть определены как высокий приоритет, данные, необходимые для инструментов мониторинга безопасности/анализа безопасности, могут быть определены как средний приоритет, а данные, необходимые для других инструментов анализа, могут быть определены как низкие. приоритет. Когда собранные пакеты данных поступают во входной порт, приоритеты определяются в соответствии с важностью пакетов. Пакеты с более высоким приоритетом предпочтительно пересылаются после пересылки пакетов с более высоким приоритетом, а пакеты с другими приоритетами пересылаются после пересылки пакетов с более высоким приоритетом. Если пакеты с более высоким приоритетом продолжают поступать, пакеты с более высоким приоритетом будут пересылаться преимущественно. Если входные данные превышают возможности пересылки выходного порта в течение длительного периода времени, избыточные данные сохраняются в кэше устройства. Если кэш заполнен, устройство преимущественно отбрасывает пакеты более низкого порядка. Этот механизм управления приоритетами гарантирует, что ключевые инструменты анализа могут эффективно получать исходные данные о трафике, необходимые для анализа, в режиме реального времени.
Технология обработки микропакетов - классификационный механизм, гарантирующий качество всего сетевого сервиса.
Как показано на рисунке выше, технология классификации трафика используется для различения различных сервисов на всех устройствах на уровне доступа, уровне агрегации/ядра и выходном уровне, а приоритеты перехваченных пакетов перемаркируются. Контроллер SDN централизованно обеспечивает политику приоритета трафика и применяет ее к пересылающим устройствам. Все устройства, участвующие в сети, распределяются по очередям с разными приоритетами в соответствии с приоритетами, переносимыми пакетами. Таким образом, пакеты с расширенным приоритетом с небольшим трафиком могут обеспечить нулевую потерю пакетов. Эффективно решите проблему потери пакетов при мониторинге APM и специальных сервисах аудита обхода трафика.
Решение 2. Расширение системного кэша на уровне ГБ + схема формирования трафика
Расширенный системный кэш уровня ГБ
Когда устройство нашего блока сбора трафика имеет расширенные функциональные возможности обработки, оно может открыть определенный объем памяти (ОЗУ) устройства в качестве глобального буфера устройства, что значительно увеличивает емкость буфера устройства. Для одного устройства сбора данных в качестве кэш-пространства устройства сбора данных может быть предусмотрена емкость по меньшей мере ГБ. Эта технология делает буферную емкость нашего устройства сбора трафика в сотни раз выше, чем у традиционного устройства сбора трафика. При той же скорости пересылки максимальная продолжительность микропакета нашего устройства сбора трафика становится больше. Миллисекундный уровень, поддерживаемый традиционным оборудованием для сбора данных, был повышен до второго уровня, а выдерживаемое время микровсплесков увеличено в тысячи раз.
Возможность формирования многоочередного трафика
Технология обработки Microburst — решение на основе кэширования большого буфера + формирования трафика
Благодаря сверхбольшой емкости буфера данные трафика, генерируемые микропакетами, кэшируются, а технология формирования трафика используется в исходящем интерфейсе для обеспечения плавного вывода пакетов в инструмент анализа. Благодаря применению этой технологии явление потери пакетов, вызванное микропакетами, принципиально решено.
Время публикации: 27 февраля 2024 г.
