В типичном сценарии применения NPB наиболее сложной проблемой для администраторов является потеря пакетов, вызванная перегрузкой зеркалируемых пакетов и сетей NPB. Потеря пакетов в NPB может вызывать следующие типичные симптомы в инструментах внутреннего анализа:
- Сигнал тревоги генерируется, когда индикатор мониторинга производительности службы APM снижается, а показатель успешности транзакций снижается.
- Генерируется сигнал тревоги об исключении индикатора мониторинга производительности сети NPM.
- Система мониторинга безопасности не обнаруживает сетевые атаки из-за пропуска событий
- События аудита поведения при потере обслуживания, генерируемые системой аудита обслуживания
... ...
Важность NPB как централизованной системы захвата и распределения для мониторинга обходных путей очевидна. В то же время, способ обработки пакетного трафика существенно отличается от традиционного сетевого коммутатора, а технологии управления перегрузкой трафика, используемые во многих сетях с активным обслуживанием, неприменимы к NPB. Чтобы решить проблему потери пакетов NPB, давайте начнём с анализа первопричины потери пакетов.
Анализ первопричины потери пакетов NPB/TAP
Прежде всего, мы анализируем фактический путь трафика и соответствие между системой и входящими и исходящими потоками сети NPB уровня 1 или уровня NPB. Независимо от топологии сети NPB, как система сбора данных, существует отношение «многие ко многим» между «доступом» и «выходом» всей системы.
Затем мы рассмотрим бизнес-модель NPB с точки зрения микросхем ASIC на одном устройстве:
Особенность 1: «Трафик» и «скорость физического интерфейса» входного и выходного интерфейсов асимметричны, что неизбежно приводит к большому количеству микровсплесков. В типичных сценариях агрегации трафика «многие к одному» или «многие ко многим» физическая скорость выходного интерфейса обычно меньше общей физической скорости входного интерфейса. Например, 10 каналов сбора 10G и 1 канал вывода 10G; в сценарии многоуровневого развертывания все NPBBS можно рассматривать как единое целое.
Функция 2Ресурсы кэш-памяти микросхем ASIC весьма ограничены. Что касается наиболее распространённых в настоящее время микросхем ASIC, то чип с пропускной способностью 640 Гбит/с имеет кэш объёмом 3–10 Мбайт; чип с пропускной способностью 3,2 Тбит/с имеет кэш объёмом 20–50 Мбайт. В их число входят BroadCom, Barefoot, CTC, Marvell и другие производители микросхем ASIC.
Функция 3: Традиционный механизм сквозного управления потоком PFC неприменим к сервисам NPB. Суть механизма управления потоком PFC заключается в обеспечении сквозной обратной связи для подавления трафика и, в конечном итоге, в сокращении количества пакетов, отправляемых в стек протоколов конечной точки связи, для снижения перегрузки. Однако источником пакетов сервисов NPB являются зеркальные пакеты, поэтому стратегия обработки перегрузки может быть только отброшена или кэширована.
Ниже представлен типичный микровсплеск на кривой потока:
На примере интерфейса 10G, на диаграмме анализа тренда трафика второго уровня скорость трафика в течение длительного времени поддерживается на уровне около 3 Гбит/с. На диаграмме анализа тренда в микромиллисекундах пик трафика (MicroBurst) значительно превышает физическую скорость интерфейса 10G.
Ключевые методы смягчения микропорывов NPB
Уменьшить влияние асимметричного несоответствия скорости физического интерфейса– При проектировании сети максимально уменьшите асимметричные скорости входного и выходного физических интерфейсов. Типичный метод – использовать более высокоскоростной восходящий канал связи и избегать асимметричных скоростей физических интерфейсов (например, одновременного копирования трафика 1 Гбит/с и 10 Гбит/с).
Оптимизировать политику управления кэшем службы NPB– Общая политика управления кэшем, применяемая к сервису коммутации, не применима к сервису пересылки сервиса NPB. Политика управления кэшем, включающая статическую гарантию и динамическое распределение, должна быть реализована на основе особенностей сервиса NPB. Это позволит минимизировать влияние микровсплесков NPB в условиях ограничений аппаратной среды текущего чипа.
Внедрить управление классифицированным транспортным движением- Реализовать управление классификацией услуг по приоритетному трафику на основе классификации трафика. Обеспечить качество обслуживания очередей с различными приоритетами в зависимости от пропускной способности очередей категорий и обеспечить пересылку пакетов трафика, важных для пользователей, без потерь.
Разумное системное решение расширяет возможности кэширования пакетов и формирования трафика.- Интеграция решения с различными техническими средствами для расширения возможностей кэширования пакетов микросхемы ASIC. Формирование потока в различных точках позволяет добиться микроравномерной кривой потока после формирования.
Решение Mylinking™ для управления микровсплесками трафика
Схема 1 — оптимизированная для сети стратегия управления кэшем + управление приоритетами качества классифицированных услуг в масштабах всей сети
Стратегия управления кэшем, оптимизированная для всей сети
Основываясь на глубоком понимании характеристик сервиса NPB и практических бизнес-сценариев большого числа клиентов, продукты Mylinking™ для сбора трафика реализуют комплекс стратегий управления кэшем NPB «статическое обеспечение + динамическое распределение» для всей сети, что положительно влияет на управление кэшем трафика в случае большого количества асимметричных входных и выходных интерфейсов. Устойчивость к микровсплескам трафика максимально реализуется при фиксированном объеме кэша микросхемы ASIC.
Технология обработки Microburst — управление на основе бизнес-приоритетов
При независимом развертывании устройства захвата трафика его приоритеты также могут быть назначены в соответствии с важностью инструмента внутреннего анализа или важности самих данных сервиса. Например, среди многих инструментов анализа APM/BPC имеет более высокий приоритет, чем инструменты анализа/мониторинга безопасности, поскольку он включает в себя мониторинг и анализ различных индикаторных данных важных бизнес-систем. Следовательно, для этого сценария данные, требуемые APM/BPC, могут быть определены как высокоприоритетные, данные, требуемые инструментами мониторинга/анализа безопасности, могут быть определены как среднеприоритетные, а данные, требуемые другими инструментами анализа, могут быть определены как низкоприоритетные. Когда собранные пакеты данных поступают во входной порт, приоритеты определяются в соответствии с важностью пакетов. Пакеты с более высоким приоритетом пересылаются в первую очередь после пакетов с более высоким приоритетом, а пакеты с другими приоритетами пересылаются после пакетов с более высоким приоритетом. Если пакеты с более высоким приоритетом продолжают поступать, пакеты с более высоким приоритетом пересылаются в первую очередь. Если объём входных данных в течение длительного времени превышает пропускную способность выходного порта, избыточные данные сохраняются в кэше устройства. При заполнении кэша устройство в первую очередь отбрасывает пакеты с меньшим приоритетом. Этот механизм управления приоритетами гарантирует, что ключевые инструменты анализа смогут эффективно получать исходные данные трафика, необходимые для анализа в режиме реального времени.
Технология обработки Microburst – механизм гарантии классификации качества обслуживания всей сети
Как показано на рисунке выше, технология классификации трафика используется для различения различных сервисов на всех устройствах на уровнях доступа, агрегации/ядра и вывода, а приоритеты перехваченных пакетов перемаркируются. Контроллер SDN централизованно реализует политику приоритетов трафика и применяет её к устройствам пересылки. Все устройства, участвующие в сети, сопоставляются с различными очередями приоритетов в соответствии с приоритетами, передаваемыми пакетами. Таким образом, пакеты с повышенным приоритетом для небольшого трафика могут достигать нулевой потери пакетов. Это эффективно решает проблему потери пакетов при мониторинге APM и обходе трафика службами аудита специальных услуг.
Решение 2 — Кэширование системы на уровне ГБ + Схема формирования трафика
Расширенный кэш системы уровня ГБ
Когда устройство нашего блока сбора трафика обладает расширенными функциональными возможностями обработки, оно может открыть определенный объем памяти (ОЗУ) устройства в качестве глобального буфера устройства, что значительно увеличивает емкость буфера устройства. Для одного устройства сбора данных может быть предоставлена емкость кэша устройства сбора данных не менее гигабайта. Эта технология увеличивает емкость буфера нашего устройства сбора трафика в сотни раз по сравнению с традиционным устройством сбора данных. При той же скорости пересылки максимальная длительность микропакета нашего устройства сбора трафика становится больше. Уровень миллисекунд, поддерживаемый традиционным оборудованием сбора данных, был повышен до второго уровня, а время микропакета, которое может быть выдержано, было увеличено в тысячи раз.
Возможность формирования трафика в нескольких очередях
Технология обработки Microburst — решение, основанное на кэшировании большого буфера + формировании трафика
Благодаря сверхбольшому объёму буфера данные трафика, генерируемые микровзрывами, кэшируются, а технология формирования трафика используется в исходящем интерфейсе для обеспечения плавного вывода пакетов в инструмент анализа. Благодаря применению этой технологии проблема потери пакетов, вызванной микровзрывами, принципиально решена.
Время публикации: 27 февраля 2024 г.
