В типичном сценарии работы приложений NPB наиболее серьезной проблемой для администраторов является потеря пакетов, вызванная перегрузкой зеркалированных пакетов и сетей NPB. Потеря пакетов в NPB может вызывать следующие типичные симптомы в инструментах анализа на стороне сервера:
— Сигнал тревоги генерируется, когда показатель мониторинга производительности службы APM снижается, а процент успешных транзакций уменьшается.
— Сгенерирован сигнал тревоги об ошибке, возникающий в индикаторе мониторинга производительности сети NPM.
- Система мониторинга безопасности не может обнаружить сетевые атаки из-за пропуска событий.
- События аудита поведения, приводящие к потере обслуживания, генерируются системой аудита обслуживания.
... ...
Важность NPB как централизованной системы захвата и распределения данных для мониторинга обхода сети очевидна. В то же время, способ обработки пакетного трафика данных в ней существенно отличается от традиционного коммутатора работающей сети, и технологии управления перегрузкой трафика, используемые во многих сервисных сетях, неприменимы к NPB. Как решить проблему потери пакетов в NPB? Давайте начнем с анализа первопричин потери пакетов!
Анализ первопричин потери пакетов и перегрузки сети NPB/TAP
Прежде всего, мы анализируем фактический путь трафика и взаимосвязь между системой и входящими и исходящими потоками сети уровня 1 или уровня NPB. Независимо от топологии сети NPB, как система сбора данных, существует взаимосвязь «многие ко многим» между «доступом» и «выходом» всей системы.
Затем рассмотрим бизнес-модель NPB с точки зрения ASIC-чипов на одном устройстве:
Функция 1Асимметрия «трафика» и «физической скорости интерфейса» на входных и выходных интерфейсах приводит к неизбежному большому количеству микроимпульсов. В типичных сценариях агрегации трафика «многие к одному» или «многие ко многим» физическая скорость выходного интерфейса обычно меньше, чем общая физическая скорость входного интерфейса. Например, 10 каналов сбора 10G и 1 канал вывода 10G; в многоуровневом сценарии развертывания все NPBBS можно рассматривать как единое целое.
Функция 2Ресурсы кэша ASIC-чипов очень ограничены. Что касается наиболее распространенных в настоящее время ASIC-чипов, то чип с пропускной способностью 640 Гбит/с имеет кэш объемом 3-10 Мбайт; чип с пропускной способностью 3,2 Тбит/с имеет кэш объемом 20-50 Мбайт. К таким производителям относятся BroadCom, Barefoot, CTC, Marvell и другие.
Функция 3Традиционный механизм управления потоком PFC, обеспечивающий сквозное соединение, неприменим к сервисам NPB. Суть механизма управления потоком PFC заключается в обеспечении обратной связи для подавления трафика на всем протяжении соединения и, в конечном итоге, в уменьшении количества пакетов, отправляемых в стек протоколов конечной точки связи, для снижения перегрузки. Однако источником пакетов в сервисах NPB являются зеркалированные пакеты, поэтому стратегия обработки перегрузки может быть только отброшена или кэширована.
Ниже представлен типичный пример микроимпульса на кривой потока:
В качестве примера рассмотрим интерфейс 10G. На диаграмме анализа тенденций трафика второго уровня видно, что скорость трафика длительное время поддерживается на уровне около 3 Гбит/с. На диаграмме анализа тенденций в микромиллисекундах пик трафика (микровсплеск) значительно превышает физическую скорость интерфейса 10G.
Основные методы смягчения последствий микропорывов NPB
Снизить влияние асимметричного несоответствия скорости физического интерфейса.— При проектировании сети следует максимально снизить асимметричные скорости ввода и вывода на физических интерфейсах. Типичный метод заключается в использовании более высокоскоростного восходящего интерфейса и избегании асимметричных скоростей ввода и вывода на физических интерфейсах (например, одновременного копирования трафика со скоростью 1 Гбит/с и 10 Гбит/с).
Оптимизировать политику управления кэшем службы NPB.— Общая политика управления кэшем, применимая к службе переключения, не применима к службе пересылки NPB. Политика управления кэшем, включающая статическую гарантию и динамическое совместное использование, должна быть реализована с учетом особенностей службы NPB. Это позволит минимизировать влияние микроимпульсов NPB в условиях аппаратной среды текущего чипа.
Внедрить систему управления движением транспорта в условиях повышенной опасности.- Внедрить управление классификацией приоритетных сервисов управления трафиком на основе классификации трафика. Обеспечить качество обслуживания очередей с различными приоритетами в зависимости от пропускной способности очередей по категориям и гарантировать, что пакеты трафика, важные для пользователей, могут быть перенаправлены без потери пакетов.
Разумное системное решение повышает возможности кэширования пакетов и управления трафиком.- Интегрирует решение с помощью различных технических средств для расширения возможностей кэширования пакетов микросхемы ASIC. Путем формирования потока в разных местах микроимпульс превращается в микроравномерную кривую потока после формирования.
Решение Mylinking™ для управления микроимпульсным трафиком
Схема 1 — Стратегия управления кэшем, оптимизированная для сети, + управление приоритетами качества обслуживания в масштабах всей сети.
Стратегия управления кэшем, оптимизированная для всей сети.
Основываясь на глубоком понимании характеристик сервиса NPB и практических бизнес-сценариев большого числа клиентов, продукты Mylinking™ для сбора трафика реализуют комплексную стратегию управления кэшем NPB по принципу «статическое обеспечение + динамическое распределение» для всей сети. Это обеспечивает эффективное управление кэшем трафика в случае большого количества асимметричных входных и выходных интерфейсов. Максимальная устойчивость к микроимпульсам достигается при фиксированном размере кэша текущего ASIC-чипа.
Технология обработки микроимпульсов — управление на основе приоритетов бизнеса.
Когда блок захвата трафика развернут независимо, его приоритет также может быть установлен в соответствии с важностью инструмента анализа бэкэнда или важностью самих сервисных данных. Например, среди множества инструментов анализа APM/BPC имеет более высокий приоритет, чем инструменты анализа/мониторинга безопасности, поскольку он включает мониторинг и анализ различных индикаторных данных важных бизнес-систем. Поэтому в этом сценарии данные, необходимые для APM/BPC, могут быть определены как высокоприоритетные, данные, необходимые для инструментов мониторинга/анализа безопасности, — как среднеприоритетные, а данные, необходимые для других инструментов анализа, — как низкоприоритетные. Когда собранные пакеты данных поступают на входной порт, приоритеты определяются в соответствии с важностью пакетов. Пакеты с более высоким приоритетом пересылаются в приоритетном порядке после пакетов с более высоким приоритетом, а пакеты с другими приоритетами — после пакетов с более высоким приоритетом. Если пакеты с более высоким приоритетом продолжают поступать, приоритет пересылаться происходит в приоритетном порядке. Если объем входных данных в течение длительного времени превышает пропускную способность выходного порта, избыточные данные сохраняются в кэше устройства. Если кэш заполнен, устройство в приоритетном порядке отбрасывает пакеты более низкого порядка. Этот механизм приоритетного управления обеспечивает эффективное получение исходных данных о трафике, необходимых для анализа, ключевыми инструментами анализа в режиме реального времени.
Технология обработки микроимпульсов — механизм гарантирования классификации качества обслуживания всей сети.
Как показано на рисунке выше, технология классификации трафика используется для различения различных сервисов на всех устройствах на уровне доступа, уровне агрегации/ядра и уровне вывода, а приоритеты захваченных пакетов перемаркируются. Контроллер SDN централизованно передает политику приоритетов трафика и применяет ее к устройствам пересылки. Все устройства, участвующие в сети, сопоставляются с различными очередями приоритетов в соответствии с приоритетами, передаваемыми пакетами. Таким образом, пакеты с небольшим трафиком с расширенными приоритетами могут обеспечить нулевую потерю пакетов. Это эффективно решает проблему потери пакетов при мониторинге APM и обходе трафика при аудите специальных сервисов.
Решение 2 — Расширение системного кэша на уровне ГБ + схема управления трафиком
Расширенный кэш системы уровня ГБ
Благодаря расширенным функциональным возможностям обработки данных, устройство нашего блока сбора трафика может выделять определенный объем памяти (ОЗУ) в качестве глобального буфера, что значительно увеличивает емкость буфера. Для одного устройства сбора трафика может быть выделено не менее гигабайт памяти в качестве кэш-памяти. Эта технология позволяет увеличить емкость буфера нашего блока сбора трафика в сотни раз по сравнению с традиционными устройствами сбора данных. При одинаковой скорости пересылки данных максимальная длительность микроимпульсов нашего блока сбора трафика увеличивается. Уровень миллисекунд, поддерживаемый традиционным оборудованием сбора данных, повышается до второго уровня, а время, которое может выдержать микроимпульс, увеличивается в тысячи раз.
Возможность управления трафиком в нескольких очередях
Технология обработки микроимпульсов — решение, основанное на кэшировании больших буферов и управлении трафиком.
Благодаря сверхбольшой емкости буфера, данные трафика, генерируемые микроимпульсами, кэшируются, а технология формирования трафика используется на исходящем интерфейсе для обеспечения плавной передачи пакетов в инструмент анализа. Применение этой технологии коренным образом решает проблему потери пакетов, вызванную микроимпульсами.
Дата публикации: 27 февраля 2024 г.
