Дедупликация данных — это популярная и востребованная технология хранения данных, которая оптимизирует емкость хранилища. Она устраняет избыточные данные, удаляя дублирующиеся данные из набора данных, оставляя только одну копию, как показано на рисунке ниже. Эта технология может значительно сократить потребность в физическом пространстве для хранения данных, чтобы удовлетворить растущий спрос на хранение данных. Технология дедупликации может принести множество практических преимуществ, в основном включая следующие аспекты:
| (1) | Соответствовать требованиям ROI (возврат инвестиций)/TCO (совокупная стоимость владения); |
| (2) | Быстрый рост данных можно эффективно контролировать; |
| (3) | Увеличить эффективное пространство для хранения и повысить эффективность хранения; |
| (4) | Экономьте общие затраты на хранение и управление; |
| (5) | Экономия пропускной способности сети передачи данных; |
| (6) | Экономьте затраты на эксплуатацию и обслуживание, такие как затраты на пространство, электропитание и охлаждение. |
Технология дедупликации широко используется в системах резервного копирования и архивирования данных, поскольку после многократного резервного копирования данных образуется большое количество дубликатов данных, что делает её очень подходящей. Фактически, технология дедупликации может применяться во многих ситуациях, включая хранение онлайн-данных, данных в режиме ближнего действия (near-line) и офлайн-данных. Она может быть реализована в файловых системах, менеджерах томов, NAS и системах хранения данных без ограничений (sans). Дедупликацию также можно использовать для аварийного восстановления данных, передачи и синхронизации данных, поскольку технология сжатия данных может использоваться для упаковки данных. Технология дедупликации может помочь многим приложениям сократить объём хранилища данных, сэкономить пропускную способность сети, повысить эффективность хранения, сократить окно резервного копирования и снизить затраты.
У дедупликации есть два основных измерения: коэффициенты дедупликации и производительность. Производительность дедупликации зависит от конкретной технологии реализации, в то время как скорость дедупликации определяется характеристиками самих данных и шаблонами приложений, как показано в таблице ниже. Поставщики хранилищ в настоящее время сообщают о скорости дедупликации в диапазоне от 20:1 до 500:1.
| Высокая скорость дедупликации | Низкий уровень дедупликации |
| Данные, созданные пользователем | Данные из естественного мира |
| Низкая скорость изменения данных | Высокая скорость изменения данных |
| Справочные данные, неактивные данные | Активные данные |
| Приложение с низкой скоростью изменения данных | Приложение с высокой скоростью изменения данных |
| Полное резервное копирование данных | Инкрементное резервное копирование данных |
| Долговременное хранение данных | Кратковременное хранение данных |
| Широкий спектр приложений для обработки данных | Небольшой спектр приложений для обработки данных |
| Непрерывная обработка бизнес-данных | Общая обработка бизнес-данных |
| Небольшая сегментация данных | Сегментация больших данных |
| Удлиненная сегментация данных | Сегментация данных фиксированной длины |
| Воспринимаемое содержание данных | Содержание данных неизвестно |
| Дедупликация данных по времени | Пространственная дедупликация данных |
Точки реализации дедупликации
При разработке и применении технологии Dedupe следует учитывать различные факторы, поскольку они напрямую влияют на ее производительность и эффективность.
| (1) | Что | Какие данные подвергаются девзвешиванию? |
| (2) | Когда | Когда вес будет устранен? |
| (3) | Где | Где же снижение веса? |
| (4) | Как | Как похудеть? |
Технология дедупликации ключей
Процесс дедупликации системы хранения в целом выглядит следующим образом: сначала файл данных делится на набор данных, для каждого блока данных вычисляется отпечаток, а затем на основе ключевых слов поиска хэша отпечатка, совпадение указывает на данные для дублирующихся блоков данных, сохраняет только номер индекса блока данных, в противном случае это означает, что блок данных является единственной частью нового, хранения блока данных и создания соответствующей метаинформации. Таким образом, физический файл в системе хранения соответствует логическому представлению набора метаданных FP. При чтении файла сначала считывается логический файл, затем в соответствии с последовательностью FP извлекается соответствующий блок данных из системы хранения, восстанавливается копия физического файла. Из вышеприведенного процесса видно, что ключевые технологии Dedupe в основном включают сегментацию блоков данных файла, вычисление отпечатка блока данных и извлечение блока данных.
(1) Сегментация блока данных файла
(2) Расчет отпечатка блока данных
(3) Извлечение блока данных
Чтобы найти эти рекомендуемые модели для начала дедупликации сетевых пакетов:
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-640048 портов 10GE SFP+ и 4 порта 40GE/100GE QSFP28, макс. 880 Гбит/с
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-56606 портов 40GE/100GE QSFP28 плюс 48 портов 10GE/25GE SFP28, макс. 1,8 Тбит/с
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-506048 портов 10GE SFP+ и 2 порта 40GE QSFP, макс. 560 Гбит/с
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбит/с, Function Plus
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, макс. 480 Гбит/с
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-2410P24 порта 10GE SFP+, макс. 240 Гбит/с, функция DPI
Сетевой брокер пакетов Mylinking™ (NPB) ML-NPB-6400
48 портов 10GE SFP+ и 4 порта 40GE/100GE QSFP28, макс. 880 Гбит/с
Время публикации: 18 октября 2022 г.
