Дедупликация данных — это популярная и востребованная технология хранения, которая оптимизирует емкость хранилища. Она устраняет избыточные данные, удаляя дублирующиеся данные из набора данных, оставляя только одну копию. Как показано на рисунке ниже. Эта технология может значительно сократить потребность в физическом пространстве для хранения, чтобы удовлетворить растущий спрос на хранение данных. Технология дедупликации может принести много практических преимуществ, в основном включая следующие аспекты:
| (1) | Соответствовать требованиям ROI (возврат инвестиций)/TCO (совокупная стоимость владения); |
| (2) | Быстрый рост объемов данных можно эффективно контролировать; |
| (3) | Увеличить эффективное пространство для хранения и повысить эффективность хранения; |
| (4) | Экономия общих затрат на хранение и управление; |
| (5) | Экономия пропускной способности сети передачи данных; |
| (6) | Экономьте расходы на эксплуатацию и обслуживание, такие как затраты на пространство, электропитание и охлаждение. |
Технология Dedupe широко используется в системах резервного копирования и архивирования данных, поскольку после многократного резервного копирования данных остается много дубликатов данных, что очень подходит для этой технологии. Фактически, технология Dedupe может использоваться во многих ситуациях, включая онлайн-данные, данные near-line и офлайн-системы хранения данных. Она может быть реализована в файловых системах, менеджерах томов, NAS и sans. Dedupe также может использоваться для аварийного восстановления данных, передачи и синхронизации данных, поскольку технология сжатия данных может использоваться для упаковки данных. Технология Dedupe может помочь многим приложениям сократить объем хранения данных, сэкономить пропускную способность сети, повысить эффективность хранения, сократить окно резервного копирования и сэкономить расходы.
Дедупликация имеет два основных измерения: коэффициенты дедупликации и производительность. Производительность дедупликации зависит от конкретной технологии реализации, в то время как скорость дедупликации определяется характеристиками самих данных и шаблонами приложений, как показано в таблице ниже. Поставщики систем хранения в настоящее время сообщают о скорости дедупликации в диапазоне от 20:1 до 500:1.
| Высокая скорость дедупликации | Низкий уровень дедупликации |
| Данные, созданные пользователем | Данные из естественного мира |
| Низкая скорость изменения данных | Данные с высокой скоростью изменения |
| Справочные данные, неактивные данные | Активные данные |
| Применение с низкой скоростью изменения данных | Приложение с высокой скоростью изменения данных |
| Полное резервное копирование данных | Инкрементное резервное копирование данных |
| Долгосрочное хранение данных | Кратковременное хранение данных |
| Широкий спектр приложений для обработки данных | Небольшой диапазон приложений обработки данных |
| Непрерывная обработка бизнес-данных | Общая обработка бизнес-данных |
| Небольшая сегментация данных | Сегментация больших данных |
| Удлиненная сегментация данных | Сегментация данных фиксированной длины |
| Воспринимаемое содержание данных | Содержание данных неизвестно |
| Дедупликация данных по времени | Пространственная дедупликация данных |
Точки реализации дедупликации
При разработке и применении технологии Dedupe следует учитывать различные факторы, поскольку они напрямую влияют на ее производительность и эффективность.
| (1) | Что | Какие данные девзвешены? |
| (2) | Когда | Когда вес будет устранен? |
| (3) | Где | Где же снижение веса? |
| (4) | Как | Как снизить вес? |
Технология дедупликации ключей
Процесс дедупликации системы хранения в целом выглядит следующим образом: сначала файл данных делится на набор данных, для каждого блока данных вычисляется отпечаток пальца, а затем на основе ключевых слов поиска хэша отпечатка пальца, сопоставление указывает на данные для дублирующихся блоков данных, сохраняет только индексный номер блока данных, в противном случае это означает, что блок данных является единственной частью нового, хранения блока данных и создания соответствующей метаинформации. Таким образом, физический файл в системе хранения соответствует логическому представлению набора метаданных FP. При чтении файла сначала считывается логический файл, затем в соответствии с последовательностью FP извлекается соответствующий блок данных из системы хранения, восстанавливается копия физического файла. Из вышеприведенного процесса видно, что ключевые технологии Dedupe в основном включают сегментацию блоков данных файла, вычисление отпечатка блока данных и извлечение блока данных.
(1) Сегментация блока данных файла
(2) Расчет отпечатка блока данных
(3) Извлечение блока данных
Чтобы найти эти рекомендуемые модели для начала дедупликации сетевых пакетов:
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбит/с
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбит/с
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбит/с
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбит/с, функция Plus
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, макс. 480 Гбит/с
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбит/с, функция DPI
Сетевой пакетный брокер Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбит/с
Время публикации: 18 октября 2022 г.
