Дедупликация данных — это популярная и популярная технология хранения, которая оптимизирует емкость хранилища. Она устраняет избыточные данные, удаляя повторяющиеся данные из набора данных, оставляя только одну копию. Как показано на рисунке ниже. Эта технология может значительно снизить потребность в физическом хранилище. пространство для удовлетворения растущего спроса на хранение данных. Технология Dedupe может принести множество практических преимуществ, включая следующие аспекты:
| (1) | Соответствовать требованиям ROI (возврат инвестиций)/TCO (общая стоимость владения); |
| (2) | Быстрый рост данных можно эффективно контролировать; |
| (3) | Увеличьте эффективное пространство для хранения и улучшите эффективность хранения; |
| (4) | Сэкономьте общие затраты на хранение и затраты на управление; |
| (5) | Экономия пропускной способности сети передачи данных; |
| (6) | Сэкономьте затраты на эксплуатацию и техническое обслуживание, такие как пространство, электропитание и охлаждение. |
Технология дедупликации широко используется в системах резервного копирования и архивирования данных, поскольку после нескольких резервных копий данных возникает много дубликатов данных, что очень подходит для этой технологии. Фактически, технологию дедупликации можно использовать во многих ситуациях, включая онлайн-данные, ближние данные и автономные системы хранения данных. Его можно реализовать в файловых системах, менеджерах томов, NAS и Sans. Dedupe также можно использовать для аварийного восстановления данных, передачи и синхронизации данных, поскольку технология сжатия данных может использоваться для упаковки данных. Технология Dedupe может помочь многим приложениям сократить хранение данных, экономия пропускной способности сети, повышение эффективности хранения, сокращение окна резервного копирования и экономия затрат.
У Dedupe есть два основных измерения: коэффициенты дедупликации и производительность. Производительность Dedupe зависит от конкретной технологии реализации, тогда как скорость Dedupe определяется характеристиками самих данных и шаблонами приложений, как показано в таблице ниже. Поставщики систем хранения данных в настоящее время сообщают о различных показателях дедупликации. от 20:1 до 500:1.
| Высокий уровень дедупликации | Низкий уровень дедупликации |
| Данные, созданные пользователем | Данные из мира природы |
| Низкая скорость изменения данных | Высокая скорость изменения данных |
| Справочные данные, неактивные данные | Активные данные |
| Приложение с низкой скоростью изменения данных | Приложение с высокой скоростью изменения данных |
| Полное резервное копирование данных | Инкрементальное резервное копирование данных |
| Долгосрочное хранение данных | Кратковременное хранение данных |
| Широкий спектр приложений для обработки данных | Небольшой спектр приложений для обработки данных |
| Непрерывная обработка бизнес-данных | Общая бизнес-обработка данных |
| Небольшая сегментация данных | Сегментация больших данных |
| Удлиненная сегментация данных | Сегментация данных фиксированной длины |
| Содержание данных воспринимается | Содержание данных неизвестно |
| Дедупликация данных по времени | Дедупликация пространственных данных |
Точки внедрения Dedupe
При разработке или применении технологии Dedupe следует учитывать различные факторы, поскольку эти факторы напрямую влияют на ее производительность и эффективность.
| (1) | Что | Какие данные де-взвешены? |
| (2) | Когда | Когда лишний вес уйдет? |
| (3) | Где | Где снятие веса? |
| (4) | Как | Как снизить вес? |
Ключевая технология дедупе
Процесс дедупликации системы хранения в целом заключается в следующем: сначала файл данных делится на набор данных, для каждого блока данных вычисляется отпечаток пальца, а затем на основе ключевых слов поиска хэша отпечатка пальца, сопоставление указывает данные для дубликата. блоков данных, хранит только индексный номер блока данных, в противном случае это означает, что блок данных является единственной частью нового блока данных и создает соответствующую метаинформацию. Таким образом, физический файл в системе хранения соответствует логическому представлению набор метаданных ФП. При чтении файла сначала прочитайте логический файл, затем в соответствии с последовательностью ФП извлеките соответствующий блок данных из системы хранения, восстановите копию физического файла. Это видно из приведенного выше процесса. что ключевые технологии Dedupe в основном включают сегментацию блоков данных файлов, вычисление отпечатков блоков данных и извлечение блоков данных.
(1) Сегментация блоков данных файла
(2) Расчет отпечатка блока данных
(3) Получение блока данных
Чтобы найти эти рекомендуемые модели для запуска дедупликации сетевых пакетов:
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбит/с
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбит/с
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбит/с
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбит/с, функция плюс
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, Макс. 480 Гбит/с
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбит/с, функция DPI
Брокер сетевых пакетов Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбит/с
Время публикации: 18 октября 2022 г.
