Deduplikácia dát je populárna a obľúbená technológia ukladania, ktorá optimalizuje úložnú kapacitu. Eliminuje redundantné dáta odstránením duplicitných dát z dátovej sady a ponecháva iba jednu kópiu. Ako je znázornené na obrázku nižšie. Táto technológia môže výrazne znížiť potrebu fyzického úložného priestoru, aby uspokojila rastúci dopyt po ukladaní dát. Technológia deduplikácie môže priniesť mnoho praktických výhod, najmä vrátane nasledujúcich aspektov:
| (1) | Spĺňať požiadavky na návratnosť investícií (ROI)/celkové náklady na vlastníctvo (TCO); |
| (2) | Rýchly rast údajov sa dá efektívne kontrolovať; |
| (3) | Zvýšte efektívny úložný priestor a zlepšite efektivitu skladovania; |
| (4) | Ušetrite celkové náklady na skladovanie a náklady na správu; |
| (5) | Ušetrite šírku pásma siete pri prenose dát; |
| (6) | Ušetrite náklady na prevádzku a údržbu, ako je priestor, napájanie a chladenie. |
Technológia dedupovania sa široko používa v systémoch zálohovania a archivácie dát, pretože po viacerých zálohách dát zostáva veľa duplicitných dát, čo je pre túto technológiu veľmi vhodné. Technológia dedupovania sa v skutočnosti dá použiť v mnohých situáciách vrátane online dát, dát v blízkej vzdialenosti a offline systémov ukladania dát. Dá sa implementovať do súborových systémov, správcov zväzkov, NAS a SAN. Dedupovanie sa dá použiť aj na obnovu dát po havárii, prenos a synchronizáciu dát, pretože technológia kompresie dát sa dá použiť na balenie dát. Technológia Dedupovanie môže pomôcť mnohým aplikáciám znížiť objem ukladaných dát, ušetriť šírku pásma siete, zlepšiť efektivitu ukladania, skrátiť okno zálohovania a ušetriť náklady.
Deduplikácia má dva hlavné rozmery: pomery deduplikácie a výkon. Výkon deduplikácie závisí od konkrétnej implementačnej technológie, zatiaľ čo miera deduplikácie je určená charakteristikami samotných dát a vzormi aplikácií, ako je uvedené v tabuľke nižšie. Dodávatelia úložísk v súčasnosti uvádzajú miery deduplikácie v rozmedzí od 20:1 do 500:1.
| Vysoká miera deduplikácie | Nízka miera deduplikácie |
| Dáta vytvorené používateľom | Dáta z prírodného sveta |
| Nízka miera zmien údajov | Vysoká miera zmien údajov |
| Referenčné údaje, neaktívne údaje | Aktívne údaje |
| Aplikácia s nízkou mierou zmien údajov | Aplikácia s vysokou mierou zmien dát |
| Úplná záloha dát | Prírastkové zálohovanie dát |
| Dlhodobé ukladanie údajov | Krátkodobé ukladanie údajov |
| Široká škála dátových aplikácií | Malý rozsah dátových aplikácií |
| Nepretržité spracovanie obchodných údajov | Všeobecné spracovanie obchodných údajov |
| Segmentácia malých dát | Segmentácia veľkých dát |
| Predĺžená segmentácia dát | Segmentácia dát s pevnou dĺžkou |
| Vnímaný obsah údajov | Obsah údajov neznámy |
| Deduplikácia časových údajov | Deduplikácia priestorových údajov |
Body implementácie deduplikácie
Pri vývoji alebo aplikácii technológie Dedupe by sa mali zvážiť rôzne faktory, pretože tieto faktory priamo ovplyvňujú jej výkon a efektívnosť.
| (1) | Čo | Ktoré údaje sú devážené? |
| (2) | Kedy | Kedy sa váha zbaví? |
| (3) | Kde | Kde je úbytok hmotnosti? |
| (4) | Ako | Ako znížiť hmotnosť? |
Technológia Dedupe Key
Proces deduplikácie v úložnom systéme je vo všeobecnosti nasledovný: najprv sa dátový súbor rozdelí na sadu údajov, pre každý blok údajov sa vypočíta odtlačok prsta a potom sa na základe kľúčových slov hash odtlačku prsta vyhľadajú údaje, ktoré zodpovedajú duplicitným dátovým blokom. Ukladá sa iba indexové číslo dátového bloku, inak to znamená, že dátový blok je jediným kusom nového úložiska dátového bloku a vytvárajú sa relevantné metainformácie. Fyzický súbor v úložnom systéme teda zodpovedá logickej reprezentácii sady metadát FP. Pri čítaní súboru sa najprv načíta logický súbor, potom sa podľa sekvencie FP z úložného systému vyberie zodpovedajúci dátový blok a obnoví sa kópia fyzického súboru. Z vyššie uvedeného procesu je zrejmé, že kľúčové technológie deduplikácie zahŕňajú najmä segmentáciu dátových blokov súborov, výpočet odtlačkov dátových blokov a vyhľadávanie dátových blokov.
(1) Segmentácia blokov dát súboru
(2) Výpočet odtlačku dátového bloku
(3) Vyhľadávanie blokov dát
Ak chcete nájsť tieto odporúčané modely na spustenie deduplikácie sieťových paketov:
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gb/s
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tb/s
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max. 560 Gb/s
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gb/s, funkcia Plus
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, max. 480 Gb/s
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gb/s, funkcia DPI
Sieťový paketový sprostredkovateľ Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gb/s
Čas uverejnenia: 18. októbra 2022
