DSM 2009/2 - PR SGI
Řízené hierarchické ukládání dat v Linuxu
Automatizované hierarchické ukládání dat je cestou, která vede ke snižování nákladů na rozšiřování, provoz a správu datových úložišť. Dovoluje zrychlovat procesy vyžadující trvalý a téměř okamžitý přístup k aktivním i archivovaným souborům a umožňuje efektivní využívání kapacity stávajících zdrojů pro ukládání dat.
SGI® InfiniteStorage Data Migration Facility (DMF)
DMF je robustní systém třídy Hierarchical Storage Management (HSM) určený pro XFS a CXFS souborový systém, schopný obsloužit obrovské množství dat.
DMF vytváří a spravuje automatizované, vícestupňové virtuální prostředí datového úložiště a podle uživatelsky definovaných pravidel automaticky migruje soubory mezi drahými a levnějšími médii. Na dražších médiích zůstávají pouze nejdůležitější soubory nebo soubory s častým přístupem, zatímco méně kritické soubory nebo soubory s méně častým přístupem jsou automaticky přesouvány na levnější média.
Data jsou koncovým uživatelům a aplikacím přístupná transparentním způsobem, bez ohledu na jejich skutečné umístění. V případě vyžádání přístupu k souborům, které byly odsunuty, jsou tyto okamžitě a automaticky v primární oblasti bez nutnosti zásahu uživatele nebo administrátora obnoveny.
K vlastnostem DMF patří:
- Neomezená kapacita. DMF je schopen spravovat až 2 miliardy migrovaných souborů najednou, 18 milionů terabytů (tj. 18 exabytů) v jedné instanci, a jeden soubor o velikosti až 9 milionů terabytů (9 EB).
- Výkonnost. Umožňuje denně přesouvat terabyty dat. Díky vytváření kopií a odsouvání datových bloků z primárního prostoru dochází ke zmenšování obsazeného prostoru souborového systému a jeho zálohování se tak stává mimořádně rychlé.
- Integrita dat. DMF umožňuje zabezpečení dat s auditem, kontrolu médií, obnovu souborů, žurnálování a dvoufázové potvrzování. Umožňuje ukládání až 64 samostatných kopií stejného souboru na různých místech (dvě kopie jsou typické) jako ochranu proti selhání médií.
- Data zůstávají vždy snadno dostupná. DMF zaručuje, že i odsunutá data jsou přístupná bez zásahu uživatele nebo administrátora. Uživatelé nemusí vědět, kde jsou jejich data fyzicky uložena a přistupují k nim, jako by byla uložena v primárním úložišti.
- Snadná správa. Jakmile je DMF nakonfigurováno, všechno se děje automatizovaně bez zásahu administrátora.
- Snížení TCO. Rozšiřování kapacity pomocí levnějších médií výrazně snižuje celkové náklady. V prostředí hierarchického úložiště se procentuální podíl primárního prostoru oproti celkovému prostoru obvykle pohybuje v rozmezí od 2 % do 10 % s průměrem přibližně 3 %. Odstraněním manuálního archivování je jeden administrátor schopen spravovat mnohem více rozsáhlejších zdrojů.
Nové vlastnosti DMF 4.0
- Grafické rozhraní pro administraci. Praktický nástroj s grafickým webovým rozhraním pro vzdálenou i lokální administraci.
- Parallel Data Mover Option (pDMO). Elementární funkce migrace a zpětného obnovení souborů jsou integrovány v základní verzi produktu, kde je celý DMF systém soustředěn na jednom serveru s minimálními náklady na implementaci. pDMO pracuje paralelně na separátních serverech a zvyšuje jak propustnost systému, tak jeho odolnost.
Migrace souborů
DMF monitoruje a vyhodnocuje prostor na discích a stav jednotlivých souborů. Uvolňuje potřebný prostor odsunutím souborů z primárního úložiště. K migraci souborů dochází ve dvou fázích. V první fázi je soubor zkopírován na sekundární úložiště. Tyto soubory se nazývají „dualstate“. Ve druhé fázi jsou pak jeho datové bloky uvolněny (to obvykle nastává po dosažení prahové hodnoty minimálního volného prostoru). Tyto soubory se nazývají „nearline“.
Parametry a pravidla pro řízení migrace lze nastavit zvlášť pro každý řízený souborový systém. Následující obrázek znázorňuje vztah mezi některými parametry a ukazuje, jak DMF kontroluje volný prostor v souborovém systému.
DMF v prostředí sdíleného souborového systému CXFS
CXFS umožňuje, aby data byla sdílena mezi rozptýlenými datovými centry a nebylo nutné vytvářet jejich kopie. To ušetří bezpočet hodin práce a čekání, ale také prostoru pro ukládání kopií dat.
DMF umožňuje dramaticky snížit sdílenou úložnou kapacitu, aniž by byla obětována možnost rychlého přístupu k archivovaným souborům.
Petr Siblík
petrs(zavinac)sgi.com
Publikováno: 18. 06. 2009