Нас попросили сделать обзор решений HSM (Hierarchical storage management).
По-русски это "
Иерархическое управление носителями".
Идея не нова, смысл в том, что есть 2 типа носителей - быстрые и дорогие и медленные и дешевые. И вот для хранения 30Пб данных дорого покупать тысячи HDD, есть более дешевые ленточные устройства. Поэтому покупаются HDD на 1-2Пб, а остальное забивается лентами, которые сегодня в 2 раза дешевле и в 10 раз надежнее. Почему не хранить все на таком крутом носителе? Проблема в скорости доступа, чтобы найти нужный файл, нужно перемотать ленту на нужное место, в современных системах это в среднем 30-60 секунд. Но для моих нужд, когда надо просто сохранить 30Пб какой-то
ерунды информации, которая может никогда никому не понадобиться, это подходит. Итак, строится гибридная система, 1Пб на дисках как кэш, куда восстанавливаются файлы с лент и после этого с ними работаем. Как только место на HDD кончается, самые старые файлы удаляются с HDD.
В общем, для пользователя это все выглядит как раздел на 30Пб, просто иногда некоторые файлы долго открываются.
Если честно, облачные технологии сейчас используются больше, чем ленты. Это модно, в какой-то степени надежно, но дорого.
Итак, разделяю решения на классы.
1. Однобрендовые решения
1.1 IBM Spectrum Scale (ex. Tivoli Storage Manager)
https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1ins_usingibmspectrumprotectAFM.htm
IBM была пионером в этой области, первые решения HSM появились в 1974 г. в IBM 3850 Mass Storage Facility. Вроде как до сих пор считается лидером в этой области.
Используется файловая система GPFS, позволяющая бесконечно наращивать производительность и емкость путем простого добавления новых узлов.
1.2 Quantum Xcellis (ex. StoreNext Store Manager)
https://iq.quantum.com/exLink.asp?30965337OU23F59I60911838&DS00490A&view=1
Поддерживаются объектные, облачные хранилища, сторонние ленточные библиотеки.
1.3 EMC Networker (Isilon / Elastic Cloud Storage / PowerVault)
https://www.emc.com/collateral/hardware/white-papers/h10719-isilon-onefs-technical-overview-wp.pdf
https://isilon.ru
https://www.dell.com/learn/us/en/04/hpcc/storage-dell-htss
Комплексного решения из коробки у EMC/Dell нет, они четко разделяют ленты от дисковых массивов. Isilon сам по себе гибридный, основан на файловой системе OneFS, которая расширяется аналогично GPFS у IBM. Обещают хранилище на обычных SATA-дисках, которое будет работать почти как SSD-хранилище, если будет развернуто много узлов.
1.4 HPE Data Management Framework
https://h20195.www2.hpe.com/v2/GetDocument.aspx?docname=a00042511enw&doctype=Solution%20brief&doclang=EN_US&searchquery=&cc=us&lc=en
Не уверен, что текущее решение связано с SGI Data Migration Facility (DFM), которую купила HP, но аббревиатура похожа.
У них есть хорошее видео про управление данными
https://www.youtube.com/watch?v=1SIH0ktHOKM
1.5 Fujitsu Storage Eternus
https://sp.ts.fujitsu.com/dmsp/Publications/public/ds-eternus-cs8000-v7-ww-en.pdf
Поддерживаются объектные, облачные хранилища, сторонние ленточные библиотеки.
1.6 Hitachi Storage Manager
https://www.hitachivantara.com/en-us/pdfd/datasheet/content-platform-point-storage-manager-datasheet.pdf
1.7 Oracle HSM - это решение я поместил в конец, потому что требует ОС Solaris, а это дорого и уныло - сейчас даже Oracle Database никто на Solaris не ставит по собственной воле.
Основана на файловой системе SAM-QFS, которая была разработана компанией LSC Inc. Потом ее купила Sun, а потом Oracle.
http://www.oracle.com/us/products/servers-storage/storage/035865.pdf
2. Решения от интеграторов
2.1 Versity Storage Manager. Основан на открытой файловой системе ScoutFS.
http://www.versity.com/product-vsm
2.2 Cray Tiered Adaptive Storage. В принципе то же самое, что и предыдущий Versity Storage Manager, вернее основан на нем. Скорее всего, там только интерфейс поменяли немного.
https://www.cray.com/sites/default/files/resources/CrayTieredAdaptiveStorage.pdf
2.3 Nodeum. Решение позиционируют не как HSM, который вроде как устарел, а как нечто большее, но с теми же функциями, ну может они еще добавили пару политик и REST API =)
https://www.nodeum.io/storage-motion?hsCtaTracking=2cf3d14b-aeb4-4180-b07f-3ef65bf53ae0%7C6a2634d3-bad7-48ad-bf96-ad259ca02ae2
2.4 Etere HSM. Решение, широко известное в телевидении, оказывается, их использует «Первый ТВЧ» - крупнейшая телекомпания России с аудиторией 40млн. человек.
http://www.etere.com:99/GeneratePdf.aspx?IdDocument=8781
3. Софтварные решения. Все современные системы бэкапирования имеют опцию HSM, возможно, ей никто не пользуется и она присутствует у многих для галочки.
1. CommVault Simpana
2. Symantec NetBackup
3. Veeam