вторник, 7 августа 2018 г.

Обзор актуальных HSM решений

Нас попросили сделать обзор решений HSM (Hierarchical storage management).

По-русски это "Иерархическое управление носителями".
Идея не нова, смысл в том, что есть 2 типа носителей - быстрые и дорогие и медленные и дешевые. И вот для хранения 30Пб данных дорого покупать тысячи HDD, есть более дешевые ленточные устройства. Поэтому покупаются HDD на 1-2Пб, а остальное забивается лентами, которые сегодня в 2 раза дешевле и в 10 раз надежнее. Почему не хранить все на таком крутом носителе? Проблема в скорости доступа, чтобы найти нужный файл, нужно перемотать ленту на нужное место, в современных системах это в среднем 30-60 секунд. Но для моих нужд, когда надо просто сохранить 30Пб какой-то ~~ерунды~~ информации, которая может никогда никому не понадобиться, это подходит. Итак, строится гибридная система, 1Пб на дисках как кэш, куда восстанавливаются файлы с лент и после этого с ними работаем. Как только место на HDD кончается, самые старые файлы удаляются с HDD.

В общем, для пользователя это все выглядит как раздел на 30Пб, просто иногда некоторые файлы долго открываются.

Если честно, облачные технологии сейчас используются больше, чем ленты. Это модно, в какой-то степени надежно, но дорого.

Итак, разделяю решения на классы.

1. Однобрендовые решения

1.1 IBM Spectrum Scale (ex. Tivoli Storage Manager)
https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1ins_usingibmspectrumprotectAFM.htm
IBM была пионером в этой области, первые решения HSM появились в 1974 г. в IBM 3850 Mass Storage Facility. Вроде как до сих пор считается лидером в этой области.
Используется файловая система GPFS, позволяющая бесконечно наращивать производительность и емкость путем простого добавления новых узлов.

1.2 Quantum Xcellis (ex. StoreNext Store Manager)
https://iq.quantum.com/exLink.asp?30965337OU23F59I60911838&DS00490A&view=1
Поддерживаются объектные, облачные хранилища, сторонние ленточные библиотеки.

1.3 EMC Networker (Isilon / Elastic Cloud Storage / PowerVault)
https://www.emc.com/collateral/hardware/white-papers/h10719-isilon-onefs-technical-overview-wp.pdf
https://isilon.ru
https://www.dell.com/learn/us/en/04/hpcc/storage-dell-htss

Комплексного решения из коробки у EMC/Dell нет, они четко разделяют ленты от дисковых массивов. Isilon сам по себе гибридный, основан на файловой системе OneFS, которая расширяется аналогично GPFS у IBM. Обещают хранилище на обычных SATA-дисках, которое будет работать почти как SSD-хранилище, если будет развернуто много узлов.

1.4 HPE Data Management Framework
https://h20195.www2.hpe.com/v2/GetDocument.aspx?docname=a00042511enw&doctype=Solution%20brief&doclang=EN_US&searchquery=&cc=us&lc=en

Не уверен, что текущее решение связано с SGI Data Migration Facility (DFM), которую купила HP, но аббревиатура похожа.
У них есть хорошее видео про управление данными https://www.youtube.com/watch?v=1SIH0ktHOKM

1.5 Fujitsu Storage Eternus
https://sp.ts.fujitsu.com/dmsp/Publications/public/ds-eternus-cs8000-v7-ww-en.pdf
Поддерживаются объектные, облачные хранилища, сторонние ленточные библиотеки.

1.6 Hitachi Storage Manager
https://www.hitachivantara.com/en-us/pdfd/datasheet/content-platform-point-storage-manager-datasheet.pdf

1.7 Oracle HSM - это решение я поместил в конец, потому что требует ОС Solaris, а это дорого и уныло - сейчас даже Oracle Database никто на Solaris не ставит по собственной воле.
Основана на файловой системе SAM-QFS, которая была разработана компанией LSC Inc. Потом ее купила Sun, а потом Oracle.
http://www.oracle.com/us/products/servers-storage/storage/035865.pdf

2. Решения от интеграторов

2.1 Versity Storage Manager. Основан на открытой файловой системе ScoutFS.
http://www.versity.com/product-vsm

2.2 Cray Tiered Adaptive Storage. В принципе то же самое, что и предыдущий Versity Storage Manager, вернее основан на нем. Скорее всего, там только интерфейс поменяли немного.
https://www.cray.com/sites/default/files/resources/CrayTieredAdaptiveStorage.pdf

2.3 Nodeum. Решение позиционируют не как HSM, который вроде как устарел, а как нечто большее, но с теми же функциями, ну может они еще добавили пару политик и REST API =)
https://www.nodeum.io/storage-motion?hsCtaTracking=2cf3d14b-aeb4-4180-b07f-3ef65bf53ae0%7C6a2634d3-bad7-48ad-bf96-ad259ca02ae2

2.4 Etere HSM. Решение, широко известное в телевидении, оказывается, их использует «Первый ТВЧ» - крупнейшая телекомпания России с аудиторией 40млн. человек.
http://www.etere.com:99/GeneratePdf.aspx?IdDocument=8781

3. Софтварные решения. Все современные системы бэкапирования имеют опцию HSM, возможно, ей никто не пользуется и она присутствует у многих для галочки.

1. CommVault Simpana
2. Symantec NetBackup
3. Veeam

четверг, 28 июня 2018 г.

Ошибка с удалением materialized view в Oracle 11/12 - drop summary

Говорят, что уже исправили эту ошибку, но у нас она была и доставила немало проблем во время сдачи проекта.

Суть в чем - снэпшот (materialized view) не удаляется. Вернее как бы удаляется, но заново его нельзя создать. Проблема видимо с пространственными индексами (да, мы делаем снэпшоты с sdo_geometry и индексами поверх).

Сразу решение, нужны права SYSDBA:

drop summary "SDE"."SDO_WELLS";

SQL> startup;

ORACLE instance started.

Total System Global Area 334036992 bytes

Fixed Size 2228144 bytes

Variable Size 281018448 bytes

Database Buffers 46137344 bytes

Redo Buffers 4653056 bytes

Database mounted.

Database opened.