Het zetabyte tijdperk

No comments »
AUTHOR:
CTO Dell EMC Nederland
CATEGORIES:

Vorige week werd op Dell Technology World een nieuwe high end storage oplossing gepresenteerd: de PowerMax. Een vernieuwde Symmetrix die al in de jaren negentig het levenslicht zag en eerder opvolgers had als DMX en VMAX. Met PowerMax is een nieuwe generatie high end storage geboren, van end-to end gebaseerd op NVMe technologie waarmee tot 10 miljoen IOPS kunnen worden afgehandeld. Afgelopen jaren vroegen kritische workloads al steeds meer performance dan SAS gebaseerde all-flash arrays konden leveren.

Hierdoor groeide de interesse voor Non-Volatile Memory (NVM) als oplossing voor primaire storage. NVM Express (NVMe) is het bijbehorende open interface protocol om met non-volatile storage media, zoals NANDs,  te communiceren. Toen medio 2016 de standaard werd uitgebreid naar afspraken over fabrics – NVM Express over Fabrics – ontstond de basis om NVM ook voor high end, fabric gebaseerde storage platformen te kunnen gaan toepassen. Deze ontwikkeling resulteerde uiteindelijk in de nu gelanceerde PowerMax.

Protocol
Afgelopen jaren werden alle primaire storage platformen steeds verder Flash gebaseerd. In 2017 vormden All Flash Arrays (AFA) al 80% van alle geleverde systemen.De AFA markt was ontstaan uit de harddisk wereld en de daarbij behorende SAS (SCSI-Based) protocollen werkten prima in de tragere harddisk enterprise storage systemen, maar voor persistent Flash bleken ze al snel beperkingen te hebben. Vooral gebrek aan voldoende parallelle mogelijkheden van het SAS protocol was de hinderpaal. Dus was een nieuw protocol nodig dat voor de NVM wereld wel snel genoeg was.

De sinds kort beschikbare NVMe technologie, en vooral de bijbehorende protocollen, maakt hele nieuwe storage-platformen mogelijk die de komende jaren mainstream worden. Het protocol is speciaal ontwikkeld voor next-generation storage media en is zeer efficiënt voor read/write operaties. De zeer grote parallelliteit maakt de data-doorstroom zeer groot en dus de overall latency klein. De parallelliteit optimaliseert ook het gebruik van multi-core CPU architecturen waardoor het de bottleneck voor elk storage-systeem minimaliseert.

Startups
Net als de eerste All Flash Arrays was de focus bij iedere (nieuwe) leverancier gericht op performance. Immers dat was het ‘unique selling point’ voor die nieuwe techniek. En net als toen zijn er veel startups die met NVMe-techniek de storagemarkt betreden en gericht op specifieke behoeften zoals snel verwerken van realtime data, high performance gerichte data-analyse en databases met extreme performance eisen. Maar start-ups hebben niet de schaalbaarheid, continuïteit en management features die bestaande platformen wel hebben.

Zodra echter bestaande storage leveranciers die nieuwe markt (ook) betreden, zal hun volwassenheid op het gebied van management en schaalbaarheid een consolidatieslag gaan opleveren. Immers zij zullen hun bestaande klanten de migratiemogelijkheden (kunnen) bieden om naar de nieuwe techniek over te stappen. Kern is een non-disruptieve migratie mogelijk te maken in deze veeleisende markt. En functionaliteit te bieden die zowel de legacy als de next-generation workloads kan ondersteunen.

Intelligentie
De hogere infrastructuur ‘dichtheid’ dat NVMe mogelijk maakt, brengt op zich ook enkele problemen met zich mee. Een uitval kan direct veel grotere impact hebben. Daarnaast, als men meer workloads naar een enkel platform brengt, levert dat wel kosten en efficiency voordelen op, maar de als er iets mis gaat, gaat het ook met veel meer applicaties mis. Dat betekent dat juist op dat gebied straks het onderscheidend vermogen zal liggen. Wie heeft de meeste business continuity garanties om de ‘zes-negen plus’ beschikbaarheid mogelijk te maken. Dat vraagt features zoals geïntegreerde en intelligente data integrity checking, dual-parity RAID, snapshots en geavanceerde replicatie.

De eerste Symmetrix, waar oude EMC ooit groot mee is geworden, had al enige vorm van intelligentie om met de applicaties te ‘communiceren’ welke applicatie-taken waren gepland, dan kon de daarvoor benodigde data al vooraf in de cache worden geladen. Later kwamen technieken als geautomatiseerde storage tiering, waardoor continu de data die de hoogste performance moest hebben op de hoogste tier disken werd geplaatst.

Deze predictive algoritmen waren de ingebouwde slimheden waardoor deze systemen op de hoogste performance-niveaus konden werken. Het is te begrijpen dat ook de nieuwste PowerMax weer voorzien is van de modernste ‘machine learning’ capabiliteit om deze nog steeds essentiële predictive kwalificatie voor een extreem grote Quality of Services (QoS) te kunnen realiseren.

Toekomst
Komende jaren zal de industrie de migratie op het gebied van enterprise storage platformen starten en IDC verwacht dat in 2021 reeds 50% van alle primaire storage verkopen de dominantie van NVMe zal aantonen. Een veel grotere infrastructuur-dichtheid is voor veel providers een zeer plezierige zaak maar het zal voor veel ondernemingen net zo belangrijk zijn. We zien momenteel een omslaande balans van de public cloud naar meer private cloud oplossingen. Juist de realtime behoefte, het minimaliseren van latency en de hoge business continuity betekent dat men de applicaties weer ‘in de buurt’ wil hebben draaien.

Dell EMC is al ruim 15 jaar leider in de enterprise storage markt en de PowerMax is het eerste mainstream NVMe gebaseerde array voor algemeen gebruik en gemixte workloads. En bouwt voort op de bewezen enterprise features van de VMAX, gecombineerd met brandnieuwe NVMe hardware inclusief een enorme additionele software voor tier 0 storage. Met 10 miljoen IOPS en 150 GBps bandbreedte is het 50% sneller en heeft een drie keer hogere performance dan zijn voorganger. De storage-dichtheid is intussen zo groot dat een op een enkele vloertegel in een datacenter intussen 2PB aan tier 0 storage kan worden geplaats.   

Exabytes en Zetabytes
Toen ik ruim vijftien jaar geleden mijn entree in de storage industrie deed, waren Terabyte klanten nog een uitzondering. Enkele grote banken, vliegtuigmaatschappijen, energieleveranciers en overheden hadden enkele tientallen Terabytes aan storage. Slechts langzaam gingen ze naar de 100 TB en rond 2008 waren de eerste Petabyte klanten een feit. Intussen zijn er klanten die in de Exabytes zitten en bij wie de hoeveelheid data nog steeds elke twee jaar verdubbeld.

Volgens een Cisco blog zijn we op 9 september 2016 formeel het zetabyte tijdperk binnen getreden. Althans dat betrof toen het totale jaarlijkse internetverkeer. Maar traffic en opslag zijn twee totaal verschillende zaken. Het Internet of Things maakt dat meer dan duidelijk: het aantal sensoren genereert meer data dan ooit fysiek kan worden opgeslagen.

Dus de vraag rijst: wanneer zouden we onze eerste zetabyte klant verwelkomen. Volgens IDC kunnen we in 2025 fysiek ‘slechts’ maximaal 19 ZB aan data opslaan en volgens diverse bronnen slaan we maar 1% van alle digitale data op die er gemaakt wordt. Dus vòòr 2025 verwacht ik onze eerste zetabyte klant nog niet.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.