Ny generasjon EMC FAST Autotiering

Tenk deg et lagringsystem med 10TB kapasitet i 2001.  Hvis vi så legger til grunn 60% vekst år-over-år,  ender man opp med et behov på 120PB i 2021 !
Analyserer man innholdet nærmere vil man raskt oppdage at mesteparten av dette sjelden eller aldri er i bruk.  En annen observasjon vil være at det er veldig mye like eller tilnærmet like data. Her må man fram med verktøykassen for å rydde opp.  Det er tre verktøy jeg ville brukt:

  • Arkivering: Flytte inaktive data ut av primærlageret til et arkiv (tier 4)
  • Deduplisering: Redusere størrelsen på datavolumer med mange duplikater
  • Autotiering: Legge «varme» data på flashdisker og «kalde» data på rimeligere disker.

Her er det mye å ta tak i,  men la oss starte med den siste av disse – Autotiering

Autotiering handler om økonomi

Før vi graver oss ned i teknikken og nyheter fra EMC World 2012, må vi se litt på økonomien…

Jeg møter mange kunder hver uke,  og får stadig høre at ytelse er viktig.

Men når jeg spør om de kan spesifisere dette nærmere,  får jeg skjelden gode svar.
Heldigvis finnes det bra verktøy som kan analysere hvordan et eksisterende lagringsystem faktisk yter.  Ikke bare totalytelse,  men også hvor mange prosent av innholdet som trenger god ytelse.   Det siste er viktig for økonomien, da mye av innholdet skjelden eller aldri brukes.


Disse grafene er hentet fra en rapport jeg nylig gjorde for en  norsk kunde.   Konklusjonen var at ytelsesbehovet var langt lavere enn deres egne estimater og at over 75% av innoldet var inaktivt. Dette er ikke enestående,  mange vil nok oppleve det samme i større eller mindre grad.
Bakgrunnen for analysen var forespørsel om nytt lagringsystem som skulle ha «meget god ytelse», uten at de spesifiserte hvor stor andel av innholdet som var i aktiv bruk.

Data er ferskvare

Realiteten er at nye data lever et kort liv med høy aktivitet før bruksfrekvensen faller. Snittet er 60 dager,  men dette avhenger selvfølgelig av applikasjon og bruksmønster.
Begrepet «skew» brukes for å beskrive forholdet mellom aktive data og inaktive data, samt hvor skjev fordelingen er.
I systemer med veldig skjev fordeling vil en svært liten del av kapasiteten (1-2%) stå for rundt 80% av det totale IO behovet, samtidig som bruksfrekvensen faller raskt (10 dager).
I systemer med lav «skew» vil en større del (8-10%) av kapasiteten stå for rundt 80% av det totale IO behovet, mens bruksfrekvensen her er lengre (90-120 dager).

Et nytt lagringsystem bør derfor tilpasses det faktiske behovet.  Tradisjonell tankegang med mange 15k disker er dyrt og plasskrevende.  En blanding av raske flashdisker for «varme» data og rimelige nearline disker for «kalde» data gir langt bedre økonomi.

Istedet for å gjette seg fram til riktig konfigurasjon, har som nevnt EMC gode analyseverktøy som kan måle ekisterende lagringssystemer over en periode.
Disse analysene brukes som grunnlag ved bytte fra gammelt til nytt system, eller ved utvidelse av et eksisterende system. Med EMC VNX kan man enkelt legge til flere disker i fart om behovet for høyere ytelse eller mere kapasitet skulle melde seg i ettertid.

Budskapet til EMC er at du kommer langt selv med en liten mengde flash (1-5%).

Ny generasjon EMC Autotiering med Flash 1st

EMC har levert blokknivå autotiering på sine systemer i snart 3 år. Loggdata fra flere hundre systemer er analysert og danner nå grunnlaget for en forbedret autotiering algoritme som blir tilgjengelig som kodeoppgradering for eksisterende og nye VNX kunder i løpet av sommeren 2012 (målet er august juli).
Flash 1st heter den nye metoden og går i korte trekk ut på at alle nye data legges direkte på flashdisk før autotiering.  Så lenge bruksfrekvensen er høy holdes disse «varme» datablokkene på flashdisk, men når bruken avtar vil data flyttes ned til rimeligere disk i 1GB store blokker. Flytting ned til lavere tier gjøres normalt en gang i døgnet, dette kan også tilpasses og tidsstyres.  Kalde datablokker som øker i aktivitet vil automatisk flyttes tilbake ved behov.  Her har EMC en unik teknologi som gjør dette i sanntid – EMC FAST Cache.

EMC FAST Cache akselererer ytelse

EMC kombinerer FAST Autotiering med FAST Cache, en flash basert caching for å akselerere ytelse.  Denne opererer i sanntid og flytter data i 64k blokker fra tregere disker opp til egne flashdisker uten noen forsinkelse. FAST Cache er både lese- og skrive cache,  og tar trafikktoppene i systemet. Den underliggende storagepoolen kan på denne måten bruke all sin IO kapasitet på andre oppgaver. Denne teknologien er svært godt egnet for databaser og VDI miljøer med VMware View og Citrix XenDesktop.

 

Hvis man illustrerer det hele med ulike farger blir det enklere å forstå.
Hvert volum kan bestå av datablokker fra hver type disk i poolen. Det faktiske bruksmønsteret bestemmer fordelingen. Illustrasjonen under viser også et oppsett med arkiv for å vise mulighetene.  Arkivering  blir beskrevet i en senere artikkel.

Kan man påvirke autotieringen ?

På EMC VNX har man flere valg som påvirker autotiering.
Du har følgende valg per volum i en autotier pool :

  • Først til flash, så autotier (default)
  • Autotier
  • Høyeste tilgjengelige tier
  • Laveste tilgjengelige tier
  • Ingen dataflytting

Husk også at så lenge det er plass på raske disker vil ikke data flyttes nedover med mindre du spesifiserer «laveste tilgjengelige tier».

Det er enkelt å komme i gang med autotiering.  Først lager man en storagepool der du blander både flash, sas og nlsas (du kan også klare deg med to av disktypene).
Til slutt lager du et «Thin Provision» eller «Fully Allocated» volum ut i fra denne poolen der du fritt kan velge mellom autotier parametrene listet over.

Blande RAID i samme pool og Auto Balancing

En annen nyhet som kommer i den nye kodeoppgraderingen, er muligheten til å blande ulike RAID nivåer i en og samme pool.  Du kan fritt blande RAID 5, 6 og 10 i samme pool.
Et volum i en slik «mixed» pool vil dermed kunne bestå av datablokker med ulik RAID beskyttelse for den beste ytelsen, økonomien og beskyttelsen.

EMC anbefaler følgende oppsett som gir en god balanse :

  • Flashdisker : RAID5 4+1
  • SAS : RAID5 4+1 eller 8+1
  • NLSAS : RAID6 6+2 eller 14+2

Bruk av de nye R5 8+1 og R6 14+2 valgene gir bedre plassutnyttelse i forhold til dagens oppsett.  Flashdisker brukt som FAST Cache vil fortsatt være satt opp i RAID10.

Og ikke nok med det….
VNX vil samtidig få noe som kalles «Auto Balancing».  En mekanisme som sørger for automatisk pool og tier rebalansering/restriping av datablokker når man utvider eller gjør andre endringer.   Systemet vil bestandig spre data optimalt over alle disker og man unngår flaskehalser som kan oppstå ved små utvidelser.


Tiering ut av lagringsystemet

Man kan ikke snakke om tiering uten å nevnt mulighetene med å flytte data ut av lagringsystemet:

  • Arkivere ut kalde data – Tier 4
  • Flytte veldig varme data ut til serveren – Tier 0

Selv om du har verdens raskeste lagringsystem må data fortsatt transporteres over nettverket ut til applikasjonsserveren.  EMC har derfor utviklet egne PCIe Flash IO akselerator kort som man installerer i serveren.   Dette kortet fungerer som en lokal lese cache, sentralt styrt av EMC FAST.

Data ligger også trygt lagret sentralt,  så feil på kort eller server ikke fører til datatap.
EMC anbefaler dette i kombinasjon med FAST Cache på lagringsystemet for den beste skriveytelsen.   Mere om VFCache teknologien i et senere blogginnegg.

Automatisering er nøkkelen for å kunne løse fremtidens lagringsbehov.
Med VFCache flytter man data nærmere applikasjonen,  men applikasjonen kan også flyttes nærmere dataene i fremtiden.

Her har dere sett noe av det som er mulig i dag, men det er også mye spennende på gang bak lukkede dører hos våre utviklere.  Stay tuned…..

Sjekk også ut Whitepaper fra IDC om Autotiering
http://www.emc.com/collateral/analyst-reports/idc-save-time-money-flash-1st-auto-storage-tier-ar.pdf

 

6 tanker om “Ny generasjon EMC FAST Autotiering

    • Alt dette vil komme i «Inyo» release som vil få versjonsnummer 32.xx.
      Koden vil være tilgjengelig i Q3, mest sansynlig i august.

      Den nye koden inkluderer også en helt ny snapshot algoritme som erstatter den gamle CoW.
      Mere om dette i et senere blogginnlegg 🙂

      Jeg sier i fra straks den nye koden er tilgjengelig!

      Roger

  1. Hei Roger,

    Gratulerer med interessant blogg, skal bli interessant å følge denne. Vil Flare oppgraderingen som du viser til aktivt bli rullet ut til alle kunder, eller må man kontakte support for å «mase seg til» oppgraderingen?

    • Hei Pål !

      Alle kunder med «premium» support på VNX vil aktivt oppgraderes, jobben gjøres av EMC eller partner.
      Kunder med «enhanced» support kan hente ned koden uten kostnad og legge den inn selv fra Unisphere GUI.

      Roger

  2. Fikk i dag melding om at den nye koden Inyo er ferdig (RTM), den får versjonsnummer 5.32 (VNX OE Block) / 7.1 (VNX OE File). Legges ut for nedlastning medio juli.
    Nye systemer fra fabrikk fra medio august.

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *