RAID & backup configs

Wil je iets weten over de hardware van een computer? Draait je CPU fan niet meer? Je printer wil niet meer mee? Dan moet je hier zijn.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

Gezien mijn recente ervaring met een gefaalde drive, en subsequente beslissing tot aankoop van een 8-bay RAID storage,
dacht ik dat het ook een goed idee was om eens op UB te kijken wie wat voor backup/redundancy gebruikt.
Ik bedoel dan niet "in de cloud", ondanks het feit dat velen het mss gebruiken ben ik dat niet van plan.
sterker nog: ik ben zelfs geen fan van de "koop onze kant en klare nas en registreer via mybrand.com" concepten :)

Dus: *STEL* dat internet ineens foetsjie zou zijn (dus geen cloud backup beschikbaar), wat heb je dan thuis nog om je data te recoveren?

Ikzelf ben aan het denken om de RAID functie van mijn nieuwe speelgoed *NIET* te gebruiken, maar om via OpenMediaVault softwarematig een RAID61 te doen.
dus:

8 schijven = 2x RAID 6 van elk 4 schijven = 2x RAID 1 van elk 2 RAID 6
natuurlijk krijg je dan 8TB naar 4TB naar 2TB, een enorm verlies maar er mogen wel 5 willekeurige schijven falen vooraleer je iets kwijtgeraakt...
Gebruikersavatar
iceke
Elite Poster
Elite Poster
Berichten: 6667
Lid geworden op: 11 jun 2010, 12:58
Uitgedeelde bedankjes: 226 keer
Bedankt: 611 keer

Wat is de kans dat er 5 schijven uitvallen? Dat er 1 schijf uitvalt is aanneembaar, 2 onwaarschijnlijk, maar 5 ?
Astralon
Elite Poster
Elite Poster
Berichten: 3310
Lid geworden op: 26 jul 2005, 12:17
Locatie: Lochristi
Uitgedeelde bedankjes: 196 keer
Bedankt: 125 keer

@Splitter, nu doe je een enorme investering en als morgen er een overspanning op je NAS komt of erger, je huis brandt af dan ben je alles kwijt !
Ik zou eerder voor een RAID5 gaan in combinatie met een Cloud backup.
Gebruikersavatar
mailracer
Elite Poster
Elite Poster
Berichten: 3870
Lid geworden op: 23 feb 2010, 21:03
Uitgedeelde bedankjes: 224 keer
Bedankt: 318 keer

RAID 6 met 8 schijven hier. Backup van belangrijke gegevens naar 2 externe schijven, waarvan er eentje bij mijn ouders achter blijft.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

Astralon:
als mijn huis af zou branden, denk ik dat er toch net wat anders aan mijn hoofd is dan "oei, data kwijt" :)
die overspanning... sja, daar heb je een punt alhoewel een overspanning onwaarschijnlijk is om meer dan 5 schijven te beschadigen...
heb hier trouwens nog genoeg overspanning/bliksem beveiligers liggen om er zo eentje tussen te steken.

dat het een hele investering is weet ik (alhoewel, kost eigenlijk zowa het bedrag dat ik vroeger om de 2j aan een pc gaf) en dat er nog steeds single point of failures zijn weet ik ook.
maar herlees mijn stelling: internet is wég, wat doe je?
ik hou niet van mijn data in andermans beheer te geven, period. (en als ik offsite backups wil, dan kan ik bv 1 hdd ergens fysiek gaan wegleggen)

Mailracer: dat is idd ook een mooi setup
devastator
Elite Poster
Elite Poster
Berichten: 1218
Lid geworden op: 01 nov 2005, 10:53
Locatie: Pelt
Uitgedeelde bedankjes: 27 keer
Bedankt: 56 keer

Al mijn data is opgeslagen op een server die unRAID draait in een ESXI virtual machine.
Data wordt wekelijks via CrashPlan overgepompt naar de NAS van mijn schoonvader (en omgekeerd).

Op deze manier verloopt de backup volledig automatisch, en kan ik in een case van een total data loss snel een HD aan de nas van mijn schoonvader hangen om de data te restoren.
krisken
Moderator
Moderator
Berichten: 19634
Lid geworden op: 07 nov 2006, 12:11
Twitter: kriskenbe
Locatie: Massemen - 91WET0
Uitgedeelde bedankjes: 1863 keer
Bedankt: 1003 keer
Contacteer:

Ik kan je alleen maar zeggen hoe mijn setup er uit ziet...Of dit iets is voor jou moet je zelf beslissen :)

Ik heb een simpele NAS (Netgear ReadyNAS Ultra 2 RNDU2000) met 2x 1TB schijfjes in (binnenkort naar 2x 3TB). Ik maak hier - bewust - geen enkele vorm van RAID mee. Deze NAS dient bij mij als zuivere backup, niet als storage platform. Elke PC (2x laptop, 1x vaste pc) heeft een eigen account op die NAS waarbij de pc tijdens het opstarten alle data mee gaat syncen (programmatje van netgear zelf). Mijn servers schrijven om middernacht hun hele backup ook op deze NAS.

Vanaf dan is het wat te zien : elke zondagnacht om middernacht gaat de NAS de serverbackup van de nacht ervoor (zaterdagnacht) doorsturen naar een externe locatie (backupserver in het datacenter). Dit aan maximaal 8mbit zodat er nog 2 mbit "overblijft" voor de servers (websites laden etc). Deze overdracht duurt toch telkens een 12 uur ongeveer en loopt via de eerste LAN aansluiting van de NAS. Eveneens op zondagnacht laat ik de 3 folders van de PC backup (eigen laptop, laptop vriendin, vaste pc) syncroniseren met de cloud backup van readynas. De upload hiervan gebeurd via de tweede LAN poort van de NAS (en dus over mijn andere internetlijn).

Internet = Orange 100/10Mbps + WirelessBelgië
Telefonie = EDPnet + OVH
GSM = Orange Go Extreme + Scarlet Red
TV = TVV App + Netflix + Disney+ + Streamz
Netwerk = Mikrotik + Ubiquiti
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:8 schijven = 2x RAID 6 van elk 4 schijven = 2x RAID 1 van elk 2 RAID 6
natuurlijk krijg je dan 8TB naar 4TB naar 2TB, een enorm verlies maar er mogen wel 5 willekeurige schijven falen vooraleer je iets kwijtgeraakt...
Alle oplossingen die uiteindelijk in dezelfde fysieke server zitten zijn totaal nutteloos. Wat als je disk controller of je software in de mist gaat, wat als je bliksem of overspanning in je server krijgt, ...

De juiste oplossing is steeds een zekere RAID vorm (en daar is RAID-5 al dan niet met een hot spare ruime voldoende) in combinatie met een backup (liefst met versioning) naar een andere fysieke server (thuis, bij familie of in de cloud).

Zelf gebruik ik trouwens RAID-5 (zou eigenlijk nog eens een extra disk moeten kopen als hotspare) icm. Crashplan.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

R2504: ik gebruik dus 1 systeem met 8 disks die via esata aan een pc'tje hangen (met 2 ssd's erin),
vervolgens is het op die pc de openmediavault software die de raid doet in ext4 formaat.
voor bliksem/overspanning is er een bliksembeveiliger (voor wat die dingen waard zijn),
en in de toekomst komt er een UPS van apc te hangen met AVR tegen die zaken + als battery backup.

dat er nog steeds een catastrofaal iets kan gebeuren en dat er nog steeds een single point of failure is,
ben ik me van bewust - maar die kans is, naar mijn mening en op dit moment, verwaarloosbaar.
(het is te zeggen: als het huis dus af zou branden, ben ik echt niet met de data bezig)
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Ik begrijp alléén niet waarom je "overdreven" RAID configs maakt terwijl andere risico's veel groter zijn. Ik wil dus enkel aangeven dat je je teveel focussed op het onderdeel "disk" en te weinig op het overige (en dat kan je enkel oplossen met een extra fysieke server, ofwel bij je thuis maar ideaal gezien elders).
liber!
Elite Poster
Elite Poster
Berichten: 783
Lid geworden op: 09 apr 2006, 17:48
Twitter: nathan_gs
Uitgedeelde bedankjes: 130 keer
Bedankt: 55 keer

Hou er zeker ook rekening mee dat ook je raid card kan falen, dit is eerder uitzonderlijk maar is me toch al eerder overkomen.

Software Raid is dan misschien wel een oplossing.

Voor backups zou ik echter altijd werken met offsite backups, in the cloud (kijk eens naar amazon glacier). Als je inzit met mogelijke mensen die meekijken kan je altijd encryptie gebruiken. Op linux is duplicity een uitstekende tool!
MClaeys
Elite Poster
Elite Poster
Berichten: 6018
Lid geworden op: 16 feb 2011, 22:43
Uitgedeelde bedankjes: 377 keer
Bedankt: 343 keer

Momenteel heb ik geen echte back-up, maar ik heb dan ook niet echt bestanden staan die ik echt niet kan missen. Enkel wat foto's, maar die staan wel dubbel opgeslagen op meerdere externe schijven. En zodra mijn nieuwe laptop er is ga ik deze op BR-schijfjes branden. Verder is het vooral muziek en films die ik heb staan, en aangezien deze allemaal geript zijn uit mijn eigen collectie (op enkele uitzonderingen na) zie ik er geen heil in daar een back-up van te maken.
Ik ben wel van plan het later anders aan te pakken als ik het huis uit ben, dan heb ik ook wat meer vrijheid over wat ik kan plaatsen en wat niet. Dan ga ik voor een zelfbouw NAS thuis en 1 op een externe locatie bij een vriend. Beide systemen in 2 gesplitst, een persoonlijk deel en een back-up deel. Mijn data zal dan s'nachts een back-up maken naar het back-up deel van zijn NAS en visa-versa. Nuja, dat zijn de plannen, we zien wel hoe ver het komt. Eerst het huis uit geraken.
q-tec
Elite Poster
Elite Poster
Berichten: 2385
Lid geworden op: 23 dec 2007, 15:56
Locatie: nevele
Uitgedeelde bedankjes: 71 keer
Bedankt: 101 keer

: ik gebruik dus 1 systeem met 8 disks die via esata aan een pc'tje hangen (met 2 ssd's erin),
Hou er rekening mee dat de sharkoon enkel zal werken via esate op relatief nieuwe pc's. Anders werkt het ook wel maar herkent die maar één van de 8 schijven.

Ik gebruik de sharkoon in jbod...schijven staan max 24uur per week aan dus de kans dat er eentje failt.
Laatst gewijzigd door q-tec op 25 mar 2013, 17:22, 1 keer totaal gewijzigd.
Edpnet High upload 16/10 + edpnet voip + weepee voip
Belgacom Vdsl 16.5/2
Galys2 + Mobile vikings
Afbeelding

Afbeelding
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

r2504 schreef:Ik begrijp alléén niet waarom je "overdreven" RAID configs maakt terwijl andere risico's veel groter zijn.
Ligt eraan welke risico's, nee?

- het risico van dat het huis afbrand en dergelijke hou ik geen rekening mee (kleine kans, en indien het zou gebeuren maakt data me atm niet uit)
- het risico van diefstal is enkel via offsite backups tegen te gaan en hou ik beperkt rekening mee (belangrijkste dingen kan ik naar een server in het DC sturen)
- het risico van een gefaalde raid controller ga ik tegen met de software raid: ik gebruik het systeem dus énkel voor de aansluitingen, en elke hdd is een aparte ext4 hdd.
- het risico van een falende software raid is miniem en ik ben nog aan het kijken om dit tegen te gaan (bv als het hele volume kan rebuilden met een andere installatie)
de hdd's blijven hierbij echter gewoon intact (enkel de raid is niet meer beschikbaar), wat wil zeggen dat ik in principe nog steeds aan de data kan door de fysieke schijf aan te sluiten aan een pc)

ik weet idd dat er nog steeds een beperkt risico is dat ik data kwijt zou geraken onder andere condities (stel nu dat het ding zo heet zou worden dat de 8 drives allemaal smelten of een ander doemscenario ervoor...)
maar die kans acht ik, althans momenteel, klein genoeg om te nemen en op latere termijn -als mijn data belangrijker zou worden als dit- nog uit te breiden.

@q-tec: hmm, daar heb ik idd geen rekening mee gehouden... de pc die ik gebruik heeft esata, maar geen idee eigenlijk of die port multiplier ondersteund...
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Bit rot, Unrecoverable Read Errors, bad sectors, enz. zeggen u niets? Elk goed RAID systeem heeft een scrubbing job, en zelfs dan nog is het niet waterdicht. Met steeds groter wordende disks is de kans op een URE zeer reeël, waar zelfs RAID6 volledig mee onderuit gehaald kan worden en je in het slechtste geval alles kwijtraakt in een rebuild.
Ik zal de link van het ander topic hier nogmaals plaatsen: http://sysadmin1138.net/mt/blog/2012/12 ... ppen.shtml

Anderzijds begint ZFS ook voor consumenten populair te worden: http://tweakers.net/reviews/2963/6/desk ... elegd.html
Afbeelding
devastator
Elite Poster
Elite Poster
Berichten: 1218
Lid geworden op: 01 nov 2005, 10:53
Locatie: Pelt
Uitgedeelde bedankjes: 27 keer
Bedankt: 56 keer

Gebruikt er hier voor de rest niemand unRAID ?
johcla
Elite Poster
Elite Poster
Berichten: 2386
Lid geworden op: 23 mar 2009, 21:08
Uitgedeelde bedankjes: 646 keer
Bedankt: 149 keer

Mijn onsite config:
Ik heb een NAS met 2 schijven in RAID. Daaraan hangen 2 externe schijven, eentje via eSata en eentje via USB.
Van mijn belangrijkste data wordt ieder uur met versiebeheer de laatste wijzigingen naar eSata geschreven.
Van een grotere set aan data (lees: alles behalve video's en data die zelf backup zijn van websites enz) wordt iedere dag met versiebeheer de laatste wijzigingen naar beide schijven geschreven, de ene om 4 uur 's middags, de andere om 4 uur 's nachts.
Alle data wordt ook offsite gebackupped, maar dat is off-topic.
Versiebeheer is: van laatste dag elk uur - van laatste maand elke dag - van laatste jaar elke week.

Belangrijkste data wordt ook een gesynced naar een Truecrypt container op werk-laptop, maar dat is eerder om onderweg te kunnen werken dan als backup.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

Kenw00t schreef:Met steeds groter wordende disks is de kans op een URE zeer reeël, waar zelfs RAID6 volledig mee onderuit gehaald kan worden en je in het slechtste geval alles kwijtraakt in een rebuild.
ik gebruik 8x 1TB (dus "steeds groter wordend" is niet van toepassing)
het is in een config dat er 5!! schijven *gelijktijdig* mogen failen alvorens de array niet meer redundant is.
en het regelmatig checken van de hdd's (bv 1x/week een reboot en fschk op de hele array via cron) moet helpen vroege failures te detecteren.
Gebruikersavatar
iceke
Elite Poster
Elite Poster
Berichten: 6667
Lid geworden op: 11 jun 2010, 12:58
Uitgedeelde bedankjes: 226 keer
Bedankt: 611 keer

Doomdenkers.... Een backup van een backup.... en dan nog niet tevreden zijn ?
devastator
Elite Poster
Elite Poster
Berichten: 1218
Lid geworden op: 01 nov 2005, 10:53
Locatie: Pelt
Uitgedeelde bedankjes: 27 keer
Bedankt: 56 keer

raid != backup !
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

raid an sich is idd geen backup :)

iceke: en het systeem dat ik plan te gebruiken is niet helemaal een "backup van een backup",
het is een *redundante* kopie van media die gedeeld is over een veiligere indeling.

oftewels:

2x RAID 6 met elk 4 schijven, we noemen dit A en B
B is een exacte kopie van A, maar niet perse een backup (verkloot bestand op set A, het is ook weg op set B) => raid 1
A bestaat uit raid 6, zijnde dus 2 drives beschikbaar + 2 drives backup (verdeeld over de 4 drives) maar alweer; verkloot het bestand, en het is weg.
je hebt dus *redundancy* maar geen backup: je bent beschermd tegen hardware failure maar niet user error.

met andere woorden: als ik backups wil, moet ik nog steeds een aparte backup maken met deja-dup bv.
als ik dan vervolgens die backup zou opslaan op de raid array + lokaal, dan kan je spreken van een backup :)

ik volg dan ook met interesse krisken zijn thread over backup software: http://userbase.be/forum/viewtopic.php?f=8&t=37281
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Wat is eigenlijk het punt om 4 drives in RAID 6 te zetten? Dan kan je toch evengoed RAID 1 of 10 gebruiken, en zeker als je in totaal 8 drives hebt. Het verlies aan usable space is evengroot, maar bij RAID 10 zal uw performance wel veel beter zijn.
Afbeelding
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

2x4 drives in raid 6 en vervolgens de 2 sets in raid 1 = 5 drives, ongeacht de welke, mogen gelijktijdig falen.
bruikbare ruimte: 2 schijven

2x4 drives in raid 1 en vervolgens de 2 sets in raid0 = max 3 drives binnen 1 set mogen falen.
bruikbare ruimte: 2 schijven

je hebt dus evenveel ruimte beschikbaar maar minder schijven die mogen falen.

EDIT:

je kan ook 4x2 drives in raid 1 zetten en vervolgens die 4 sets in raid 0,
dan krijg je max 1 drive binnen dezelfde set die mag falen en 4 bruikbare schijven.

zie ook http://www.raidrecoverylabs.com/nested_raid_levels/ (al staat daar nog niks van raid 6/60/61)
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Ok, ik ben benieuwd naar de resultaten van zo'n R61 setup. In de praktijk wordt zoiets echter nooit gedaan, omdat de kosten dan al zo hoog oplopen per usable space dat een 2de site en replicatie dan interessant beginnen worden. Wat jij hier dus in elkaar steekt is iets dat absoluut niet down mag gaan, ook al is het misschien beter om de boel te repliceren én er nog een cloud backup abonnement aan te koppelen. Volgens mij gaat dat een stuk goedkoper uitkomen per usable space dan R61.
Afbeelding
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

het is ook vooral gekoppeld aan het feit dat ik naar de toekomst toe mijn ruimte wél wil uitbreiden (en dus tegen het principe van grotere capaciteit, grotere failrate ga aanlopen) en toch niet wil zitten veranderen aan raid levels en dergelijke.
met andere woorden: als ik over x jaar beslis dat ik meer ruimte nodig heb, kan ik stuk per stuk de hdd's vervangen tot ik uiteindelijk bv 8tb beschikbaar heb (8x4tb),
maar dat kan ik mooi spreiden over jaren waardoor dus ook de kans dat de drives gelijktijdig stuk gaan (door gelijktijdig aan te kopen) verlaagd is.

er is over nagedacht hoor :) al is het zeker geen "nu ga ik nooit nog data verliezen" setup - maar dat is ook niet de bedoeling.
de bedoeling is dat de data onsite veilig is van de meest waarschijnlijke fenomenen.
daarbij staan de belangrijke files dan dus ook nog op de pc's lokaal en krijgen ze een backupje op die raid setup,
waardoor dat ook redundant uitgevoerd is.

de performance zal ik laten weten zodra hij er staat (ben ik zelf ook best benieuwd naar) :)
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:het is in een config dat er 5!! schijven *gelijktijdig* mogen failen
Op een array van 8 schijven een config bouwen dat er 5 stuk mogen gaan heb ik nog NOOIT gezien in het bedrijfsleven waarbij de vereisten toch heel wat hoger liggen volgens mij. Wat mij betreft is dit dan ook een sterk staaltje van paranoia wat verder totaal zinloos is en enkel veel geld kost.

Je kent het verhaaltje van de zwakste schakel... jij hebt nu een fijn halssnoer waarbij één schakel de grote heeft van een anker voor een zeeschip !
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

zoals ik al zei is het de bedoeling die raid set niet meer te hoeven veranderen in de toekomst...
en waar denk je dat we naartoe gaan met bv URE en grotere disks?
raid 5 had 1 disk die defect mocht zijn, raid 6 heeft er 2, en ook die is over een paar jaar achterhaald.

nu is het overkill (helemaal mee akkoord), maar over 3 of 4j steken er 4TB schijven in en dan is de kans een heel pak hoger dat er meerdere disks tegelijk/bij een rebuild zouden falen.
door nu al deze manier van werken te implementeren, hoef ik er over 5j niet naar om te kijken... hoop ik
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:en waar denk je dat we naartoe gaan met bv URE en grotere disks?
Heb jij soms statistieken waaruit blijkt dat een 3 TB disk twemaal zo snel defect gaat als een 1.5 TB ?

Ik geef het trouwens op... je begrijpt duidelijk niet veel van risico analyse.

En over 5 jaar... dat zijn zorgen voor dan (misschien steken we dan allemaal SSD's van 2 TB)... in IT termen is dat een eeuwigheid.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

statistieken niet dadelijk, maar; als de URE gelijk blijft en de capaciteit hoger wordt en er na een disk failure meer stress op de andere drives komt,
verhoog je met meer disks en/of meer capaciteit per disk zowiezo de kans op meerdere failures, of niet?

dat het overkill is, wil niet zeggen dat ik niks van risico analyze begrijp dankjewel,
ik verkies gewoon de overkill route te nemen om langer niks te moeten ondernemen.
dat 5j "een eeuwigheid" is in de IT geef ik je gelijk in, maar voor sommige zaken maakt die eeuwigheid weinig uit:
het systeem waarbij de drives nu faalde was 6j oud en werkte beter dan de gemiddelde desktop van 2j oud.
het systeem dat ik nu gebruik heeft ook al (buiten de ssd) "antieke" hardware maar doet nog vele systemen de das om.

het feit van NU overkill te doen is simpelweg zorgen dat ik over 5j "doorkan", gemakkelijk zelfs,
en gezien de grotere hdd's dan ongetwijfeld goedkoper zijn, kan ik stuk per stuk vervangen en de capaciteit uitbouwen,
terwijl mijn redundancy even groot blijft en ik geen enkele moeite moet doen om toch maar een nieuwe raid te maken en de oude data erop te krijgen,
in tegenstelling tot van raid level te veranderen (in de meeste gevallen)

als we dan met SSD werken, mooi, dan steek ik er ssd's in als die betaalbaar zijn... probleem?
ongeacht mijn setup zijn de drives over +/- 5j versleten en moet ik ze toch vervangen.
gezien ik in de eerste 3 tot 5j toekom met een capaciteit van 2TB, zie ik -buiten de hogere investering- er geen probleem in.
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:statistieken niet dadelijk, maar; als de URE gelijk blijft en de capaciteit hoger wordt en er na een disk failure meer stress op de andere drives komt, verhoog je met meer disks en/of meer capaciteit per disk zowiezo de kans op meerdere failures, of niet?
Een URE (Unrecoverable Read Error) is een feit... het is geen hoeveelheid en al zeker geen ratio. Een URE kan zich dus evenzeer voordoen op een 500 GB disk dan een 3 TB disk en staat dus op zich los van de capaciteit. Als je dan ook nog spreekt over de extra stress tijdens rebuilds dan vrees ik dat je duidelijk natte vinger werk aan het doen bent.
Splitter schreef:dat het overkill is, wil niet zeggen dat ik niks van risico analyze begrijp dankjewel,
Wel als die overkill niet overal evenwaardig is in je systeem... je maakt een ketting met één sterke schakel... da's gewoon absurd !
Splitter schreef:het feit van NU overkill te doen is simpelweg zorgen dat ik over 5j "doorkan", gemakkelijk zelfs,in tegenstelling tot van raid level te veranderen (in de meeste gevallen)
Jou oplossing is een RAID bovenop een RAID... je spreekt jezelf dus compleet tegen ! Als je dus je eerste RAID level gaat aanpassen kom je plots tot een grotere failure rate dan vandaag de dag... dus waarom doe je dit vandaag dan wel en morgen niet (of ga je er dan een derde RAID level bovenop plaatsen... ik wil nu je performance al wel eens weten) ?

Iedere deftige RAID controller (althans die ik gebruik thuis) doet trouwens live RAID migraties... en nee, RAID is niet zaligmakend (ongeacht hoeveel levels jij boven elkaar wil stapelen)... daarom m'n verhaal over een tweede fysieke server (zodat je ketting op ieder punt even sterk is).
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

r2504 schreef: Een URE (Unrecoverable Read Error) is een feit... het is geen hoeveelheid en al zeker geen ratio. Een URE kan zich dus evenzeer voordoen op een 500 GB disk dan een 3 TB disk en staat dus op zich los van de capaciteit. Als je dan ook nog spreekt over de extra stress tijdens rebuilds dan vrees ik dat je duidelijk natte vinger werk aan het doen bent.
dat een URE zich op eender welke size disk zich kan voordoen, weet ik, dat het los staat van capaciteit...?
verbeter me als ik hier mis zit: is het niet zo dat hoe groter de drive, hoe hoger de kans op een URE tegen te komen wordt?

extra stress blijf ik bij dat dit wel klopt: stel dat je in raid 10 zit met de 8 drives, en ik ervanuitga evenveel capaciteit te gebruiken,
dan zou dat betekenen dat ik 4 drives groepeer in raid 1 en heb ik op het moment dat 1 disk zou falen, 3 drives die extra stress hebben voor het rebuilden.
natuurlijk zou in deze setup ook nog ruimte zijn voor extra failures, dat is zowiezo een feit.

r2504 schreef:Wel als die overkill niet overal evenwaardig is in je systeem... je maakt een ketting met één sterke schakel... da's gewoon absurd !
<knip>
Jou oplossing is een RAID bovenop een RAID... je spreekt jezelf dus compleet tegen ! Als je dus je eerste RAID level gaat aanpassen kom je plots tot een grotere failure rate dan vandaag de dag...
Ik heb je eerder al gelijk gegeven dat ik nog een single point of failure heb, maar heb je ook reeds gemeld dat ik dat beschouw als laag risico,
en dat op termijn kan uitbouwen.
Ondertussen is het *niet* absurd omdat het nog steeds beter is als niets natuurlijk, en de belangrijke data dus op de pc's + de raid array staat.
Het enige wat als point of failure echt overblijft, is de media en dat risico is aanvaardbaar gezien de data niet heilig is.

verder, hoe kom ik tot een grotere failure rate dan vandaag als ik over 5j grotere/betrouwbaardere schijven steek?
stel dat over 5j SSD's in deftige grootte betrouwbaar en beschikbaar (betaalbaar) zijn, dan kan ik die dus in dezelfde setup steken zonder dat er iets moet veranderen aan de raid levels.
het feit blijft dat ik dus zowel nu als over 5j in totaal 5 falende disks mag hebben.

gezien ik niet werk met hot spares, en als je dan een failure van een disk krijgt op zaterdag 18u bv, zit je tot maandag 18u zonder backup (werk komt voor),
iets wat ik liever riskeer in een raid 61 setup dan in een raid 10.
al is raid 10 zeker een overweegbare optie indien idd blijkt dat de 61 setup te weinig performance zou leveren.

spijtig dat dit topic als een "welles nietes" spelletje over het al dan niet mogelijke nut van mijn setup is geworden ipv een overzicht wie welke setup om welke redenen gebruikt, maarbon.
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:Het enige wat als point of failure echt overblijft, is de media en dat risico is aanvaardbaar gezien de data niet heilig is.
Je data is niet heilig maar je maakt wel een setup waar menig commercieel bedrijf van kan dromen :eek:
Splitter schreef:spijtig dat dit topic als een "welles nietes" spelletje over het al dan niet mogelijke nut van mijn setup is geworden ipv een overzicht wie welke setup om welke redenen gebruikt, maarbon.
Ik denk dat al meermaals is aangegeven dat '"niemand" dergelijke setup gebruikt (op één fysieke server) omdat het totaal niet in verhouding staat tot het risico . Wat ik meestal zie in grote bedrijven is RAID-5 (met meerdere hot spares) welke in remote mirroring staan naar een tweede machine voor D&R.
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Je moet gewoon beseffen dat je iets heel exotisch aan het doen bent dat ze zelfs niet overwegen om te doen in de zakenwereld... Op IRC was er ooit zo eens een fameuze gast die RAID 66 had gedaan. :bang:

Nested RAID is gewoon zoeken naar miserie, tenzij het R10 of misschien net nog R50 is, maar al de rest is te exotisch. Het is misschien geen slecht idee om te weten dat RAID ook een doodlopende straat aan het worden is. Binnen dit en een paar jaar is de abstractielaag volledig verschoven naar een file-aware protection system, want dat is RAID trouwens helemaal niet (block level). Ik ben trouwens benieuwd wat dat gaat geven, R61 in software RAID. De performantie zal ver te zoeken zijn bij het schrijven. Anderzijds lijk je niet helemaal op de hoogte dat er naast RAID ook nog andere opties zijn. Heb je dat ZFS-artikel eens doorgenomen? Dit zit trouwens al ingebakken in oplossingen als FreeNAS (en niet in OMV!).

Mag ik vragen wat voor data er op die array gaat komen?
Afbeelding
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

menig commercieel bedrijven hebben dan ook meer dan 2TB capaciteit nodig :)
ik ben heus wel van plan uiteindelijk nog een gesplitst systeem te maken, maar daar heb ik het geld niet voor momenteel.
ook daar komt de RAID61 setup weer te pas - althans, die veronderstelling heb ik.

ik verwacht de RAID61 setup zoals ik ze nu voorstel te kunnen degraden (1 raid6 set verwijderen) en terug kan opbouwen vanuit de 2de disk storage,
van zodra ik die heb.
op dat moment kan ik dan ook de raid6 array verder uitbreiden met 4 nieuwe drives in elke storage.

@kenwoot: freenas is ZFS/bsd terwijl ik meer linux gericht ben.
ZFS heeft idd een aantal voordelen, maar is en blijft een bsd filesystem.
misschien dat ik het even moet bekijken, kan nooit geen kwaad, maar de maker achter OMV is ook degene achter de originele freenas (7x en niet meer 8x)

wat betreft de array:

- films/muziek (niet leuk om te verliezen, maar niet belangrijk: meestal heb ik hard copy van de originele)
- foto/documenten (al heel wat belangrijker, maar degene die zeker niet kwijt mogen blijven ook lokaal op de pc's staan)
- backups van userdirs

gaat ook dienen om media te streamen naar een raspberry, zal een beetje de bepalende factor zijn voor de performance: als dat lukt,
zal de rest ook wel "aanvaardbaar" zijn (ik weet dat ik het ene opgeef voor het andere, maar ik weet ook dat ik dat op termijn oplos)
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Wel, configureer het dan zoals in een bedrijf? Zet ze gewoon in RAID 6 (6 + 2) en je bent klaar. Leg bovenop de array nog een cold spare klaar en je kan al tegen iets.

Ik lees trouwens iets over "op tijd een fsck doen". Mag ik je erop wijzen dat een echt RAID scrubbing proces bijlange niet hetzelfde is als een fsck? Je hebt verschillende zaken: een proces dat alle sectors leest om bad sectors te detecteren en om proactief die data naar een andere sector te kopiëren en de slechte sector op de blacklist te zetten. Dan is er nog een ander proces dat op tijd een hele stripe element zal lezen, de pariteit berekenen, en die uitkomst vergelijken met wat er werkelijk in de pariteit geschreven staat. Consistency checks noemen we zoiets. Je mag dan een R61 setup hebben, als deze elementaire healthchecks niet de revue passeren ga je het vroeg of laat toch vlaggen hebben.

NAS4Free (bevat ZFS) is trouwens de werkelijke opvolger van FreeNAS 7.x, en niet OVM, wat door "een" developer van Freenas is gemaakt. Wat bedoel je trouwens met "ZFS is en blijft een BSD-based filesystem"? Dit ding draait ondertussen al in bedrijven hoor.
r2504 schreef:Een URE (Unrecoverable Read Error) is een feit... het is geen hoeveelheid en al zeker geen ratio. Een URE kan zich dus evenzeer voordoen op een 500 GB disk dan een 3 TB disk en staat dus op zich los van de capaciteit.
In de specsheet van een disk staat de waarschijnlijkheidsfactor dat zo'n fout optreed. Als die factor bij een bepaalde reeks (bv. WD Black) disks dus dezelfde is, dan brengt een grotere disk in die reeks ook automatisch een groter risico op URE met zich mee. Meer info: http://www.raidtips.com/raid5-ure.aspx
Afbeelding
ubremoved_539
Deel van't meubilair
Deel van't meubilair
Berichten: 29849
Lid geworden op: 28 okt 2003, 09:17
Uitgedeelde bedankjes: 446 keer
Bedankt: 1985 keer

Splitter schreef:menig commercieel bedrijven hebben dan ook meer dan 2TB capaciteit nodig :)
Ik ken nochtans heel wat KMO's die het met een fractie daarvan doen... besef je wat 1 TB aan administratieve data is (bedrijven downloaden nu éénmaal geen MP3's en DVD ISO's) ?
Splitter schreef:- films/muziek (niet leuk om te verliezen, maar niet belangrijk: meestal heb ik hard copy van de originele)
- foto/documenten (al heel wat belangrijker, maar degene die zeker niet kwijt mogen blijven ook lokaal op de pc's staan)
- backups van userdirs
De juiste tool voor de juiste job... geen pletwals om een duimspijker ergens in te drukken dus... overkill met vermoedelijk een ernstige performance impact op dingen die je wel nodig hebt als je spreekt over het streamen van media content !
Kenw00t schreef:In de specsheet van een disk staat de waarschijnlijkheidsfactor dat zo'n fout optreed. Als die factor bij een bepaalde reeks (bv. WD Black) disks dus dezelfde is, dan brengt een grotere disk in die reeks ook automatisch een groter risico op URE met zich mee. Meer info: http://www.raidtips.com/raid5-ure.aspx
Lees de laatste twee paragrafen trouwens eens van je link... het geeft aan hoe absurd de theorie is. Ik heb de indruk dat de TS dergelijke theorieen ook als de ultieme waarheid bekijkt (en verder oogkleppen op heeft) en daarom absurde configuraties wil bouwen.
Gebruikersavatar
Kenw00t
Elite Poster
Elite Poster
Berichten: 1778
Lid geworden op: 28 dec 2008, 19:38
Uitgedeelde bedankjes: 346 keer
Bedankt: 250 keer

Voor URE heb je een vorm van theorie nodig om uw waarschijnlijkheidsfactor te berekenen. Daarbij, wat er in die laatste paragrafen staat is ook onzin. In business gebruikt niemand pure RAID 0.
Een URE is bij de grotere arrays de primaire oorzaak van een 2de of 3de disk failure TIJDENS een rebuild. Het is niet mijn bedoeling om de TS gelijk te geven dat zijn config de beste manier is om die te voorkomen, maar wel om hem te doen inzien dat RAID meer problemen geeft dan het eigenlijk oplost.

Meer leesvoer: http://www.amplidata.com/pdf/The-RAID-Catastrophe.pdf
Afbeelding
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

Kenw00t schreef:Wel, configureer het dan zoals in een bedrijf? Zet ze gewoon in RAID 6 (6 + 2) en je bent klaar. Leg bovenop de array nog een cold spare klaar en je kan al tegen iets.
Kenw00t schreef:Ik lees trouwens iets over "op tijd een fsck doen". Mag ik je erop wijzen dat een echt RAID scrubbing proces bijlange niet hetzelfde is als een fsck?
Dat weet ik... maar ik heb geen idee of OVM een implementatie heeft voor andere zaken (again, ik moet nog gaan uitzoeken welke distro het best geschikt zal zijn, maar ik leun naar OVM)
Kenw00t schreef:NAS4Free (bevat ZFS) is trouwens de werkelijke opvolger van FreeNAS 7.x, en niet OVM, wat door "een" developer van Freenas is gemaakt. Wat bedoel je trouwens met "ZFS is en blijft een BSD-based filesystem"?
ZFS is niet beschikbaar op linux, dat bedoel ik ermee :)
en idd, je hebt gelijk, nas4free is de echte opvolger terwijl ovm een poging is het op linux te brengen.
maar zoals eerder gezegd, ik ben linux gewend en ben niet zeker of ik wil wisselen naar BSD (enkel en alleen) voor ZFS.
r2504 schreef: Ik heb de indruk dat de TS dergelijke theorieen ook als de ultieme waarheid bekijkt (en verder oogkleppen op heeft) en daarom absurde configuraties wil bouwen.
ik heb meestal 2 drives die (bijna) gelijktijdig problemen beginnen geven, en dit is dan zonder dat ze in raid staan.
die ervaring heb ik gehad met maxtor, WD, en de oude barracuda's.
dus raid 6, waarbij 2 drives mogen falen, is idd genoeg... maar ik en murphy hebben een slechte relatie, dus hou ik niet van juist genoeg.
al geef ik wél toe dat er mogelijk alternatieven zijn die beter zijn voor performance en ook voldoende zijn.
alleen dus geen idee in welke mate die bestand zijn tegen het upgraden van de array met grotere schijven (zoals kenwoot ook zegt, grote schijven, zelfde waarschijnlijkheid, hoger risico)

raid61 zou dit moeten aanpakken (maar, en ook dat geef ik toe, de impact op performance weegt mss niet op tegen het voordeel - maar dat weet je pas als je het test, niet?)


gezien r2504 denkt dat ik oogkleppen op heb en dit topic toch al lang voorbij de originele bedoeling gegaan is, zal ik even deze multivraag stellen:

- bij 8 disks
- met de vereiste +/- dezelfde veiligheid te behouden over 5 jaar als er schijven van 2 a 3x hetzelfde formaat in de array komen (met zelfde faal-waarschijnlijkheid)
- waarbij redundancy belangrijk is
en wss nog een paar zaken...

welke raid levels raden jullie dan aan + waarom + hoeveel disks en capacity is er? (elke van de 8 schijven is 1TB)
ubremoved_15739
Elite Poster
Elite Poster
Berichten: 2831
Lid geworden op: 13 jul 2010, 13:21
Uitgedeelde bedankjes: 608 keer
Bedankt: 542 keer

Bwah, ik zou het eens van een andere kant bekijken.
Ik vind 8 disken nogal overkill om 2TB storage te hebben.
Toch zeker voor huis-tuin-en-keuken-gebruik.

Effe rekenen.
Laat me uitgaan van volgende schijven: Western Digital Caviar Red. Dat is een mooie kleur. :wink:
Stel een schijf van 1TB: 80 €
Stel een schijf van 2TB: 106 €
(Prijzen van bij MPL genomen)

Dus 8 schijven van 1TB = 640€ aan disken.
Voor dat geld heb je ook 6 disken van 2TB (6*106€). :wink:

Wat kunnen we daar mee?
Jij wil 2TB ter beschikking. Toch?
Dus zou ik twee 2TB schijven in RAID 1 zetten.

En elk jaar een disk eruit halen (deze leg je aan de kant) en een nieuwe erin steken.
Na vijf jaar heb je vier disken die je historische gegevens bevatten én je actieve RAID1: dus je bent zeker dat je nooit al je gegevens verloren bent.
Disken draaien nooit langer dan maximaal twee jaren (= korter dan de garantie periode).
Altijd een reserve disk bij de hand.
Veel minder stroomverbruik dan wel met 8 disken.
Je kan ook nog eens (heel wat) kosten uitsparen op een kleine enclosure.

Alternatiefje.
Afin, je kan ook iedere maand een 2TB disk vervangen en zo cyclisch verder doen.
Verder hou je met bijvoorbeeld smartmontools de status van je disken netjes bij.

Een RAID 1 van 2TB is nu ook niet dramatisch om opnieuw op te bouwen en alle sectoren zijn een keer gelezen geweest.
Is er effectief een probleem tijdens dit rebuilden? Je hebt nog steeds een goede en recente kopie bij de hand.
Gebruikersavatar
Splitter
Elite Poster
Elite Poster
Berichten: 4578
Lid geworden op: 10 mar 2010, 12:30
Uitgedeelde bedankjes: 58 keer
Bedankt: 446 keer

+1, dat is een manier van werken waar ik nog niet aan gedacht had
de schijven zijn overigens seagate barracuda's, ik werd gek van kleurtjes bij WD :p

als ik jouw manier van werken zou toepassen met de 8 schijven die ik nu heb, zou ik ze in raid 1 (4+4) kunnen zetten,
en idd elk jaar 1tje vervangen, wat me 4TB aan storage zou geven en idd een heel kleine kans dat er wat zou gebeuren.
zeker iets om over na te denken, thx :)
Plaats reactie

Terug naar “Hardware”