Welke SSD's in budget server?

[ubremoved_2964]

Ik heb enkele maanden terug een supermicro server in bijna nieuwstaat gekocht van Tim, zonder ram, en heb 32 GB ram toegevoegd:

Supermicro X9SCM-F
Intel quad core E31220 xenon 3.1 Ghz
32 GB RAM Kingston KVR16E11K4/32
2x 500GB HDD's (zaten erbij)

Bedoeling is dat deze doos een CentOS 7 KVM hypervisor gaat worden in een datacenter, die twee VM's moet draaien:

- een eenvoudige joomla site te migreren van vmware server 2.0, 10GB
- een postfix mailserver, 34 GB

-> en in de toekomst een extra vm met website

Omdat de server 6 sata poorten heeft, dacht ik aan 't volgende:

- twee goedkope SSD's van bvb 32GB voor het OS, in software RAID1 (io naar deze schijven is zeer weinig)

Ik heb nu thuis twee servers in 4U behuizingen waar de boot SSD een kleine 30 a 60GB SSD is, en dit is stabiel:
-> zo draait mijn thuis nas op slechts één KINGSTON SV300S3 voor het OS, en dit gaat goed (data staat op aparte disks en in raid1)
-> zo draait mijn PXE doos thuis op een oude OCZ CORE_SSD, en dit gaat nog steeds goed

Voor de datacenter doos, zou ik er dan twee kopen en in raid1 zetten.

- twee goedkope kleine SSD's voor het OS, niks van data en weinig IO
- twee deftige 256GB SSD's in software raid1 voor een /data partitie waar de VM's op draaien
- bestaande twee 500GB's HDD's voor een software raid1 waar ik backups van mijn thuismachine op maak doorheen een VPN

Ik zou liever niet OS+DATA op een koppel van twee SSD's in raid1 zetten, maar verspreid over vier SSD's zoals hierboven toegelicht.
Voordeel is dat ik dan met clonezilla een 1:1 backup kan maken van één van de twee boot ssd's, en de backup van de /data verspreid over de twee betere SSD's via klassieke online backup methodes kan doen.

Feedback?

[Tim.Bracquez]

Gewoon goedkope SSD's, Kingston draai ik ondertussen al 3 jaar 24/7 zonder probleem (zo'n 200+ SSD's), zonder defect. Gewoon de goedkope zoals je er al hebt.

De crucial SSD's draai ik ook naar alle tevredenheid, deze heeft caps voor stroomuitval voor zover ik begrepen had. Ze zijn trouwens ook iets goedkoper nu, hiervan 50+ 480GB en 1TB modelletjes draaien zonder probleem.

Zelf draaien hypervisors hier op een 60GB SSD omdat kleiner niet in de stock ligt. Single drive, nooit uitval gehad en het is maar een hypervisor, die werkt in read-only ook hoor (zeker citrix) en de RAID is gewoon een RAID-10 telkens met grotere SSD's + 1 spare, kan je trouwens ook gewoon een hard drive voor gebruiken als je het goedkoper wilt.

RAID-10 raad ik toch wel aan voor performance, RAID-1 ga je de boel "vertragen". Bij RAID-10 zonder spare kan je (als je geluk hebt) 2 falende drives hebben.

Backups gooi je gewoon op een single drive die je er in stopt (snapshots) gaat razendsnel dan. Of als externe drive er aan moest je geen sata poort meer hebben

Dan heb je dus:
1x 30GB OS SSD
4x 120GB RAID-10 SSD (240GB dat je kan gebruiken) + eventueel spare
1x 500GB HDD backups / snapshots

Op amazon ben je klaar voor slechts 203 Euro incl btw:

[ubremoved_2964]

Kingston heeft nu de UV400, en die is blijkbaar nog iets sneller en stukken goedkoper dan de V300:

http://tweakers.net/nieuws/111677/kings ... -ssds.html

[Tim.Bracquez]

@ub4b: Met die geen ervaring. Maar voor een 200 Euro 240GB RAID-10 SSD storage hebben is toch al wat

Vind ze niet goedkoper dan de 480GB SSD's voor 96,56 EUR op amazon van crucial

[ubremoved_2964]

Het zal puzzelen worden om alle SSD's in de supermicro te pompen. Heb al een poging ondernomen met 5 laptop HDD's.
Gelukkig heb ik nog een hele berg 5V molex naar 2x SATA liggen die bij de lineaire voeding zit (van ons product, niks te maken met supermicro), en ook nog een hele berg SATA kabels Deze 5V-only naar satapower kabels werken goed.

En kussentjes om als spacer te gebruiken heb ik ook nog met bergen liggen, is kwestie van uitsnijden.

Heb 5x deze in order:


174,25 ex-btw voor 5x120GB kan ik dus mee leven ;

34,85 ex btw per stuk, bij een Duitse groothandel staat ie zelfs 35 € ex btw, dus amazon prime not bad .....


Het enige nadeel aan deze doos is dat het ongeveer een halve minuut duurt alvorens hij de bios toont, ik weet niet waar ie op wacht ...

[FunkStar]

Beetje offtopic, niemand van jullie gemerkt dat Kingston met de V300 reeks even "gesjoemeld" heeft? Oude schijven zijn rapper dan recentere...
Zie: Anandtech artikel

PS: Disable Legacy USB in de Bios eens op je Supermicro, kan 1 van de redenen zijn dat je boot zo lang duurt.

[Netserv]

Hm, ik was even aan het twijfelen om ook voor de Kingston V300 te gaan voor mijn server, maar de Samsung 850 Pro geeft precies veel betere performance en daar wordt er hopelijk niet gesjoemeld. Ze kosten uiteraard ook ongeveer het dubbele, maar nog binnen mijn budget. Iemand ervaringen met deze SSD?

[ubremoved_2964]

Hm, ik was even aan het twijfelen om ook voor de Kingston V300 te gaan voor mijn server, maar de Samsung 850 Pro geeft precies veel betere performance en daar wordt er hopelijk niet gesjoemeld. Ze kosten uiteraard ook ongeveer het dubbele, maar nog binnen mijn budget. Iemand ervaringen met deze SSD?

ik heb een 850 pro in mijn laptop zitten en regelmatig miserie, zoals ssd niet gevonden bij cold start, of ssd wil niet terug wakker schieten bij wake from sleep in windows 7 met een vette bluescreen als gevolg

dat gebeurt slechts sporadisch, maar is best wel irritant

om die reden ga ik niet 5x het risico lopen bij een 850 PRO, ik wil niet dat deze dingen uit een raid10 knallen te pas en te onpas

In mijn game PC heb ik een 850 EVO en die heeft nog nooit kuren gehad.

[Tim.Bracquez]

Ik heb de Samsungs pro's in het begin als frisbee gebruikt. Al een geluk kwamen ze niet terug. Zo een brol. Zullen nu terug beter zijn, maar er waren firmware problemen

[Ken]

Hier Kingston V300 in alle servers voor OS. Storage nog altijd op 2TB+ schijven

[Netserv]

Precies toch de Samsung mijden dan. Zijn er alternatieven die dezelfde snelheden kunnen halen als de Samsung in dezelfde prijsklasse?

[ubremoved_2964]

Precies toch de Samsung mijden dan. Zijn er alternatieven die dezelfde snelheden kunnen halen als de Samsung in dezelfde prijsklasse?

als het echt snel moet gaan dan steek je zo'n pci express SSD, zodat er geen sata bus meer tussen zit
http://www.pcworld.com/article/2904340/ ... ep-up.html

maar dan betaal je premium en krijg je ook premium

de vraag natuurlijk is of je zo'n snelle ssd nu echt nodig hebt voor je workload

[RoDi_SK]

Ik zou Intel aanraden voor stabiliteit snelheden. En meer dan 32GB vanwege algemene snelheid en een aantal gereserveerde plaatsen voor "Wear Leveling".

[road rebel]

In mijn MacMini server gebruik zelf een Sandisk (de budget versie) maar dan in 1Tb, sinds 1 jaar zonder enig probleem. Geen cricital data, enkel multimedia, OS en foto's.
In een oude MacMini (als Dicom Server) heb ik nog een 80Gb Intel SSD voor OS. Kostte toen (2009) een bom geld maar doet het nog steeds top. Dus ik bevestig wel dat Intel goede kwaliteit is. Zeker als je de vele reports leest over de oudere modellen die nog steeds draaien.

Moest ik nu een kleine SSD moeten kopen dan zou ik ook eens kijken naar Toshiba Q300, aardige specs en voor +/-50€ heb je 240gb met 3 jaar garantie.

[ubremoved_2964]

Had het OS reeds geïnstalleerd op een oude 100GB laptop SATA. Zeer benieuwd, want het speelgoed is vandaag net toegekomen vanuit de UK, terwijl zondag in DE besteld. Globalisering heeft soms ook zijn voordelen.

[ubremoved_2964]

@ub4b: Met die geen ervaring. Maar voor een 200 Euro 240GB RAID-10 SSD storage hebben is toch al wat

Net vijf Kingstons in de supermicro bijgepropt, was puzzelen om ze er in te krijgen. Software raid10 speed valt wel mee, zeker voor reads:

[root@metaverse ub4b]# dd if=/dev/zero of=/var/lib/libvirt/images/testimg.dd bs=4096 count=10000000
10000000+0 records in
10000000+0 records out
40960000000 bytes (41 GB) copied, 75.4239 s, 543 MB/s
[root@metaverse ub4b]# dd if=/var/lib/libvirt/images/testimg.dd of=/dev/null bs=4096
10000000+0 records in
10000000+0 records out
40960000000 bytes (41 GB) copied, 43.0233 s, 952 MB/s

en dan nog software raid met de SSD's op de 4x SATA2 3Gb/s poorten van de supermicro. Enkel de boot SSD zit op sata3. Kan best leven met deze snelheden, zeker voor wat het maar gekost heeft voor deze 5 SSD's

Zeker voor een theoretische max 12 gigabit (4x sata2 poort @3Gb/s) is 952 MB/s not bad ...

[solid-killer]

Precies toch de Samsung mijden dan. Zijn er alternatieven die dezelfde snelheden kunnen halen als de Samsung in dezelfde prijsklasse?

ik draai ondertussen al 3 generaties samsung en nog nooit problemen gehad, raar.
in mijn bezit :
samsung 830 (128 gb ssd)
samsung 840 (250 gb ssd)
samsung 850 pro (512 gb ssd)

[Netserv]

Ik ben er zelf nog niet uit welke ik ga nemen. De Kingstons halen in raid 10 precies wel een redelijke snelheid en zijn ook zeer aantrekkelijk in prijs, maar ik had liever 2x 1 TB SSD's in raid 1 gehad i.p.v. 4x 480 GB in raid 10 (daarnaast heb ik nog 2x 3 TB HDD's in raid 1 en de server heeft maar 4 bays). Die Kingstons bestaan niet in die grootte zie ik.

[ubremoved_2964]

De 120G kingstons waren blijkbaar deze middag niet meer leverbaar via amazon prime. Bij amazon.de wou hij de laatste niet meer in mijn basket leggen. Nu terug op voorraad.

Dus voor wederhelft een nieuwe samsung 750 250GB gaan halen bij Tones in Latem, voor 80 euro, is basically zelfde prijs als 2x 120GB. Zij heeft een oude medion pc met windows7 en een zeer trage 1.5TB hdd die we dringend op een SSD willen overdumpen.

[ubremoved_539]

maar ik had liever 2x 1 TB SSD's in raid 1 gehad i.p.v. 4x 480 GB in raid 10

Dan ben je beter met 4 x 480 GB in RAID5... heb je netto 50% meer capaciteit en de overhead van RAID-5 ga je toch niet voelen.

[Netserv]

Is RAID 5 niet meer belastend voor SSD's door de vele schrijfoperaties? Ik had dit onlangs nog gehoord.

[ubremoved_539]

Je gaat net minder schrijven... stel je hebt 1 blok data.

In RAID-1 schrijf je deze 1 blok data op beide schijven.

In RAID-5 schrijf je 1/3 van deze 1 blok data op iedere schijf (en een checksum op de vierde).

Per schijf schrijf je dus netto minder data.

[ubremoved_2964]

Je gaat net minder schrijven... stel je hebt 1 blok data.

In RAID-1 schrijf je deze 1 blok data op beide schijven.

In RAID-5 schrijf je 1/3 van deze 1 blok data op iedere schijf (en een checksum op de vierde).

Per schijf schrijf je dus netto minder data.

Dat klopt niet helemaal!

1. bij raid5 zal je een read-modify-write hebben, omdat bij elke write naar alle schijven wordt geschreven, ook het geval bij raid6 en raidz en alle raid6 varianten

bvb bij mdadm gebruiken ze blokken van zegmaar 64k, dit kan ook een megabyte zijn
als je nu 10 bytes op zo'n raid device aanpast, zal hij het 64k blok lezen, in geheugen de data aanpassen, het checksum opnieuw maken, en dat 64k block opnieuw naar de raid5 disken wegschrijven

Stel dat je 6 disken in raid5 hebt, dan wordt inderdaad naar elke disk maar 20% van de data gestuurd, maar alle disken worden wel belast.
Mijn ervaring is dat raid5 en zeker raid6 het meest belastend zijn voor disken.

2. bij raid1 zal je bij elke write ook naar 2 schijven schrijven en zal de write snelheid bepaald worden door de traagste schijf
bij raid1 kan een slimme implementatie van 2 schijven tegelijk lezen zodat je de performance van raid0 hebt, omdat de data toch reeds 2x op de schijven staat, linux doet dit o.a.

3. bij raid10 zal je ondanks het feit dat je naar alle disken schrijft, maar de helft schrijven, gezien je een raid1 hebt van striped raid0
bij lezen kan je echter parallel vanaf alle schijven lezen, dus read performance is 4x die van een single disk, terwijl write performance die van twee disken is (de snelheid van je raid0)

[ubremoved_539]

1. bij raid5 zal je een read-modify-write hebben, omdat bij elke write naar alle schijven wordt geschreven, ook het geval bij raid6 en raidz en alle raid6 varianten

De vraag is wat opweegt tegen elkaar... kijk hieronder... je mag al 500% overhead hebben voor je negatief gaat.

Stel dat je 6 disken in raid5 hebt, dan wordt inderdaad naar elke disk maar 20% van de data gestuurd, maar alle disken worden wel belast.

Maar in RAID-1 worden ze ook belast... voor 100% van de data. Dan mag je in RAID-5 nog overhead... bij 500% zit je nog steeds maar aan RAID-1.

bij lezen kan je echter parallel vanaf alle schijven lezen, dus read performance is 4x die van een single disk

Idem voor RAID-5... je leest slechts een percentage van iedere disk...

[Tim.Bracquez]

Raid 5 niet gebuiken voor VM storage met mdadm.

De rebuild is killing bij een probleem... raid 10 in mdadm is performanter. Ook kan je gewoon disks eenvoudig los gebruiken of in een ander systeem (in raid0). Bij een raid5 is dit een klucht voor recovery.

[ubremoved_539]

90% van de mini systemen waarmee ik werk draaien RAID-5... dat is al 20 jaar zo en is nog nooit een probleem geweest (op enkele uren na wat performance verlies bij disk failures).

Enkel de bedrijven die het zich kunnen permitteren draaien RAID-1 of 10 (we spreken dus niet over PC systeempje met enkele disken in een RAID configuratie).

Ook thuis draai ik al zeker 10 jaar RAID-5 (eerste jaren software in Windows server, later via hardware controller).

[ubremoved_2964]

90% van de mini systemen waarmee ik werk draaien RAID-5... dat is al 20 jaar zo en is nog nooit een probleem geweest (op enkele uren na wat performance verlies bij disk failures).

Enkel de bedrijven die het zich kunnen permitteren draaien RAID-1 of 10 (we spreken dus niet over PC systeempje met enkele disken in een RAID configuratie).

Ook thuis draai ik al zeker 10 jaar RAID-5 (eerste jaren software in Windows server, later via hardware controller).

In 2006 bouwde ik een raid5 met 4x 300GB hdd's. Tot er één disk er uit knalde, en een andere disk kort nadien ook dom deed, hop 900GB aan data kwijt. Ik gebruik sindsdien enkel nog raid1, raid10 en raid6. Ik had een 12 disk raid6 met 1.5TB hdds in 2010 en je wil niet weten hoeveel hdd's er zijn uitgeknald. Had ik dan raid5 dan was ik 15T kwijt. En dat omdat de 1.5 TB WD green één van de rotste schijven bleek in de industrie met een AFR van 8 maanden.

RAID5 is gewoon niet de meest intelligente keuze:

http://www.zdnet.com/article/why-raid-5 ... g-in-2009/

[Sasuke]

Voor thuis en met el-cheapo disks (komaan, wd green in raid is er ook om vragen natuurlijk ...), dan is RAID-5/6/50/60 inderdaad geen goede keuze. Maar om nu te zeggen dat het geen plaats meer heeft is wel zeer kort door de bocht hoor. Vooral in grotere disksets, 12 disken in RAID-6 met een extra spare disk heb je nog altijd 9 disken storage met de snelheid van 11 spindles én een grote betrouwbaarheid. En met een goeie controller zie je het perf. verschil niet.

Als je spreekt over software raid, mja, dan blijf je gewoon weg van alles wat parity berekeningen vraagt ...

[butskristof]

Met WD Greens is het inderdaad vragen om miserie. Green is in orde om als tweede schijf in je tower te steken voor wat extra opslag op backups, maar daar stopt het ook. Zelfs als primarie schijf voor OS zou ik ze al niet gebruiken. Om die dan in een NAS oid te gaan steken, da's gekkenwerk.

Het grootste probleem met (eender welke vorm van) RAID zijn de misvattingen erover. Er zijn er genoeg die niet beseffen dat RAID geen alternatief is voor een backup. RAID is goed voor snelle performance en stabiliteit over het algemeen, maar mag absoluut geen reden zijn om geen backups uit te voeren. RAID is goed om dagelijks operationeel te blijven, als het de mist ingaat (en die kans blijft altijd reëel) moet je nog altijd kunnen rekenen op backups.

900 GB data loss is een zure pil om te slikken, maar met RAID als enige 'backup'/voorziening en WD Green schijven is het er een beetje om vragen imho.

[ubremoved_539]

maar mag absoluut geen reden zijn om geen backups uit te voeren

Volledig akkoord... RAID is geen backup !

als het de mist ingaat (en die kans blijft altijd reëel)

Meer dan 25 jaar ervaring in de midrange markt en nog nooit een RAID-5 systeem gehad waarbij een scratch install noodzakelijk was (vanwege een RAID-5 failure)... al zitten in dergelijke systemen ook geen WD Green's maar Enterprise klasse disken. Ik ga hiermee niet beweren dat het niet kan, meer het hangt ervan af wat je dus verstaat onder "reëel" (al maken grotere disken het risico natuurlijk groter).

[ubremoved_2964]

Met WD Greens is het inderdaad vragen om miserie. Green is in orde om als tweede schijf in je tower te steken voor wat extra opslag op backups, maar daar stopt het ook. Zelfs als primarie schijf voor OS zou ik ze al niet gebruiken. Om die dan in een NAS oid te gaan steken, da's gekkenwerk.

Ik heb een WD green 1.5TB uit een aldi pc uit 2010 vervangen door een samsung 750 250GB SSD en die machine vliegt nu. Volgens smart 0 errors, maar is gewoon een pokketrage HDD. Eigenlijk zijn de wd greens goed voor één taak: één bestand lezen of schrijven, bvb muziek of filmbestanden. Van zodra er concurrent access nodig is, zijn dit rommeldisks.

[ubremoved_2964]

Meer dan 25 jaar ervaring in de midrange markt en nog nooit een RAID-5 systeem gehad waarbij een scratch install noodzakelijk was (vanwege een RAID-5 failure)... al zitten in dergelijke systemen ook geen WD Green's maar Enterprise klasse disken. Ik ga hiermee niet beweren dat het niet kan, meer het hangt ervan af wat je dus verstaat onder "reëel" (al maken grotere disken het risico natuurlijk groter).

een consumer zal voor niet kritische data geen enterprise schijven kopen, misschien best case een WD RED of veel beter de HGST NAS drive
maar toen ik mijn raid6 bouwde waren er geen betaalbare NAS schijven, je had ofwel de 1.5 TB WD green en seagates, of direct de 2x zo dure enterprise versie, waardoor de kost veel te duur werd

anderzijds is er volgens de google studie geen verschil tussen consumer schijven en enterprise schijven, google en backblaze gebruiken gewoon het goedkoopste spul wat ze kunnen vinden, met hun eigen redundantielayer errond

dat is net de essentie van RAID:

array of INEXPENSIVE disks

[Sasuke]

dat is net de essentie van RAID:

array of INEXPENSIVE disks

Daar is het mee begonnen, tot de effort om die goedkope disks te vervangen duurder werd dan betere disks te kopen. raid is gewoon kiezen tussen max. Performance of max. Redundance. En met SSD's kies je gewoon altijd voor redundance in het geval van RAID

[anon5]

Meer dan 25 jaar ervaring in de midrange markt en nog nooit een RAID-5 systeem gehad waarbij een scratch install noodzakelijk was (vanwege een RAID-5 failure)... al zitten in dergelijke systemen ook geen WD Green's maar Enterprise klasse disken. Ik ga hiermee niet beweren dat het niet kan, meer het hangt ervan af wat je dus verstaat onder "reëel" (al maken grotere disken het risico natuurlijk groter).

Sinds destijds onze HP ML150 G5 tower server met 8 originele "HP" 1TB SATA schijven in RAID5 (plus afzonderlijke OS disk) alles kwijt was, zijn we slimmer geworden. Sindsdien RAID-Z2 of RAID6 voor bulk data, en RAID-10 als snelheid van kleine schrijfoperaties enigzins belangrijk is.

[road rebel]

Is RAID sowieso de beste keuze voor thuisgebruik?
Voor persoonlijk gebruik - na enkele slechte ervaringen met RAID op QNAP en Synology- heb ik enkel nog JBOD met wekelijkse back-up + Time Machine als dagelijks back-up van OS.

Misschien is dat heel dom van mij (dan hoor ik graag andere opties) maar performance van JBOD is aanvaardbaar (off-time bij failure is onbelangrijk, ik hou altijd 2 schijven in de lade dus zo lang kan het niet duren). Ga ik beter over op RAID?

[ubremoved_539]

een consumer zal voor niet kritische data geen enterprise schijven kopen, misschien best case een WD RED of veel beter de HGST NAS drive

Zolang het maar geen WD-Green is... trouwens sinds m'n laatste server upgrade draai ik ook RAID-6 (heb nu ook 2 disk bays in m'n server ).

Is RAID sowieso de beste keuze voor thuisgebruik?
Voor persoonlijk gebruik - na enkele slechte ervaringen met RAID op QNAP en Synology- heb ik enkel nog JBOD met wekelijkse back-up + Time Machine als dagelijks back-up van OS.

Iedereen moet voor zichzelf beslissen wat de beste keuze is... ik heb gewoon geen zin gans m'n ESXi en VM's opnieuw te gaan installeren (ik backup namelijk geen OS of software, enkel data) als er al eens een disk kapot gaat (en daar ben je wel zeker van - ook op het werk gaat er iedere 1 a 2 maanden wel eentje stuk).

[ubremoved_2964]

Vandaag heeft Murphy dubbel en dik toegeslaan. Op bepaald moment waren alle VM's hangende (vm's draaien op een raid10 mdadm + xfs daarboven) en als ik naar de images directory op de host ging, kreeg ik een IO error.

Twee van de vier RAID10 SSD's waren er uit geknald. Hoe dat kon was een mysterie, want de SSD's waren nieuw. Linux gaf ook IO errors op beide SSD's op identieke sectoren. Dit was al superverdacht.

Verder zag ik continu sata errors op de 500GB backup HDD. Dus we rebooten, en de raid overleeft op 2 disks, en de vm's crashen alweer ...... dan haal ik de 500GB er uit, en de raid crashed niet meer. Dus om een of andere reden sleurt één slechte HDD alle andere poorten in de controller mee. Zeer bizar, dit zou niet mogen. Gelukkig is XFS op dit punt zeer goed, en het filesystem wordt in geval van corruptie afgeschermd voor verdere wijzigingen, zodat de vm's ekel bevroren, maar er geen data kwijt is.

Eenmaal de kapotte 500GB uit de server verwijderd is, rebuild ik de raid10, en maak snel een full backup (ongeveer 40GB) van de images directory naar een directory op de opstart SSD, omdat de 500GB backup schijf nu eenmaal rot is. Dan pak ik nog snel een rsnapshot backup van de lopende mail vm, en de raid knalt er dus opnieuw uit, zonder dat de 500GB nog aan de supermicro hangt.

Reboot helpt niet, twee van de vier SSD's blijven onzichtbaar. Na wat zoeken op de "action 0x6 frozen" foutcode in dmesg, zie ik dat dit een gekend freeze probleem is wanneer NCQ actief is ivm bepaalde merken SSD's, en dat is standaard dus actief in linux.

Code: Selecteer alles

[ 2180.479301] ata6.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
[ 2180.479332] ata6.00: failed command: FLUSH CACHE
[ 2180.479350] ata6.00: cmd e7/00:00:00:00:00/00:00:00:00:00/a0 tag 21
         res 40/00:ff:00:00:00/00:00:00:00:00/00 Emask 0x4 (timeout)
[ 2180.479392] ata6.00: status: { DRDY }
[ 2180.479407] ata6: hard resetting link
[ 2180.479417] ata4.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
[ 2180.479440] ata4.00: failed command: FLUSH CACHE
[ 2180.479456] ata4.00: cmd e7/00:00:00:00:00/00:00:00:00:00/a0 tag 13
         res 40/00:01:00:00:00/00:00:00:00:00/e0 Emask 0x4 (timeout)
[ 2180.479498] ata4.00: status: { DRDY }
[ 2180.479510] ata4: hard resetting link
[ 2185.831945] ata4: link is slow to respond, please be patient (ready=0)
[ 2185.833946] ata6: link is slow to respond, please be patient (ready=0)
[ 2190.524799] ata4: COMRESET failed (errno=-16)
[ 2190.525660] ata4: hard resetting link
[ 2190.525669] ata6: COMRESET failed (errno=-16)
[ 2190.526498] ata6: hard resetting link
[ 2195.830503] ata6: link is slow to respond, please be patient (ready=0)
[ 2195.830509] ata4: link is slow to respond, please be patient (ready=0)
[ 2200.572341] ata4: COMRESET failed (errno=-16)
[ 2200.573165] ata4: hard resetting link
[ 2200.573175] ata6: COMRESET failed (errno=-16)
[ 2200.574024] ata6: hard resetting link
[ 2205.926033] ata4: link is slow to respond, please be patient (ready=0)
[ 2205.926039] ata6: link is slow to respond, please be patient (ready=0)
[ 2235.604777] ata4: COMRESET failed (errno=-16)
[ 2235.605612] ata4: limiting SATA link speed to 1.5 Gbps
[ 2235.605614] ata4: hard resetting link
[ 2235.605797] ata6: COMRESET failed (errno=-16)
[ 2235.606593] ata6: limiting SATA link speed to 1.5 Gbps
[ 2235.606595] ata6: hard resetting link
[ 2240.654543] ata6: COMRESET failed (errno=-16)
[ 2240.655343] ata6: reset failed, giving up
[ 2240.656129] ata6.00: disabled
[ 2240.656133] ata6.00: device reported invalid CHS sector 0
[ 2240.656141] ata6: EH complete
[ 2240.656154] ata4: COMRESET failed (errno=-16)
[ 2240.656929] ata4: reset failed, giving up
[ 2240.657694] sd 5:0:0:0: [sde] FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[ 2240.657697] sd 5:0:0:0: [sde] CDB: Write(10) 2a 00 00 00 08 10 00 00 02 00
[ 2240.657698] blk_update_request: I/O error, dev sde, sector 2064
[ 2240.658460] blk_update_request: I/O error, dev sde, sector 2064
[ 2240.659209] md: super_written gets error=-5, uptodate=0
[ 2240.659212] md/raid10:md1: Disk failure on sde1, disabling device.
md/raid10:md1: Operation continuing on 3 devices.
[ 2240.660732] ata4.00: disabled
[ 2240.660734] ata4.00: device reported invalid CHS sector 0
[ 2240.660739] ata4: EH complete
[ 2240.660769] sd 3:0:0:0: [sdc] FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[ 2240.660770] sd 3:0:0:0: [sdc] CDB: Write(10) 2a 00 00 00 08 10 00 00 02 00
[ 2240.660771] blk_update_request: I/O error, dev sdc, sector 2064
[ 2240.661548] blk_update_request: I/O error, dev sdc, sector 2064
[ 2240.662315] md: super_written gets error=-5, uptodate=0
[ 2240.662317] md/raid10:md1: Disk failure on sdc1, disabling device.
md/raid10:md1: Operation continuing on 2 devices.
[ 2240.690553] RAID10 conf printout:
[ 2240.690555]  --- wd:2 rd:4
[ 2240.690556]  disk 0, wo:0, o:1, dev:sdb1
[ 2240.690557]  disk 1, wo:1, o:0, dev:sde1
[ 2240.690558]  disk 2, wo:0, o:1, dev:sdd1
[ 2240.690558]  disk 3, wo:1, o:0, dev:sdc1
[ 2240.718530] RAID10 conf printout:
[ 2240.718534]  --- wd:2 rd:4
[ 2240.718536]  disk 0, wo:0, o:1, dev:sdb1
[ 2240.718538]  disk 2, wo:0, o:1, dev:sdd1
[ 2240.718539]  disk 3, wo:1, o:0, dev:sdc1
[ 2240.718543] RAID10 conf printout:
[ 2240.718544]  --- wd:2 rd:4
[ 2240.718545]  disk 0, wo:0, o:1, dev:sdb1
[ 2240.718546]  disk 2, wo:0, o:1, dev:sdd1
[ 2240.718547]  disk 3, wo:1, o:0, dev:sdc1
[ 2240.720528] RAID10 conf printout:
[ 2240.720530]  --- wd:2 rd:4
[ 2240.720531]  disk 0, wo:0, o:1, dev:sdb1
[ 2240.720532]  disk 2, wo:0, o:1, dev:sdd1

Ik reboot zonder NCQ en met een power cycle, alle vier SSD's terug zichtbaar na powercycle, en het toevoegen van twee SSD's aan de set van vier na een superblock wipe, en we zijn weer vertrokken .... op eerste zicht geen data kwijt, maar de backup die ook de machines van thuis backuped is wel om zeep, dus thuis maar snel een lokale rsync in gang gestoken.

De hamvraag is natuurlijk: hoe kan in godsnaam één slechte HDD heel de sata controller (deze heeft 6 poortjes) mee om zeep trekken zodat er IO errors en latency errors komen waardoor de raid er uit knalt? Ik vind dit onaanvaardbaar.

Ik durf dus geen backup schijf meer aan de sata te hangen, gezien één dode schijf de hele controller labiel kan maken. Het is het eerste systeem waar ik dit gedrag ben tegengekomen. Workaround is de backup schijf via USB te doen, ik draai al op één server 10 jaar zo, en dit loopt goed, maar ik zou veel liever een backup schijf in één van de twee hotplug bays van de supermicro duwen.

[johan.devos]

Ik vind dit onaanvaardbaar

Dan moet je investeren in degelijke server oplossingen en geen huis tuin en keuken material gebruiken...

[johan.devos]

array of INEXPENSIVE disks

Voor zover ik weet is RAID nu de afkorting van Redundant array of independent disks waar dit vroeger inderdaad inexpensive was.

[ubremoved_539]

De hamvraag is natuurlijk: hoe kan in godsnaam één slechte HDD heel de sata controller (deze heeft 6 poortjes) mee om zeep trekken zodat er IO errors en latency errors komen waardoor de raid er uit knalt? Ik vind dit onaanvaardbaar.

Over welke SATA controller spreek je dan... zo'n onboard ding ?

Ik hoor mensen hier maar al te graag roepen dat ze geen hardware RAID controller willen... maar persoonlijk hou ik het toch daarbij.