Userbase

Onlangs een raid-kaart 2e hands gekocht waarop ik nu 8 schijven van 3 TB heb zitten in Raid-5 mode, maar ondanks verwoede pogingen lukt het me niet om de juiste instellingen te kiezen en vallen de schrijf- en leessnelheden tegen. De snelheid zakt tijdens testen via een SSD aangesloten op het MB. Welke instellingen kies ik best om als file-server te dienen.

instellingen voor :

write policy : write throught, always write back, write back
read policy : no read ahead, always read ahead
i/o policy : cached iO, Direct IO
disk cache policy : unchanged, enable, disable

De raid kaart was geleverd zonder extra mudules

eventueel advies en een woordje uitleg zou handig zijn.

dank je,

Run eens een benchmark met CrystalDiskMark (1GB filesize). Welk type controller is het?

En is de batterij van de controller nog goed... hangt er trouwens een batterij aan ?

https://www.broadcom.com/products/stora ... i#optional

Zonder batterij. Gaat dat de oorzaak zijn ?

-----------------------------------------------------------------------
CrystalDiskMark 6.0.1 x64 (C) 2007-2018 hiyohiyo
Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

Sequential Read (Q= 32,T= 1) : 383.164 MB/s
Sequential Write (Q= 32,T= 1) : 759.043 MB/s
Random Read 4KiB (Q= 8,T= : 11.680 MB/s [ 2851.6 IOPS]
Random Write 4KiB (Q= 8,T= : 3.601 MB/s [ 879.2 IOPS]
Random Read 4KiB (Q= 32,T= 1) : 11.005 MB/s [ 2686.8 IOPS]
Random Write 4KiB (Q= 32,T= 1) : 3.089 MB/s [ 754.2 IOPS]
Random Read 4KiB (Q= 1,T= 1) : 7.219 MB/s [ 1762.5 IOPS]
Random Write 4KiB (Q= 1,T= 1) : 3.308 MB/s [ 807.6 IOPS]

Test : 1024 MiB [D: 76.5% (14969.2/19558.0 GiB)] (x5) [Interval=5 sec]
Date : 2018/08/05 17:19:37
OS : Windows 10 Professional [10.0 Build 17134] (x64)

Zonder batterij is de performance inderdaad heel wat minder (omdat hij dan geen enkele caching toelaat).

Ik heb zelf trouwens een LSI 9266-8i.

ik merk deze fout op

Controller ID: 0 BBU disabled; changing WB logical drives to WT, Forced WB VDs are not affected

wat wil dit juist zeggen in mensentaal ,
ik denk changing "write back" Logical drives to Write Through, forced Write back Virtual drives are not affected

instellingen zijn disk cache policy : unchanged
read policy : always read ahead
i/o policy : cached IO
current write policy : write back

ik neem aan dat hij de caching dan wel doet op virtual drive niveau, maar ik merk ook op dat ik de disk caching niet kan enable-en, hij springt automatisch naar unchanged. Ik neem aan dat dat caching is die de HDD voor zijn rekening neemt en de write en read policy iets is dat de controller doet.

ik merk ook op dat 35 procent gefragmenteerd is. Kan het helpen als ik dit oplos, of gaat de disk cache policy wel lukken als ik een BBU heb ?

Edit : het is me gelukt om disk caching in te schakelen en de write policy op always write back te plaatsen. De snelheid is nu beter bij random lees en schrijf opdrachten.

-----------------------------------------------------------------------
CrystalDiskMark 6.0.1 x64 (C) 2007-2018 hiyohiyo
Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

Sequential Read (Q= 32,T= 1) : 201.042 MB/s
Sequential Write (Q= 32,T= 1) : 129.657 MB/s
Random Read 4KiB (Q= 8,T= : 152.186 MB/s [ 37154.8 IOPS]
Random Write 4KiB (Q= 8,T= : 105.288 MB/s [ 25705.1 IOPS]
Random Read 4KiB (Q= 32,T= 1) : 150.699 MB/s [ 36791.7 IOPS]
Random Write 4KiB (Q= 32,T= 1) : 104.292 MB/s [ 25461.9 IOPS]
Random Read 4KiB (Q= 1,T= 1) : 25.988 MB/s [ 6344.7 IOPS]
Random Write 4KiB (Q= 1,T= 1) : 30.998 MB/s [ 7567.9 IOPS]

mailracer schreef:ik merk ook op dat 35 procent gefragmenteerd is. Kan het helpen als ik dit oplos

Waar zie je dat precies... ik kan me niet inbeelden dat ik dat al ergens heb zien staan.

Welke software/versie gebruik je precies voor je beheer ?

mailracer schreef:of gaat de disk cache policy wel lukken als ik een BBU heb ?

Ja.

mailracer schreef:Edit : het is me gelukt om disk caching in te schakelen en de write policy op always write back te plaatsen. De snelheid is nu beter bij random lees en schrijf opdrachten.

Zonder BBU loop je hier wel het risico je RAID set corrupt te maken bij een stroom panne (tenzij je een UPS hebt en je shutdown procedure netjes werkt) !

r2504 schreef:

mailracer schreef:ik merk ook op dat 35 procent gefragmenteerd is. Kan het helpen als ik dit oplos

Waar zie je dat precies... ik kan me niet inbeelden dat ik dat al ergens heb zien staan.

onder schijfbeheer van windows (eigenschappen disk - extra)

voor een stroompanne maak ik me niet direct druk en ik kan hem eventueel bij op de UPS plaatsen. Ik moet wel nog zien of ik hier genoeg capaciteit voor heb. De server staat nu ook niet continu aan en dient voor back-up van een synology nas die wel op ups werkt. Ik moet de juiste opstelling nog zoeken, maar tracht de opslag snelheid wat te verbeteren. ook bij schrijfopdrachten via 1 Gbit netwerk zakt de snelheid vaak naar 60 MByte, terwijl de aanvoer van data wel optimaal is.

de veiligste instelling is idd de caching uit te zetten en het volume te defragmenteren. Maar alsnog voor wat backup-opslag maakt het niet zoveel uit.

even verder gaan op de RAID-kaart. Ik heb inmiddels de boosdoener gevonden van de tegenvallende prestaties. Een van de schijven had tegenvallende prestaties en een waarschuwing onder S.M.A.R.T bij raw-read error rate . niet onder de software van de kaart, wel bij crystaldiskinfo. Er verschenen wel fouten over deze schijf die leken op slechte sectoren, maar nooit heeft de software een opmerking gemaakt dat het volume gedegradeerd was.

Maar tijdens het controleren van de prestaties viel me op dat de defragmentatie opgelopen was tot 34 %, na defragmentatie met de defrag-tool van windows kwam dit uit op 20 procent. Nu, zelf bij 20 procent geeft hij aan dat defragmentatie niet nodig is. Een andere defragmentatietool, nmlk defraggler kleurt bijna volledig rood bij verificatie.

Daarom mijn volgende vraag, is defragmentatie nodig bij een raid5 opstelling en NTFS partitie, of niet. En welke tools gebruik ik daar best voor ?

ervaring iemand ?

Defragmentatie is voor mij geleden uit het FAT tijdperk... nooit meer gedaan op een NTFS volume.

Ik heb even Crystal disk info getest maar die zegt... Disk not found

r2504 schreef:Ik heb even Crystal disk info getest maar die zegt... Disk not found

Crystaldiskinfo kan geen raid opstelling testen, wel de schijven individueel als je ze eruit haalt en via een docking test.

de schijf is vervangen en alles werkt nu naar behoren. defragmenteren zal ik maar laten voor wat het is. dank voor de info trouwens

mailracer schreef:Crystaldiskinfo kan geen raid opstelling testen, wel de schijven individueel als je ze eruit haalt en via een docking test.

Tja, dan test je een schijf gewoon los... heeft weinig zin lijkt me... hoe kom jij dan aan die verschillen ?

het is toch logisch dat als 1 schijf van je raid opstelling een minder goede prestatie heeft, dat je hele volume er last van ondervind. Het is omdat ik een enkele keer per dag een informatieve waarschuwing kreeg voor de vijfde schijf dat ik deze apart heb getest. Crystal disk info gaf een waarschuwing aan. En dus leek vervangen een oplossing in de goede richting. ik kijk vanavond of ik de schijf nog eens kan testen om je meer info te geven over de fouten en de statistieken.

Zijn er geen instellingen voor stripe size? Dat kan ook nog wel eens invloed hebben, afhankelijk van de gemiddelde grootte van de bestanden erop. Ik denk wel dat je om dat te veranderen heel het volume terug moet opbouwen.

Het is ook niet zo abnormaal dat de snelheid inzakt in de loop van de test: eens de cache vol is bijvoorbeeld gaat alles trager...

Verder is het zo dat niet elke raid kaart (vooral de goedkopere) even snel is: doet deze de berekeningen via een processor op de kaart zelf, of via een driver op de cpu? Dit tweede is meestal een pak trager (wegens veel io-overhead enzo). "volledige" Soft-raid onder linux (dm-raid) is dan dikwijls zelfs sneller dan de soms inefficiente drivers van die kaarten...
Je geeft geen info over het type kaart en het gebruikte os

het is een LSI megaraid sas 9271-8i kaart onder windows 10 PRO met megaraid storage manager versie 17.05.00.02. er hangen acht 3TB schijven aan van seagate, waarvan 4 uit de recentere ironwolf reeks en 4 oudere barracuda schijven. Strip size staat op 256 KB. eerder default gekozen.

info over de defecte schijf waarvan in de raid manager geen fouten gaf, wel eens een melding in de logs nu en dan.

Controller ID: 0 Unexpected sense: PD
= Port 4 - 7:0:5No addtional sense information, CDB = 0x88 0x00 0x00 0x00 0x00 0x01 0x4a 0x02 0x8c 0x00 0x00 0x00 0x02 0x00 0x00 0x00 , Sense = 0x72 0x03 0x11 0x00 0x00 0x00 0x00 0x0c 0x00 0x0a 0x80 0x00 0x00 0x00 0x00 0x01 0x4a 0x02 0x8c 0x10

lijkt me een goede raid kaart - echte hardware raid. Toch npog 1 opmerking als je write cache zonder batterij gebruikt: bij stroomuitval kan een raidvolume dan soms zo corrupt geraken dat je alle gegevens verliest... Het komt zelden voor, maar het kan!

Defragmentatie van een raid volume lijkt me niet zoveel zin te hebben: de raidkaart bepaalt toch wat op welke schijf waar terechtkomt, wat windows "ziet" over de locatie van datablokken is dus toch niet "juist". Veel van die dingen doen dat soort onderhoud ook tijdens "stille momenten" zelf.

De default stripe size is meestal wel goed, als je echter weet dat je heel veel heel grote bestanden gaat opslaan kan je die wat groter nemen, en kleiner bij heel veel kleine bestanden.

Op basis van de meldingen in de log was de schijf met foutmeldingen vervangen een goed idee, op basis van mijn ervaringen met servers gaat die meestal wel echt stuk enige tijd nadat dit soort meldingen met regelmaat opduiken.

Je moet ook in het achterhoofd houden dat dit soort kaarten gemaakt zijn voor meer zakelijke loads, waarbij je meer requests tegelijk hebt etc, wat je dus in een thuissituatie veel minder gaat hebben. Dat zie je ook in de benchmark (Q=1 is veel lager).

mailracer schreef:megaraid storage manager versie 17.05.00.02.

Heb je daar soms een download link van... ik zit nog op 16.

r2504 schreef:Heb je daar soms een download link van... ik zit nog op 16.

https://www.broadcom.com/support/download-search

ik heb het via deze weg gevonden. Als het niet lukt, dan kan ik deze wel bezorgen via DL-link.

EDIT : gevonden

https://docs.broadcom.com/docs/17.05.00 ... ws_MSM.zip

als je wat meer updates zoekt voor jouw kaart, dan kan je hier eens kijken.

https://www.broadcom.com/products/stora ... #downloads