fileserver @ home: welke config?

[[The Cleaner]]

hi kids,

Ik zou thuis een fileserver willen zetten, voor intern gebruik binnen mijn lan: zou vooral dienen om (VEEL) muziek, films, etc op te slaan.
Ik heb al veel info doorploeterd (hier+andere sites) over raid en nas etc maar geraak er maar niet goed uit voor welke config ik zou kiezen.
De eisen zijn:
- HD capaciteit: veel, om te beginnen 1 a 2 TB, later uitbreidbaar tot minstens 4 TB
- veiligheid: dataverlies door 1 falende schijf moet worden uitgesloten. -> dus best raid dacht ik zo (raid 5 leek me zowat het beste voor deze situatie?)
- snelheid: de data moet niet hypersnel gelezen/schreven kunnen worden, dus schijven van 7200 rpm volstaan zeker
- kost: zo laag mogelijk voor een toch nog kwalitatieve oplossing (als eindprijs zou ik toch indien mogelijk niet over de 1000€ willen gaan [edit: deze prijs bedoel ik voor de basisconfig met 1TB, bijkomende schijven mogen de prijs later uiteraard omhoog krikken])
- verdere hardware eisen: moet krachtig genoeg zijn om zijn fileserver rol te vervullen, maar ook niet veel meer dan dat. Er gaat geen HD content van gestreamed worden of andere toepassingen die veel kracht eisen. (behalve folding@home dan evt. )

suggesties & ervaringen etc zeer welkom

edit: gedetailleerdere prijs specs

[ubremoved_539]

Onder de 1000 euro, en je wil 2 TB netto ?

Daar heb je dus 3 x 1TB aan schijven voor nodig en dat alléén al kost rond de 900 euro. Anders heb je 5 x 750 GB nodig, en dan ben je zelfs iets meer kwijt.

Uitbreidbaar tot 4 GB... reken maar uit hoeveel disken je dan nodig hebt, en hoeveel SATA poorten dit zijn. Met 4 kom je er dus niet meer, dus aan controllers gaat het ook iets kosten (zeker als je naar hardware RAID gaat voor dergelijke aantallen).

Voor enclosures (tot 4 a 5 disken is dit betaalbaar voor een consument) kom je ook al snel aan 3 a 500 euro. Alternatief is zelfs knutselen, maar dit is zeker niet goedkoop tenzij je nog een oude PC hebt liggen (die dan nog SATA poortjes heeft eventueel, anders zie opmerking over controller).

Kortom, voor de volumes die je wil ga je heel wat meer centen kwijt zijn... gewoon al een deftige kast voor zo'n aantal disken kost reeds mooie centen.

[Goztow]

Al aan zoiets gedacht? 2 * 1 tera is wel goedkoper.

[a3ke]

Een redelijk recent sysyteemke tweedehands , makkelijk voor 200-250 € of misschien al in bezit

4-5 x 750 Gb , 480-600 € nieuw

simpel maar goede controller rocketraid 8 kanaals , 230 € nieuw

beter dan zo een landisk vind ik

[crapiecorn]

Onder de 1000 euro, en je wil 2 TB netto ?

Daar heb je dus 3 x 1TB aan schijven voor nodig en dat alléén al kost rond de 900 euro. Anders heb je 5 x 750 GB nodig, en dan ben je zelfs iets meer kwijt.

beste prijs wat ik voor een terra gezien heb is 209€
http://www.alternate.be/html/productDet ... tno=AEBW09

De rest is eingelijk spot goedkoop in de lowend markt. Buiten controller en voeding waar ik niet op zou besparen.

[ubremoved_539]

beste prijs wat ik voor een terra gezien heb is 209€
http://www.alternate.be/html/productDet ... tno=AEBW09

Ik had inderdaad snel snel gekeken en zat ergens vanachter in de 200 euro.

De rest is eingelijk spot goedkoop in de lowend markt. Buiten controller en voeding waar ik niet op zou besparen.

Een aantal kleintjes zorgen uiteindelijk ook snel voor wat centjes.

In ieder geval, voor de flexibiliteit die de TS vereist denk ik dat er weinig alternatieven zijn buiten zelf bouwen. Mits een goede selectie van onderdelen en de leverancier kan hij onder de prijs blijven.

[brooklyn]

Intel® Core 2 Duo E4500 2.2GHz, 2GB DDR2, 250GB HD, 128MB VGA shared, DVD-Writer = 359 euro

500GB, 7200U/min, 32MB Cache, 8.5ms, S-ATA II x 4 = 332 euro

4x S-ATA II intern, PCIe x4, Raid, retail 149,90

Totaal 840 Euro, nog 160 euro over voor extras

[ubremoved_539]

Intel® Core 2 Duo E4500 2.2GHz, 2GB DDR2, 250GB HD, 128MB VGA shared, DVD-Writer = 359 euro

Linkje graag... al denk ik niet dat daar plaats in is voor 5 SATA disken. Voor filesharing is het trouwens redelijk wat overkill.

500GB, 7200U/min, 32MB Cache, 8.5ms, S-ATA II x 4 = 332 euro

4 x 500 GB in RAID-5 is maar 1.5 TB... je hebt dus nog een extra disk nodig (en dus ook zo'n 80 euro).

4x S-ATA II intern, PCIe x4, Raid, retail 149,90

Kan je dus maar 4 disken op aansluiten.... voor 500 GB disken lukt het dus al niet, en naar de toekomst zit hij ook vast. Probleem is dat je dus op voorhand eigenlijk redelijk moet investeren in je controller.

Totaal 840 Euro, nog 160 euro over voor extras

Mits de opmerkingen zal hij eerder te kort komen.

[SniFManS]

Wel raid vijf is inderdaat duur maar de beste oplossing voor geen data verlies te hebben . Maar heb je al gehoord van windows home server ?
Best wel eens de moeite om dit even op te zoeken . Heb er zelf eentje bollen en ik had een raid setup vijf met 1.2 terra aan ruimte .Nu bold WHS op die server en raid ontkoppeld omdat de software een nieuwe techniek heeft die er kan voor zorgen voor duplicatie van u belangrijke files zodoende dat ze worden verspreid over meerdere hd's . Waarbij dus ook file verlies uitgesloten moet zijn . Heb er zelf geen problemen mee en die soft kan draaien op oude hardware . Minimum 1ghz cpu , 1 gig ramgeheugen en hd's zoals je wil , maakt niet uit je kan ze allemaal samen voegen in een soort pool . Heb hier zelf nu 1 raptor steken van 75 gig voor WHS en tweede partietie en dan nog vier hd's van 300 gig x 4 .

case met inhoud +- 500 euro
2 x 1 terra 400 euro

totaal 100 euro over dus nog 100 opeleggen en je kan een terra bij steken
dan kan je nog Raid vijf bouwen

[Arqentus]

Beetje rondzien in Duitsland:

http://www.hpm-computer.de/index.php?ca ... 0-GB-.html
Samsung HD753LJ 750GB: 105,90 ( tijdelijk out of stock, my fault ).

Mannen doen paypal, redelijk snelle leveringen. Iets duurder dan sommige andere winkels, maar pak gemakkelijker met paypal

Zodus 424€ voor 4...

En steek geen geld in Hardware raid. Je kan beter gewoon Linux & Software Raid erop zetten. Als je niet gaat in de 300 - 400€ range voor Hardware raid, ben je beter af met Software Raid op Linux.

Koop wel een deftig MB, met bijvoorbeeld een Intel Sata controller erop ( Via ebay voor goedkope server mb's, en andere onderdelen. Heb zo men server samengesteld ( overkill, maar koste niet veel ( enkel tijd ) ) ). Begin niet met Nvidia/Via enz, want dan ben ik zeker dat er problemen van komen.

En koop NOOIT zo een -200€ Raid kaartjes, want al te vaak zijn ze trager, en problematischer dan LinuxSoftware Raid. En het fabeltje dat Raid5 veel cpu gebruikt, was mechien waar 5 jaar geleden, maar ieder beetje modern cpu merk je niets van ( zeker als je dan nog multi core gaat voor je server ).

Intel® Core 2 Duo E4500 boxed 107,90€
Transcend 4GB Kit DDR2-800 56€
MSI P965 Platinum 99.90€ ( 6 ATA Controllers ), zijn er goedkoper, maar is maar een voorbeeld

Note: hou wel rekening, dat vaak de moederborden met ICHxR ( raid ), dat je enkel maar 4sata poorten kan gebruiken voor (semi) hardware raid ( noem het semi hardware raid omdat de xor bereking offloading gedaan wordt door de chipset, maar je moet nog altijd drivers gebruiken voor de herkenning ). M.a.w, je valt automatische terug op software raid bij 5 HD setups.

[[The Cleaner]]

- extra info (ook in start post nu): met die max ca. 1000€ bedoelde ik bij de startsituatie met 1TB, de later bijkomende schijven zullen de totaalprijs uiteraard opkrikken boven 1000€...

- windows home server is voorlopig geen optie gezien de nog niet opgeloste situatie ivm data corruption (zie http://core.tweakers.net/nieuws/52349/b ... osoft.html)

- als raid 5 opstelling dacht ik aan software raid: hardware raid wordt pas echt interessant wanneer je een (voor mij te) dure raid kaart kan steken.

- software raid: beter onder linux (ken ik nog weinig van buiten wat debian en ubuntu) of beter onder win (ben goed bekend met zowel client als server edities van windows vanaf win3.11 tot vista ultimate/server2003)? Linux zal goedkoper en beter zijn i presume? Maar als het een te helse job is om in te stellen, dan liever een iets minder performant maar wel werkend win systeem... wat raden jullie hier aan?

thanx voor de reacties al allemaal

[Arqentus]

- windows home server is voorlopig geen optie gezien de nog niet opgeloste situatie ivm data corruption (zie http://core.tweakers.net/nieuws/52349/b ... osoft.html)

- software raid: beter onder linux (ken ik nog weinig van buiten wat debian en ubuntu) of beter onder win (ben goed bekend met zowel client als server edities van windows vanaf win3.11 tot vista ultimate/server2003)? Linux zal goedkoper en beter zijn i presume? Maar als het een te helse job is om in te stellen, dan liever een iets minder performant maar wel werkend win systeem... wat raden jullie hier aan?

Windows Home Server = Do Not Touch. Te veel problemen met data corruptie.

Ik kan enkel ervaringen geven van beide:

Ik draaide vroeger origineel een Server met 4 IDE op een Win2000 server als ik me correct herinder ( met software raid 5 ). Niks! maar dan ook niets dan miserie. Traag: 8MB/s met iedere IDE op zijn eigen kanaal ( alle 4 op een gewoon kabels was 4MB/s ).

Natuurlijk, om de zoveel tijd deed de software raid 5 van windows effe lastig, en voor je het wist, was de boel vastgelopen,en kon je gans de hd's hersyncen. Geen fun werk ( als dat een uur of 20 duurde ). Gewoon opgegeven wegens de constante frustraties, en een aantal keer data verloren.

Nu draai ik Linux ( Debian ), met Raid 5 + LVM ( voor Xen ). Op de niet LVM partities, doet het 200MB+ read ( 6 HD's ), en 120MB schrijven ( met een cpu verbruik van 12% op een L5320 ( 1.86Ghz quad core ). Note: die 12% is op 1! core ). Op de LVM Xen is het ofcourse pakken trager ( 120MB read, en 45MB write ), maar LVM knalt 50% van de performance weg, en de Xen servers ook een stuk. Maar perfect doenbaar.

Server is zoals Linux beaamt, stabiel ...

Voor je gewoon huis, tuin servertje, waar je puur samba installeerde op je dom0 ( je main os dus ), is het vrij simpel hoor. Gewoon tijdens de installatie van Debian kiezen voor manueel partitie aanmaken, en ieder schrijf onderverdelen in ( enkel de basis installeren, alle andere spullen zoals desktop, apache niet installeren. Hoe minder hoe beter voor op een server. ). /boot op een Raid 1 zetten ( overkill doen, zoals ik, gewoon op iedere! schrijf je /boot raid 1 ), en de rest onderverdelen ( beetje googelen, want zijn 2 kampen over de meest ideale onderverdeling ).

Je zal verbaast zijn hoe snel je kan bijleren. Je kan enorm zalig zaken uithalen onder linux, dat je niet moet proberen onder windows ( omdat je het toch niet kunt ). Een leuk voorbeeld, ik had geen goesting om de LVM partitie die gemount was onder een Xen ( DomU ) server op te vullen op de trage methode ( wegens de performance hit van de DomU xen server op de IO ). Zodus, die DomU server plat gelegd, mount in de dom0, copy gedaan van de usb drive tegen volle snelheid, unmount, en DomU terug online. Plop.

[Sub Zero]

Ik heb hier thuis zelf een desktop/fileserver staan. Een asus commando mobo (6xSATAII), een core2duo E6600, 2GB ram en 4x500GB voor opslag. Zet daar een linuxje op en gaan! Software raid op Linux is eigenlijk poepsimpel. Je moet er echt geen guru voor zijn.

[ubremoved_539]

- software raid: beter onder linux (ken ik nog weinig van buiten wat debian en ubuntu) of beter onder win (ben goed bekend met zowel client als server edities van windows vanaf win3.11 tot vista ultimate/server2003)?

Windows 2003 software RAID-5 heeft alvast het nadeel dat je je RAID set niet dynamisch kan uitbreiden met een extra disk. Hiervoor moet je de ganse RAID set destroyen en opnieuw aanmaken (met als grootste probleem dat je ondertussen wel ergens met je data moet blijven ).

Of je kiest voor Linux of Windows hangt natuurlijk af welke andere software je wil draaien op je server... maar puur vanuit software RAID gezien is Linux veruit de beste oplossing dus.

[Styno]

Of je kiest voor Linux of Windows hangt natuurlijk af welke andere software je wil draaien op je server... maar puur vanuit software RAID gezien is Linux veruit de beste oplossing dus.

Nu ben ik natuurlijk ook pro linux en draai een vergelijkbare config, maar ik wil er toch op wijzen dat met extra software dezelfde functionaliteit op windows kan verkregen worden.. -> Veritas Software Foundation..
btw, basic (limited) edition is vrij voor thuisgebruik...

PS. onlangs een migratie gedaan naar nieuwe disken met pvmove.. W00t!!! no problem at all, filesystemen zijn zelfs online gebleven...

[SniFManS]

heb hier altijd raid vijf gehad op een asus mobo waarmee ik tot hier toe nog nooit problemen heb gehad .
Nu draai ik dus whs zonder raid en alles werkt gewoon perfect ! Dus ik ben zeer kontent en wat die data corruption betrefd daar zijn toch al enkele updates voor geweest hoor . En ik merk er niks van eerlijk gezegt

[Arqentus]

heb hier altijd raid vijf gehad op een asus mobo waarmee ik tot hier toe nog nooit problemen heb gehad .
Nu draai ik dus whs zonder raid en alles werkt gewoon perfect ! Dus ik ben zeer kontent en wat die data corruption betrefd daar zijn toch al enkele updates voor geweest hoor . En ik merk er niks van eerlijk gezegt

Toch mee opletten. Want het is vooral de combinatie tussen bepaalde programma's ( uTorrent enz ), en meerdere schrijven waarbij het misloopt.

Schrijf je je data weg / schijf? Want het probleem zit hem juist als je data over meerdere schijven laat schrijven, waarbij WHS vergeet waar de data juist is. Als je gewoon weg schrijft / schrijf, zal je idd niet veel last van hebben. MS zal de boel gefixed hebben tegen Juni of was het nu Juli gefixed hebben ( of zo claimen ze toch )... Persoonlijk vind ik dit iets wat verschillende maanden geleden gefixed moest geweest zijn.

[ubremoved_539]

Nu ben ik natuurlijk ook pro linux en draai een vergelijkbare config, maar ik wil er toch op wijzen dat met extra software dezelfde functionaliteit op windows kan verkregen worden.. -> Veritas Software Foundation..
btw, basic (limited) edition is vrij voor thuisgebruik...

Heb je weet van software voor Windows XP ook ?

Ik heb weet van een hack voor Windows XP, maar om één of andere reden werkt die niet onder Windows XP Media Center

[SniFManS]

heb hier altijd raid vijf gehad op een asus mobo waarmee ik tot hier toe nog nooit problemen heb gehad .
Nu draai ik dus whs zonder raid en alles werkt gewoon perfect ! Dus ik ben zeer kontent en wat die data corruption betrefd daar zijn toch al enkele updates voor geweest hoor . En ik merk er niks van eerlijk gezegt

Toch mee opletten. Want het is vooral de combinatie tussen bepaalde programma's ( uTorrent enz ), en meerdere schrijven waarbij het misloopt.

Schrijf je je data weg / schijf? Want het probleem zit hem juist als je data over meerdere schijven laat schrijven, waarbij WHS vergeet waar de data juist is. Als je gewoon weg schrijft / schrijf, zal je idd niet veel last van hebben. MS zal de boel gefixed hebben tegen Juni of was het nu Juli gefixed hebben ( of zo claimen ze toch )... Persoonlijk vind ik dit iets wat verschillende maanden geleden gefixed moest geweest zijn.

WHS is inderdaat nog niet uitgebreid genoeg maar ik zie er persoonlijk wel veel toekomst voor . Zo is er spraken dat er een powerpack 1 gaat uitkomen waarbij enkele updates zitten en meer uitbreiding voor whs . Dus ze gaan de goede kant uit , en zeker met de add-ins

Maar misschien beter wachten tot de V2 versie uit komt .

[[The Cleaner]]

Ik heb hier thuis zelf een desktop/fileserver staan. Een asus commando mobo (6xSATAII), een core2duo E6600, 2GB ram en 4x500GB voor opslag. Zet daar een linuxje op en gaan! Software raid op Linux is eigenlijk poepsimpel. Je moet er echt geen guru voor zijn.

lol, mijn hoofdpc is bijna exact dezelfde config: asus commando + core2duo e6600 cpu met 2 gig ocz ram. Zéér tevreden van dat asus bordje

[Sub Zero]

Inderdaad. Rock solide ding. 'k Ben der heel tevreden van.

[xming]

Met linux kan je nu ook raid8 uitbreiden. Ik ben zelf ook een aan het kijken voor meer ruimte voor mij home server, 750 zijn de goedkoopste per gig (bij alternate kan je de prijs per gig zien). Als je niet vertrouwd bent met linux kijk dan eens naar openfiler of openas (bsd) die zijn speciaal gemaakt om als NAS te functioneren, alles is te configgen via web interface.

[Sub Zero]

Met linux kan je nu ook raid8 uitbreiden.

Wat is een raid8?
Als je RAID5 bedoelt, dan kan dit inderdaad. Maar het is met vuur spelen. Als je dat ding in gang steekt is het altijd vingers en tenen kruisen en hopen dat alles goed gaat.

[Styno]

Als je RAID5 bedoelt, dan kan dit inderdaad. Maar het is met vuur spelen. Als je dat ding in gang steekt is het altijd vingers en tenen kruisen en hopen dat alles goed gaat.

Steek je md device gewoon in lvm en je hebt je flexibiliteit...

[Arqentus]

Als je RAID5 bedoelt, dan kan dit inderdaad. Maar het is met vuur spelen. Als je dat ding in gang steekt is het altijd vingers en tenen kruisen en hopen dat alles goed gaat.

Steek je md device gewoon in lvm en je hebt je flexibiliteit...

Met LVM speel je wel een deftig deel van je performance mee kwijt.

Nu, je kan een raid uitbreiden om verschillende manieren. Gewoon je raid set uitbreiden, maar dan ben je nog wel beperkt tot een HD met dezelfde grootte als je originele set ( of je dient de rest van de niet gebruikte space te gebruiken als JBOD space. Aka zonder raid ).

Vb voor de mensen die niet volgen:

[ 500GB HD 1 ] < 500GB Originele HD in Raid 5
[ 500GB HD 2 ] < 500GB Originele HD in Raid 5
[ 500GB HD 3 ] < 500GB Originele HD in Raid 5
[ 500GB HD 4 ] < 500GB Originele HD in Raid 5
[ 500GB HD 5 ] [ 250GB HD 5 ] < 750GB Nieuwe HD die bij in je raid set komt.

Dit is het effect van een bestaande raid set uit te breiden met een hogere capaciteit HD. M.a.w, die eerst 500GB zal in de Raid 5 komen, maar die 250GB is een probleem.

Of gewoon je huidige HD's upgraden. Haal één van je HD's eruit, steek de nieuwe HD erin. Resync, herhaal voor je andere HD's. En dan de nieuwe space in een nieuwe raid 5 stoppen, en voila.

Of alle data tijdelijk kopiëren naar alle pc's hun HD's, externe storage enz, en dan gewoon de server herinstalleren met de nieuwe 750GB hd's

Zijn genoeg mogelijkheden.

Een raid set upgraden is even "onveilig" als andere changes aan je raid setup.

[Styno]

Met LVM speel je wel een deftig deel van je performance mee kwijt.

Heb je daar stats van? En wat is een deftig deel? Zolang het netwerk een bottleneck is zie ik alvast geen probleem..

[Arqentus]

Heb je daar stats van? En wat is een deftig deel? Zolang het netwerk een bottleneck is zie ik alvast geen probleem..

50% zoiets. Ik was er ook verbaast van toen ik merkte hoeveel trager het ging via LVM... Testen gedaan vs de root partitie & de LVM's, en was ongeveer 50% trager. Als je de LVM's mount via een Xen subserver, dan hou je +- 33% van de snelheid over.

Nu, je merkt dat idd niet als je een 100Mbits netwerk hebt, maar als je een 1Gbits netwerk hebt, dan merk je dat wel degelijk

Een paar gegevens: Als je Raid5 + Primary Partition ( ext3 ) 130MB/s kan wegschrijven, en via LVM blijft daar nog maar 65MB/s over. Mount die LVM via een DomU ( Xen ), blijft er +- 45MB/s over.

[Styno]

Een paar gegevens: Als je Raid5 + Primary Partition ( ext3 ) 130MB/s kan wegschrijven, en via LVM blijft daar nog maar 65MB/s over. Mount die LVM via een DomU ( Xen ), blijft er +- 45MB/s over.

Ja daar verschiet ik niet van, die xen snoept er nog een stuk vanaf door emulatie... Kan je eens een paar stats posten 'hdparm -Tt <dev>' ofzo?

edit: (zelf al gedaan)

Code: Selecteer alles

[root@origami ~]# hdparm -Tt /dev/sdd

/dev/sdd:
 Timing cached reads:   4590 MB in  2.00 seconds = 2296.03 MB/sec
 Timing buffered disk reads:  220 MB in  3.01 seconds =  73.09 MB/sec
[root@origami ~]# hdparm -Tt /dev/md2

/dev/md2:
 Timing cached reads:   3440 MB in  2.00 seconds = 1720.83 MB/sec
 Timing buffered disk reads:  638 MB in  3.00 seconds = 212.46 MB/sec
[root@origami ~]# hdparm -Tt /dev/mapper/datavg-datalv01

/dev/mapper/datavg-datalv01:

 Timing cached reads:   3406 MB in  2.00 seconds = 1703.87 MB/sec
 Timing buffered disk reads:  214 MB in  3.02 seconds =  70.94 MB/sec

De winst die je (in dit geval read) maakt met de raid5 ben je weer verloren met de lvm.. Nu langs de andere kant zou ik die layer voor geen geld meer willen missen.