Moederbord home-server

[Sub Zero]

Wij draaien al een paar jaar software raid op linux dozen en nog nooit problemen gehad. Voor de windows'n doen we wel hardware raid op Areca's

[Xantos]

Hmm ik draai al euh ik denk 8 a 10 jaar software raid (begin win2k) en ik heb nog nooit problemen gehad, dat heeft al altijd perfect gewerkt.

Indien ik een nieuw moederbord in mijn pc monteerde, gewoon die hd's erin en de raid importeren, enkele seconden later kun je die al gebruiken.
Of ik ging naar een kennis en nam gewoon die raid hd's mee, koppelde die aan aan zijn moederbord en hopla importeren en alles werkt perfect.

Ik heb ook een 3ware 8poorts pci-x controller gehad, meer problemen ermee gehad dan iets anders, raid die plots verdween en alle data weg (onmogelijk om recovery te doen), zeer trage snelheden, enz....

Kan die dell perc 6 kaart ook gewoon gebruikt worden als non raid kaart, dus dat ik de software raid kan blijven gebruiken ????

[Génicus]

ik vertrouw software raid eigenlijk meer dan hardware raid. Ale je controller stuk gaat, ben je je data kwijt want alleen deze weet hoe hij deze over de schijven verdeeld heeft. Het gaat misschien wel sneller en je CPU heeft minder load. En dat zijn soms wel voordelen in een systeem waar high performance vereist wordt.

Voor de rest, ik ga waarschijnlijk ook eens upgraden binnen een paar maanden, heb alleen al die power niet nodig en ik denk dat ik een atom bordje ga zoeken met voldoende SATA poorten

[Sasuke]

@Xantos, neen dat kan niet, en dat is ook gewoon zeer onlogisch, dan kan je best gewoon een PCIe SATA Controller kopen met 4-8 poorten. En stak die 3Ware PCI-X controller ook effectief in een PCI-X slot, of gewoon in een PCI ? Heb al genoeg mensen gekend die een PCI-X controller kopen omdat dat "compatibel" was met PCI, maar ze vergeten dan wel dat de PCI bus maar 1/3de van de snelheid van PCI-X heeft ...

@Genicus, dat is onzin. Als je hardware controller defect is, kan je je raid ook gewoon overbrengen naar een andere RAID controller want bij RAID staat de informatie altijd op de disken! Ge moet alleen zien dat je je schijven in de correcte volgorde aansluit. Heb mijn raid-5 ook gewoon overgebracht van mijn oude Areca PCI-X kaart naar de nieuwe Dell Perc 5 PCIe (import foreign config).


Kanttekening, ik heb het vooral niet begrepen op onboard SATA Raid Controllers (ooit al eens RAID-5 op een onboard SATA controller gedaan, performance is gewoon om te bleiten). Software RAID implementaties onder Linux daarentegen kan ik wel smaken, maar ik blijf toch altijd een hardware raid controller aanraden. Dit omwille van performance en features.

Grtz,
Sasuke

[Génicus]

oké dan heeft men het mij fout uitgelegd .

[ubremoved_539]

waarom zo een specs voor iets dat eigenlijk relatief weinig load krijgt?

Omdat zodra je met VM's begint software RAID geen oplossing meer is (trouwens ik draai ondertussen ook al enkele jaren software RAID in W2K3 zonder eigenlijk enige probleem).

Niet alléén uitbreiden, zelfs online migratie (bv. je start in mirroring, en gaat daarna over naar RAID-5).

Volgens de documentatie... en in de BIOS Help (CTRL-R) zie je dan weer dat het niet kan. Feit is dat je hier de GUI software voor nodig hebt, volgens mij de OpenManager Server Administration (OMSA) al is het me nog niet duidelijk of dit ook voor louter PERC kaarten is of ganse DELL servers.

[joriz]

Je kan ook Megaraid storage manager gebruiken van LSI, dit is een java based tool.
Ik kan niet met zekerheid zeggen of deze tool werkt met een default Dell firmware/driver aangezien ik destijds een upgrade gedaan heb en daarna pas deze software ben beginnen gebruiken.

http://www.lsi.com/lookup/License.aspx? ... &locale=EN

[Sasuke]

Bij mijn werkt de Megaraid Storage Manager met de Dell firmware en built-in w2k8 drivers. Online expansion en migration werken, maar zitten verborgen achter het zeer rare menu: Reconstruction Wizard ...

Grtz,
Sasuke

[ubremoved_539]

Heb jij al een recente OMSA download gevonden... de link hierboven is documentatie... maar de software ?

[Sasuke]

OMSA niet, dat ga ik niet gebruiken. Gewoon de LSI Megaraid Storage Manager:
http://www.lsi.com/lookup/License.aspx? ... &locale=EN

Grtz,
Sasuke

[ubremoved_539]

Ondertussen bezig met XenServer...

ESXi 4.1 proberen te installeren, maar zoals verwacht gaf dat een foutmelding.

[Ken]

Heb hier een RocketRaid 2740 in test met 16 x WD20EURS schijven van 2TB. Draait onder Windows 7 Pro x64 (op 2 aparte WD WD6401AALS schijven in RAID1 op onboard controller).
http://www.highpoint-tech.com/USA_new/series_rr2700.htm

Works like a charm!

Zal later eens benchmarks posten.

[ubremoved_539]

Ik geraak er niet uit met m'n VM in Xen...

1. fdisk -l, zie Disk /dev/sdb doesn't contain a valid partition table
2. xe host-list voor de uuid
3. xe sr-create host-uuid=xxxxxxx content-type=user type=lvm device-config:device=/dev/sdb shared=false name-label="VM Storage 1"

Hierna kreeg ik in m'n linker pane de "VM Storage 1" erbij, echter in het rood (na een herstart van Xen was dit in orde). Het probleem is nu echter dat wanneer in een VM tracht aan te maken ik uiteindelijk bij Storage kom in de wizard, maar daar toont hij "VM Storage 1"... echter met de disk size van m'n Xen install (de "Local storage" in de left-pane) welke 24 GB is ???

Indien ik een add doe, dan kan ik een virtual disk aanmaken... wat ik dan ook doe in m'n "VM Storage 1" (die die wel matched met de effectief size), maar daarna zie ik in m'n overzicht van storage voor de VM tweemaal "VM Storage 1", éénmaal met 24GB en éénmaal met 64 GB. Voor beide staat ook een geel "!" ???

Ergens doe ik vermoedelijk iets fout, maar wat ?

[Xantos]

@Xantos, neen dat kan niet, en dat is ook gewoon zeer onlogisch, dan kan je best gewoon een PCIe SATA Controller kopen met 4-8 poorten. En stak die 3Ware PCI-X controller ook effectief in een PCI-X slot, of gewoon in een PCI ? Heb al genoeg mensen gekend die een PCI-X controller kopen omdat dat "compatibel" was met PCI, maar ze vergeten dan wel dat de PCI bus maar 1/3de van de snelheid van PCI-X heeft ...
Grtz,
Sasuke

De kaart zat wel degelijk op een pci-x poort, het was een server moederbord met 4 pci-x poorten (er zat ook een gigabit pci-x netwerkkaart op), was indertijd een dual cpu opstelling ( 2cpu's op het moederbord), ik spreek wel van een 6-7 jaar terug (kan ook ouder zijn).
Jaren gezocht om het beter te laten werken, ten slotte dan maar gestopt met zoeken, de kaart/moederbord/cpu's/rams liggen hier nog altijd, wel met massas stof erop

Waarom ik indertijd ook liever software raid had dan hardware raid was ook een beetje wat genicus zei, om de data niet te verliezen die erop stond, ik heb verschillende pci kaartjes en moederborden met raid onboard gehad die sneuvelden en toen kon je geen vreemde raid importeren/herstellen met een andere kaart of moederbord, zelfs hetzelfde merk/type.
Ik had zelfs als test eens 2 kaartjes laten afkomen, config gemaakt op eerste kaart, wat data opgezet, kaart eruit en andere kaart erin, data weg.
Vroeger stond de raid config op het kaartje.

Ik ben al een tijdje niet meer echt bezig met dit soort zaken en ik ben blij om te horen dat het nu wel mogelijk is om een config in te lezen als je kaart stuk is, maakt het een stuk makkelijker en beter om te werken.

Een mens zou dan al eens overschakelen, zeker met die goedkope prijs van dat dell perc 6 kaartje.
Zou lekker werken zijn, 8x2tb erin.

Is het ook mogelijk om 2 verschillende raid configs te maken met die kaart dus 2x4 hd's in raid 5 (6)

[ubremoved_539]

Ergens doe ik vermoedelijk iets fout, maar wat ?

De 24GB die hij voorstelde bij het aanmaken van m'n VM was wel degelijk in de correct "VM Storage 1"... maar het was louter een voorstel. Gewoon via properties aangepast naar 64GB, en dan maakt hij daar dus impliciet een virtual disk van. Ondertussen is m'n VM aan het installeren...

Is het ook mogelijk om 2 verschillende raid configs te maken met die kaart dus 2x4 hd's in raid 5 (6)

Ja, al is er normaal geen reden voor denk ik, behalve bij verschillende disk sizes. Ik ga voorlopig trouwens 2 x 750 GB en 3 x 2TB gebruiken.

Het enige wat in mijn opzicht een beetje raar is (maar ben nog volop aan het spelen met m'n condig), is dat je het RAID level op de Virtual disks aangeeft, en niet op de physical disks.

[ubremoved_539]

Ondertussen W2K8 actief in een VM... eerste disk benchmark geeft 175 MB/s vanuit de VM.

Nu de vraag of ik vanuit die VM aan m'n RAID controller geraak... want in die VM zie ik natuurlijk geen PERC maar heb ik louter geemuleerde disks. In de device manager zie ik wel een SCSI controller met geel ! staan (zou dit de PERC kunnen zijn ?).

Update: Nope... no servers found in de LSI Megaraid storage manager

[Sasuke]

r2504, vanuit een VM kan je niet aan je fysieke hardware ..

Wat betreft het feit je het raid level instelt op de virtual disks is een voordeel wanneer je met grotere aantallen disks werkt. Dan kan je 1 virtual disk maken van bvb 10 disken, en daarin verschillende volumes met verschillende raid levels (HP doet dat ook op hun EVA Storage SAN)

Grtz,
Sasuke

[ubremoved_539]

r2504, vanuit een VM kan je niet aan je fysieke hardware ..

De SCSI controller die in error staat is na het installeren van Windows 2008 updates trouwens een "Citrix PV SCSI Host adapter" geworden, echter de LSI Megaraid lukt nog steeds niet vanuit m'n VM. Ik zal dus iets bootable's moeten maken met daarop de LSI Megaraid...

Trouwens wat haal jij via HDTune als benchmark zonder VM ?

Dan kan je 1 virtual disk maken van bvb 10 disken, en daarin verschillende volumes met verschillende raid levels

Op de PERC is een virtual disk (VD) het niveau waarop je RAID aangeeft (volumes heb je daar dus niet - eigenlijk zijn dat in Xen je virtual disks denk ik, maar daar heb je dus geen enkel besef meer van onderliggende hardware, laat staan RAID of niet).

[ubremoved_539]

Online expansion en migration werken, maar zitten verborgen achter het zeer rare menu: Reconstruction Wizard ...

Waar zie jij dat ? Ik zie in de LSI Megaraid GUI eigenlijk maar identiek als via de CTRL-R ?

Zoals je in de bijlage kan zien, momenteel dus twee disks initieel geconfigureerd, en later een derde extra (staat nog unconfigured). Bedoeling is nu dus van RAID-1 naar RAID-5 te gaan.

BOOT is trouwens men XenServer (waarschijnlijk kan ik die VD ook heel wat kleiner maken), VM1 waarop m'n W2K8 test VM staat en RAID die waarop ik eveneens even W2K8 heb geinstalleerd (tijdelijk laten booten vanaf deze VD) met hierin de LSI MegaRAID software zodat ik direct access op de RAID controller heb.

Heb trouwens ook even HDTune geinstalleerd op de "RAID" VD... en daar haal ik 133 MBs... terwijl dit in de VM via XenServer dus zo'n 170 MBs was ?

[Sasuke]

Op de virtualdrive zelf (in logical mode) met de rechtermuisknop klikken ==> advanced operations ==> reconstruction wizard.

Heb ondertussen gemerkt dat de RAID performance eigenlijk niet zo heel goed is (max. 120mb/sec in read, write is slechter, maar da's vooral door het ontbreken van de BBU natuurlijk). Blijkbaar staat het PCIe x16 slot ingesteld op x1 i.p.v. x8 of x16 ... is blijkbaar ook een gekend issue, dus dit moet ik nog wat troubleshooten. Je kan dit checken met bijvoorbeeld Aida64.

Grtz,
Sasuke

[ubremoved_539]

Op de virtualdrive zelf (in logical mode) met de rechtermuisknop klikken ==> advanced operations ==> reconstruction wizard.

Nope, niet bij mij Heb ondertussen een firmware upgrade gedaan naar 6.3.0-0001, echter zonder resultaat.

[Sasuke]

Straf, bij mij dus wel ... en normaal zou dat met de PERC 6/i ook moeten werken, of het moest al zijn dat je een 6/iR hebt ... dan niet.
Als je op de virtual disk klikt (niet de array he) dan heb jij geen rechtermuisklik menu met Advanced Operations ? Want dat zou er altijd moeten zijn want daar zitten ook de repair/recovery options.

Zie screenshot.

Grtz,
Sasuke

[ubremoved_539]

Gevonden... kan alléén als je maar één Virtual Disk hebt

Ik kan eigenlijk niet meer volgen nu... stel je hebt RAID-1 met 2 x 2TB (netto 2 TB dus) en hierin 1 VD van 2 TB... als je dus een disk bij steekt kan je deze migreren naar RAID-5, maar het volume blijft dan toch behouden ? Maw. om die 2 TB extra (4 TB netto) te gebruiken moet je dus een nieuw volume aanmaken wat op zich geen probleem is... maar dan ben je gezien als je later een 4e disk wil toevoegen ?

Trouwens ik vond het concept van VD's net zo handig... en nu ben ik dan plots verplicht één grote VD te maken Hoe ik hiemee moet omgaan bij VM setups is me al helemaal onduidelijk (was net bezig met het idee 1 VD voor de hypervisor, 1 VD voor de VM's, en nog VD's voor de data).

Hoe plan jij dit eigenlijk ?

[Sasuke]

Ik maak 1 grote VD, en maak dan volumes aan in het OS zelf. Dit op de RAID controller doen is niet flexibel genoeg (zoals jij nu ondervind). Meerdere VD's is handig voor grote diskarray's, maar niet voor servers.

In jouw geval van 2x 2Tb in RAID-1 en je steekt er eerst 1x 2Tb bij, migreert naar RAID-5 en later nog eens 2Tb erbij. Dan vergroot je gewoon je VD en extend je je volume(s) in je OS of je maakt volumes bij. Onder linux met LVM is dat zeer eenvoudig en analoog met raid controller volume terminologie(physical volume, logical volume). Onder windows is het aangemaakt met enkele muisklikken in de disk manager.

Ik hou mijn VD's/Volumes op de RAID controller dus gelijk aan de Array sizes en de rest doe ik in het OS. Meerdere VD's is handig als je met verschillende raid levels wil werken op 1 diskarray.

Grtz,
Sasuke

[ubremoved_539]

Gewoon de VD extenden... mmm... 18 minutes to go en dan zullen we eens zien of dat lukt.

Ondertussen lijkt Hyper-V mij trouwens toch stilaan de betere optie te worden, vooral omdat je vanaf daar wel hardware access op de RAID-controller hebt voor dergelijke maintenance tasks (en vooral om de monitor te laten draaien voor wanneer je failures hebt). Vanuit een VM heb je die access niet, en weet je dus eigenlijk ook niet of er iets fout is met je RAID setup.

Eén van de volgende oefeningen zal dan ook zijn een physieke W2K3 server te migreren naar een Hyper-V VM (tenzij ik alles tijdens een weekendje kan doen)... en dit alles via een intermediare storage (ik moet de physieke server namelijk afbreken om de nieuwe op te bouwen). Ben al eens aan het kijken wat er aan gratis tools is om zoiets voor elkaar te krijgen (misschien via een omweg met VMWare, ttz. physiek naar .vmdk, dan .vmdk naar .vhd)

[ubremoved_539]

Gewoon de VD extenden... mmm... 18 minutes to go en dan zullen we eens zien of dat lukt.

Mmm... hij doet dat automatisch... maar slechts tot het dubbele (initieel had ik zo'n 97 GB, nu dus 195 GB).

Ik heb nu dus nog zo'n 3.4 TB free space... en zie niet meteen hoe ik die 195 GB kan extenden (de reconstruction wizard laat me toe het RAID level aan te passen, alsook een disk te removen... maar that's it).

Update: Zou dit misschien zijn omdat de originele VD niet gelijk was aan de PD ?

[Sasuke]

Klopt ... hij past de VD aan naar de RAID size. Je bent dus beter af van nu te beginnen
En draaiende server overzetten naar een .VHD is vrij eenvoudig en bestaan wel wat tools voor. De beste vind ik nog altijd Disk2VHD van microsoft/sysinternals.

Hiermee maak je gewoon een .vhd aan van een bestaande server terwijl je die nog gebruikt (je kan schrijven naar een netwerkshare bvb) en dan kan je ze zelfs naast elkaar draaien als je wil.

Grtz,
Sasuke

[ubremoved_539]

Prima tooltje... m'n oude server draait al onder Hyper-V

Het geeft alvast de nodige migratie mogelijkheden (maar eerst enkele dagjes verlof).

[Génicus]

Ik heb ook het virus tepakken en ga een nieuwe server in elkaar bouwen, ook virtualised. Waarom hebben jullie voor Hyper-V gekozen en niet voor XenServer of ESXi?

[ubremoved_539]

Lees de thread zou ik zeggen, ik denk dat er diverse opmerkingen in staan, maar als samenvatting;

- XenServer: geen rechtstreekse access tot the RAID controller, dus ook geen monitoring van failed disks ed.
- ESXi: enorm kieskeurig wat betreft supported hardware (en misschien ook hetzelfde issue met de RAID controller)

De HDD performance in XenServer leek me wel véél beter dan in Hyper-V. Trouwens m'n keuze is nog niet echt gemaakt, voorlopig is het dus nog volop experimenteren, misschien probeer ik ESXi alsnog aan de praat te krijgen op m'n huidige hardware.

[Sasuke]

De HDD performance in XenServer leek me wel véél beter dan in Hyper-V. Trouwens m'n keuze is nog niet echt gemaakt, voorlopig is het dus nog volop experimenteren, misschien probeer ik ESXi alsnog aan de praat te krijgen op m'n huidige hardware.

Klopt, Xen is op dat punt zeer goed aangezien je daar geen virtualisatielaag voor gebruikt. Een XenVM is gewoon een partitie rechtstreeks in de HyperVisor. Maar bij mij haal ik toch nog +/- 210Mb/sec READ en 195Mb/sec WRITE in een HyperV VM. Dit wel pas na het versteken van m'n PERC in een ander slot omdat ik anders maar PCIe 1x snelheid kreeg (toen bleef die steken op maximaal 125Mb/sec READ en +/- 90Mb/sec WRITE)

Grtz,
Sasuke

[ubremoved_539]

Klopt, Xen is op dat punt zeer goed aangezien je daar geen virtualisatielaag voor gebruikt.

Nochtans wordt de RAID controller daar ook gevirtualiseerd... de Management software kan hem namelijk niet vinden.

[Génicus]

ik heb ook eens gekeken naar Proxmox, ik denk dat het deze gaat worden bij mij. Heel erg simpel, snel, flexibel, een schitterend forum waar een van de developers zelf support geeft

[Sasuke]

ik heb ook eens gekeken naar Proxmox, ik denk dat het deze gaat worden bij mij. Heel erg simpel, snel, flexibel, een schitterend forum waar een van de developers zelf support geeft

Laat ons iets weten wat je ervan vind, mij lijkt het op het eerste zicht helemaal niet interessant

[Sasuke]

Klopt, Xen is op dat punt zeer goed aangezien je daar geen virtualisatielaag voor gebruikt.

Nochtans wordt de RAID controller daar ook gevirtualiseerd... de Management software kan hem namelijk niet vinden.

Nee, je RAID controller word NIET gevirtualiseerd. XEN gebruikt het onderliggende OS/HyperVisor voor I/O naar het storage subsysteem. Dat is ook een van de redenen waarom je je RAID controller niet kan beheren in een VM, die word zelfs niet gebruikt.

mvg,
Sasuke

[ubremoved_539]

Misschien wel een leuke oplossing, al tracht ik in eerste instantie ook added value te creeren voor mezelf door een industry leading solution te gebruiken (en er dus ervaring mee op te doen). In dat opzicht geniet ESXi eigenlijk de voorkeur, alsook Hyper-V (rond Microsoft kan je nu éénmaal niet rond) en XenServer. Het feit dat deze drie dan ook nog gratis zijn maakt de keuze voor OpenSource misschien wat minder voor de hand liggend.

[ubremoved_539]

Nee, je RAID controller word NIET gevirtualiseerd. XEN gebruikt het onderliggende OS/HyperVisor voor I/O naar het storage subsysteem.

En wat is dan het verschil met ESXi of Hyper-V (al is die laatste geen hypervisor pur-sang) ?

[Génicus]

Ik vind het eigenlijk een voordeel dat je guest OS er niets van merkt. Zo kan het acties kan ondergaan trekken (shutdown of crash of iets gelijkaardig)

[ubremoved_539]

Verklaar je nader... bij ESXi, XenServer of Hyper-V kunnen de VM's ook crashen/herstarten/stoppen zonder dat het "guest OS" er iets van merkt. Eigenlijk is het de bedoeling zelfs helemaal geen "guest OS" te hebben, maar louter een pure hypervisor.

[Génicus]

mja, dat kunnen ze inderdaad doen, maar ik had het over het feit dat als je guest os doorheeft dat er iets is met de raid controller (disk valt uit) er een reden meer is om ergens een probleem van te maken.
En van zodra je begint te virtualiseren spreek je toch automatisch over een guest os? Je hebt steeds een laag tussen het functionele OS (zoals Ubuntu server, Windows Server 2008, ...) en je hardware; nl de hypervisor? Of heb ik het hier fout?