VmWare / KVM & VPN en de security van het beheer ervan

[ubremoved_2964]

Ik draai momenteel nog een oude VmWare server 2.0 op een totaal verouderde P4 supermicro met 2 GB ram die op CentOS 5.X draait. Deze draait al sinds 2007 vlot 2 VM's, en op de host draai ik ook nog een VPN server en een rsnapshot backup. Daar zitten momenteel een tiental vpn clients op. Via deze VPN geraak ik ook op de mgt interface van vmware, en welke vpn client aan wat mag kunnen wordt bepaald door een iptables firewall.

Ik heb recent een XEON supermicro aangekocht van Tim, en heb nu 32 GB ECC ram in order. Bedoeling is uiteraard de oude vm's te moven naar de nieuwe server.

Er zijn dus twee pistes:

Piste 1: alles op de laatste vmware vSphere Hypervisor hosten
Piste 2: centOS of andere linux distro met KVM

Voordelen vmware:
- makkelijke import bestaande vm's

Nadelen vmware:
- vpn draaien op vm, en extra hardware nodig om aan de management interface veilig te kunnen (ik wil de mgt interface niet direct op internet exposen)
- geen software raid?

Voordelen KVM:
- bestaande setup kan behouden worden, dus host doet VPN en backup

Nadelen KVM:
- import VM's uit vmware server 2.0 is geen plug and play?

Feedback welkom!

[ITnetadmin]

Is Xenserver hypervisor geen optie nr 3?

Ik betwijfel idd dat gelimiteerde hypervisors als xenserver en vmware softwarematig raids aankunnen.
Die zijn gemaakt om op zwaardere systemen te werken die toch meestal professioneel genoeg uitgerust zijn.

Dat gezegd snap ik het nut niet echt van een raid op een VM server?
Snapshots nemen en extern saven, of de hele VMdisk vanaf iscsi ofzo runnen.

Voor mij: data storage = raid; VM systems = no raid (tenzij raid0).

[ubremoved_2964]

Is Xenserver hypervisor geen optie nr 3?

Ik betwijfel idd dat gelimiteerde hypervisors als xenserver en vmware softwarematig raids aankunnen.
Die zijn gemaakt om op zwaardere systemen te werken die toch meestal professioneel genoeg uitgerust zijn.

Dat gezegd snap ik het nut niet echt van een raid op een VM server?
Snapshots nemen en extern saven, of de hele VMdisk vanaf iscsi ofzo runnen.

Voor mij: data storage = raid; VM systems = no raid (tenzij raid0).

Ik ben geen fan van hardware raid, gezien dat bijna nooit portabel is, en elke raid heeft zijn eigen mgt interface. mdadm is éénmaal een leercurve, maar ken de tool bijna vanbuiten ..... en ja die zwaardere systemen hangen af van iscsi, san en hardware raid. Maar daar is het net niet om te doen, het gaat om een low cost oplossing die ocharme een vm of twee drie moet draaien maar liefst zo stabiel mogelijk.

[ubremoved_539]

Nadelen vmware:
- vpn draaien op vm, en extra hardware nodig om aan de management interface veilig te kunnen (ik wil de mgt interface niet direct op internet exposen)

Zo'n dingen horen wat mij betreft thuis op een firewall... niet op je host.

Ik ben geen fan van hardware raid, gezien dat bijna nooit portabel is, en elke raid heeft zijn eigen mgt interface

Als je gaat naar deftige hardware RAID controllers kan je je disken gewoon aan recentere controllers hangen en zelfs van andere merken.

Het is dus maar wat je verstaat onder portabel... ik heb hier op Userbase.be ook een XEON server aangeschaft en het eerste wat ik gedaan heb is de HBA vervangen door een echte RAID controller en er ESXi 6 op gezet. Best tevreden van en geen gedoe met speciale constructies rond software RAID.

[ITnetadmin]

Ik vind gewoon geen nut in het gebruik van raid op een hypervisor; dat was mijn punt.
Neem regelmatig een snapshot en zet die op een backup nas ofzo?

De mgmt interface van het internet afhouden... Dat kan je via xenserver wel denk ik, door bij de config die gewoon op een vlan te steken die geisoleerd is. VMware zal dat ook wel kunnen. Beste oplossing is zoiezo een bak met minstens 2 netwerkaansluitingen.

Btw, vmware is veeeeeel beperkter in console dan xen, waar je toch ook dingen als het aanzetten van VMs enzo vanop de console kan runnen.
KVM draait natuurlijk een volle linux naast de hypervisor, dus die is het meest advanced qua console.

[ubremoved_2964]

Oude setup:

- publiek IP van de HOST enkel bereikbaar vanaf één enkel ander IP via SSH voor in geval de openvpn zou wegvallen (gebeurt bijna nooit)
- enkel openvpn poort staat open vanaf internet, alle andere poorten enkel via VPN

Management van vmware gebeurt dus doorheen de VPN. Om de host meer secure te maken, zou ik de vpn naar een vm kunnen moven, en dan de host beheren via SSH, maar dan beperkt vanaf een select aantal source IP's via iptables. Dankzij SSH kan o.a. x windows doorheen de SSH tunnel duwen, waaronder de typische grafische kvm tools.

De host loopt dan twee VM's die in bridge staan met eth0 en klaar.

Met KVM is deze setup bijna 1:1 dupliceerbaar.

[ITnetadmin]

Het zal er idd van afhangen tot welke configs de console OS van de hypervisors in staat zijn.
En bij KVM, die een volle linux als console OS draait, zal dat naw het meest flexibel zijn.

Speaking of, kan je bij KVM de VPN niet gewoon op de console OS installeren?

[ubremoved_539]

Ik vind gewoon geen nut in het gebruik van raid op een hypervisor; dat was mijn punt.
Neem regelmatig een snapshot en zet die op een backup nas ofzo?

Mijn VM's zijn ook storage servers... dus RAID is wel degelijk een noodzaak voor mij.

Als je natuurlijk in de VM's zelf geen storage hebt maar gebruik maakt van een NAS (via iSCSI of zo) dan heb je misschien geen RAID nodig al is gans je VM setup dan ook weg bij een disk failure wat ik niet heb. Ik heb trouwens lang gedacht m'n storage apart te houden maar dan zit je met een bottleneck van 1 GBps (of eventueel 2) tussen VM en NAS wat ik ook niet echt ideaal vond.

- publiek IP van de HOST enkel bereikbaar vanaf één enkel ander IP via SSH voor in geval de openvpn zou wegvallen (gebeurt bijna nooit)
- enkel openvpn poort staat open vanaf internet, alle andere poorten enkel via VPN

Lijkt me gewoonweg not-done... servers publiek op internet hangen (ongeacht welke filtering erop zit)... dus ook openvpn naar de firewall/router, en niet meteen naar de host (in de bedrijfswereld moet je daar niet mee afkomen).

[ubremoved_2964]

Ik vind gewoon geen nut in het gebruik van raid op een hypervisor; dat was mijn punt.
Neem regelmatig een snapshot en zet die op een backup nas ofzo?

Mijn VM's zijn ook storage servers... dus RAID is wel degelijk een noodzaak voor mij.

Als je natuurlijk in de VM's zelf geen storage hebt maar gebruik maakt van een NAS (via iSCSI of zo) dan heb je misschien geen RAID nodig al is gans je VM setup dan ook weg bij een disk failure wat ik niet heb. Ik heb trouwens lang gedacht m'n storage apart te houden maar dan zit je met een bottleneck van 1 GBps (of eventueel 2) tussen VM en NAS wat ik ook niet echt ideaal vond.

- publiek IP van de HOST enkel bereikbaar vanaf één enkel ander IP via SSH voor in geval de openvpn zou wegvallen (gebeurt bijna nooit)
- enkel openvpn poort staat open vanaf internet, alle andere poorten enkel via VPN

Lijkt me gewoonweg not-done... servers publiek op internet hangen (ongeacht welke filtering erop zit)... dus ook openvpn naar de firewall/router, en niet meteen naar de host (in de bedrijfswereld moet je daar niet mee afkomen).

De meester colo's hangen toch direct aan internet zonder firewall?

Ik ben jaren lang security consultant geweest voor meerdere bedrijven, en heb vanalles gezien. Van de meest waanzinnige setups tot servers direct op internet. Servers direct op internet hangen: elke webhoster doet het. Finaal is de enige attack vector in mijn setup openvpn, gezien die public is. Ik heb in de 10 jaar dat ik openvpn gebruik nog geen bewijs gevonden dat iemand openvpn in ons geval heeft kunnen misbruiken.

Er is technisch ook geen verschil: of er nu een netwerk firewall tussen zit die enkel openvpn doorlaat naar de node, of de node enkel openvpn toelaat via zijn lokale iptables, in beide gevallen expose je de openvpn service naar internet. Als er een bug in openvpn zit die bvb root access geeft, zitten ze in beide gevallen op de node. Een externe firewall geeft dus 0.0 meerwaarde en is dus enkel een extra kost.

Als kleine onderneming heb ik geen budget om een heel rack te hosten met firewall. De hardware kost op zich bijna niks (bvb zo'n 1U routerboard geval voor firewall = 100 euro), maar wel stroom, bandbreedte en units. We spreken dan over duizenden euro's aan hosting per jaar die ik aan iets anders kan besteden.

[ubremoved_539]

Een externe firewall geeft dus 0.0 meerwaarde en is dus enkel een extra kost.

En jij was security consultant

Een firewall is een dedicated toestel met een redelijk statische configuratie (en loopt dus minder risico bij configuratie foutjes op je host)... trouwens bedrijven stappen meer en meer over naar zelfs micro segmentering, laat staan dat je dan zomaar een host rechtstreeks op internet zou hangen.

Maar uiteindelijk moet jij doet waar jij je goed bij voelt (ongeacht of cheap hosters zulke dingen doen of niet).

[Kenw00t]

Als kleine onderneming heb ik geen budget om een heel rack te hosten met firewall. De hardware kost op zich bijna niks (bvb zo'n 1U routerboard geval voor firewall = 100 euro), maar wel stroom, bandbreedte en units. We spreken dan over duizenden euro's aan hosting per jaar die ik aan iets anders kan besteden.

Als budget een probleem is: mag ik mij dan afvragen waarom jij überhaupt zelf hardware gaat hosten om 2 VM's op te draaien? Als eens van AWS en dergelijke gehoord? No offense hoor, maar je moet je op tijd afvragen waar je mee bezig bent, hoe verleidelijk het ook allemaal is om zulke hardware speelgoed projectjes op te zetten.

[Ken]

ub4b, heb net een Cisco ASA 5505 besteld bij OVH voor VPN werk aan 19 EUR per maand. Maar dan moet ge wel een server hebben.
Interesse om de kost te delen? http://www.soyoustart.com/fr/firewall-cisco-asa.xml

[ubremoved_2964]

Als kleine onderneming heb ik geen budget om een heel rack te hosten met firewall. De hardware kost op zich bijna niks (bvb zo'n 1U routerboard geval voor firewall = 100 euro), maar wel stroom, bandbreedte en units. We spreken dan over duizenden euro's aan hosting per jaar die ik aan iets anders kan besteden.

Als budget een probleem is: mag ik mij dan afvragen waarom jij überhaupt zelf hardware gaat hosten om 2 VM's op te draaien? Als eens van AWS en dergelijke gehoord? No offense hoor, maar je moet je op tijd afvragen waar je mee bezig bent, hoe verleidelijk het ook allemaal is om zulke hardware speelgoed projectjes op te zetten.

Ik ben jarenlang linux systeembeheerder geweest, gaande van setups met enkele servers tot tientallen/honderden servers. Ooit nog een setup PCI compliant gekregen die 120milj euro omzet per jaar genereerde. Dat was een zeer zwaar security projectje. Cloud vertrouw ik niet tenzij zelf gehost. 2dehands hardware kost op zich bijna niks om een normale website te hosten. Een 4 jaar oude quad core xeon zonder RAM betaalde ik rond de 60 euro bij Tim tweedehands, enkel het RAM is nieuw en zit onder de 200 euro voor 32 GB. Machine had amper gedraaid

Vm's door derden gemanaged vertrouw ik niet. Je weet ook niet wat de host nog allemaal moet doen, en ik heb al dikwijls f*** gezien bij klanten, waarbij de host dan gemanaged werd door partij X en het systeembeheer van de guest door partij Y ... nee danku.

Het zijn geen speelgoedprojectjes maar mijn website/mail/vpn/backup die al sinds 2007 stabiel draait. Het zijn twee oude P4's die nu snorren en vooral veel stroom verbruiken en ik wil dat eens wegmoven naar moderne hardware.

[ubremoved_2964]

ub4b, heb net een Cisco ASA 5505 besteld bij OVH voor VPN werk aan 19 EUR per maand. Maar dan moet ge wel een server hebben.
Interesse om de kost te delen? http://www.soyoustart.com/fr/firewall-cisco-asa.xml

Ik host bij alles bij Steven van unix solutions. Klant sinds 2006 en heb daar nu al twee dozen snorren, er komt een derde bij zodat ik services kan moven naar een snellere bak. Dus ja dit is een mooi bedragje op jaarbasis aan colo