Online backup (anno 2020)

[devilkin]

Hoi folks,

Om geen oeroude topics te necrobumpen, even een refresher vraag: wat gebruiken mensen tegenwoordig voor cloud backups?

Vereisten:

• Deduplicatie
• Compressie
• Encryptie
• Kunnen uploaden naar meerdere cloud vendors
• Betrouwbaar zijn
• Opensource (liefst met een vriendelijke license)
• Werken op Linux
• Mogelijkheid om file-based te restoren
• Snapshots

Grootte van de backupset is tussen de 600GB en 1TB - zal wss wel nog groeien. Ook ga ik maar van 1 locatie/client backuppen.

Na wat research gedaan te hebben zit ik vast bij volgende:

• Restic: leuk, maar dit geeft me weinig vertrouwen.
• Duplicity: geen dedup mogelijkheden
• Duplicati: al een eeuwige beta. Naar wat ik lees zijn er issues met grote volumes, en frequente database corruptions (met rebuilds die falen). Mono applicatie, geen super fan van.
• Duplicacy: Lees er heel veel goeds over, echter de licentie ... Het moet niet gratis zijn, echter wel graag FLOSS.
• BorgBackup: Geen cloud support (enkel SSH + borg server) - backup lokaal maken en opsturen via rclone is niet ideaal.

Mensen die nog backup opties kennen? Pro / con?

[Tomby]

Veel hangt af van hoeveel clients je wil backuppen en hoeveel TB aan totale backup data je denkt te hebben (i.e. rekening houdend met versioning, retention...), en ook hoeveel het mag kosten natuurlijk.
Zelf zit ik nog altijd bij CrashPlan (Small Businesses). Is wel vrij duur: $9.99/m (+BTW), maar ik ben er nog altijd zeer tevreden van, en is unlimited. Moet wel nog eens dringend weer een restore test doen. Is al meer dan een jaar geleden, maar ging toen wel zeer snel.

Maar voldoet dus sowieso wel niet aan jouw eisen:
* CrashPlan heeft zijn eigen storage en je kan dus geen andere provider gebruiken.
* Is geen open source.

Nu, ik volg sowieso even mee, want als ik even snel google op cloud storage pricing, zie ik wel wat goedkopere opties dan in het verleden. Zo zie ik dat Amazon een Unlimited plan heeft voor $59.99/y wat me wel verbaast.

[devilkin]

Even aangepast: tussen de 600GB en 1TB, vermoedelijk meer in de toekomst.
Backups worden gecentraliseerd - clients naar 1 locatie, locatie naar cloud.

[Splitter]

ik had duplicati, leuk he, zo'n moderne look?
heb ook een tijdje syncthing gebruikt hoewel het meer is om te syncen ipv te backuppen.
en dan nog de klassieker van zelf een rsync scriptje te gebruiken.

ben ondertussen tot volle tevredenheid omgeschakeld naar Urbackup, en laat de backups uitvoeren naar mijn colocated servertje.

om je lijstje te checken:

Deduplicatie => check
Compressie => enkel tijdens het verzenden, ik dacht (of heb het nog niet gevonden) dat hij het eindbestand compresseert
Encryptie => same thing, wel tijdens het verzenden, maar de bestanden zelf niet
Kunnen uploaden naar meerdere cloud vendors => is mogelijk zolang je de remote storage kan "mounten" op je backupserver
Betrouwbaar zijn => check (in de mate dat mogelijk is, project bestaat ook al een aardige tijd)
Opensource (liefst met een vriendelijke license) => check
Werken op Linux => check

je zal dus naar encryptie en compressie toe zelf iets moeten uitzoeken.
er is wel een archival mode in urbackup, maar dat is meer om een bepaalde backup te beschermen tegen automatische verwijdering en niet voor compressie.
voordel van het niet gebruiken van encryptie en compressie is dat je vanaf de urbackup interface ook rechtstreeks zaken kunt herstellen, per item, en zo dus snel steekproeven kan doen om te kijken of je backup wel degelijk functioneel is.

[devilkin]

ben ondertussen tot volle tevredenheid omgeschakeld naar Urbackup, en laat de backups uitvoeren naar mijn colocated servertje.

Hmm. Die kende ik niet. Effectief server/client model?

[Tomby]

Simpel vraagje ivm het gebruiken van een generische cloud service. Zit je dan sowieso niet met het probleem dat je backup software naar een lokaal gesyncte folder schrijft, en malware daar dus ook kan naar schrijven ? Kan natuurlijk wel deels opgelost worden met user permissies waarbij bvb de server component van de backup software draait als een specifieke user en enkel die user write access heeft tot die cloud synced folder, maar het is toch alleszins iets dat je deftig moet gaan uitvlooien.

[DarkV]

Zelf zit ik nog altijd bij CrashPlan (Small Businesses). Is wel vrij duur: $9.99/m (+BTW), maar ik ben er nog altijd zeer tevreden van, en is unlimited.

Idem hier... trouwens naast de prijs van de storage speelt de client voor mij ook een enorm belangrijke rol.

Crashplan is werkelijk set and forget (werkt als Windows service).

[Splitter]

Hmm. Die kende ik niet. Effectief server/client model?

is server/client, en je kan de client in principe managen vanaf de server (let wel, dit kan enkel als je hem niet lokaal hebt ingesteld, want dan gaat hij die settings verkiezen en niet meer de server-side backup paths respecteren)
ik beheer al mijn clients via de server, ik steek ze erin en heb de server zelf ingesteld geen backup paths toe te kennen.
daarna stel ik de clients apart in via de server, en dat werkt eigenlijk feilloos.
ik doe dit wel over vpn en tussen vlans, en dan zie je wel dat hij soms wat last heeft met de auto-discovery, maar dat kan je oplossen door een "hint" toe te voegen.
en als je het gewoon over internet doet kan je dat encrypted en compressed versturen en heb je natuurlijk niet te maken met de auto-discovery.

Zit je dan sowieso niet met het probleem dat je backup software naar een lokaal gesyncte folder schrijft, en malware daar dus ook kan naar schrijven ?

het ligt eraan hoe je dat doet.
met urbackup bijvoorbeeld, verzend je de data naar je server, waar het dan opgeslagen zal worden....
maar als je bestanden al geinfecteerd zijn zal je backup dat ook zijn.
daarom moet je werken met versions en eventuele extra off-site en/of backups die apart en beveiligd opgeslagen worden.

ik doe met de urbackup momenteel minimaal 3 full backups met een maandelijkse interval en 10 incremental backups met 12-uurlijkse interval.
ik gebruik wel nog geen archival of schrijfbeveiliging, dus in theorie zou malware gewoon mee op de backup kunnen komen.... en theoretisch kan die dan over de backups verspreiden natuurlijk.

[devilkin]

Zelf zit ik nog altijd bij CrashPlan (Small Businesses). Is wel vrij duur: $9.99/m (+BTW), maar ik ben er nog altijd zeer tevreden van, en is unlimited.

Ik ben licht allergisch aan Crashplan, na hun stunt waarbij ze alle consumer plannen hebben afgestoten.

is server/client, en je kan de client in principe managen vanaf de server (let wel, dit kan enkel als je hem niet lokaal hebt ingesteld, want dan gaat hij die settings verkiezen en niet meer de server-side backup paths respecteren)
ik beheer al mijn clients via de server, ik steek ze erin en heb de server zelf ingesteld geen backup paths toe te kennen.
daarna stel ik de clients apart in via de server, en dat werkt eigenlijk feilloos.

Interesting. Ik zal er eens naar piepen/mee spelen. Was vooral wel aan het kijken naar iets dat direct kan schrijven naar cloud storage, zonder nog extra tussenliggende zaken (zoals bvb rclone).

Zit je dan sowieso niet met het probleem dat je backup software naar een lokaal gesyncte folder schrijft, en malware daar dus ook kan naar schrijven ?

Idee is dat je versioned werkt, en sommige (alle?) deftige cloud providers bieden ook aan dat files daar geversioned worden.

[Tomby]

met urbackup bijvoorbeeld, verzend je de data naar je server, waar het dan opgeslagen zal worden....
maar als je bestanden al geinfecteerd zijn zal je backup dat ook zijn.
daarom moet je werken met versions en eventuele extra off-site en/of backups die apart en beveiligd opgeslagen worden.

Ja, wat ik bedoel is niet het infecteren van bron-bestanden, die dan uiteraard ook mee in de backup komen, en die inderdaad een van de redenen zijn waarom versioning essentieel is in een backup oplossing. Maar wel: voorkomen dat de backups zélf geïnfecteerd of corrupt geraken. Als die backups nog ergens lokaal staan en dan naar de cloud gesynced worden, ben je dus wel zelf verantwoordelijk om je permissies e.d. danig goed te designen dat de kans op corruptie van die lokale backup files zo klein mogelijk is. Met een pure cloud-oplossing zoals CrashPlan, is het risico daar nul, omdat je een client hebt, die de backup gegevens naar een remote server sturen en ze daar dan in backup files gestopt worden. Eender wat er dan bij je thuis verkeerd loopt (rm -r /, cryptolocker, etc...) heeft dan nog altijd 0 impact op je backups zelf.

Als je zegt dat je een backup oplossing zoekt die met verschillende cloud storage providers kan werken, hoe krijg je bestanden dan in de cloud ? Ik neem aan dat die backup oplossing dan idealiter via APIs de data in de cloud wegschrijft of ophaalt ? Want als je moet syncen van lokaal, zit je met bovenstaand probleem, en een hoop wasted lokale storage.

@devilkin: versioning van de cloud storage lost het inderdaad ook op, al zou ik wel niet graag gaan moeten uitvissen hoe ik een consistente snapshot kan restoren als de corruptie van je backup files zelf al van een tijd terug is...

[Splitter]

Als je zegt dat je een backup oplossing zoekt die met verschillende cloud storage providers kan werken, hoe krijg je bestanden dan in de cloud ?
<knip>
Want als je moet syncen van lokaal, zit je met bovenstaand probleem, en een hoop wasted lokale storage.

je werkt niet met "syncen van lokaal" he, je werkt met "backups maken naar de cloud", dus je gaat niet eerst lokaal backuppen en dan gewoon kopieren (dat zou idd overhead geven)
je kan quasi alle cloud providers als een netwerkdrive mounten en ze zo koppelen.
er zijn ook opties met APIs vermoedelijk zonder dat je drives gaat mounten, maar ik ken er niet dadelijk eentje dat opensource is.
je kan als je de drive mount trouwens deze ook enkel toegankelijk laten zijn voor de backup server user, zodat eventuele malware er al niet bijkan als die via een andere user account op je server zou komen.

[devilkin]

@devilkin: versioning van de cloud storage lost het inderdaad ook op, al zou ik wel niet graag gaan moeten uitvissen hoe ik een consistente snapshot kan restoren als de corruptie van je backup files zelf al van een tijd terug is...

Ja, dat doe je dus best niet

Ik wil een tooltje waarmee ik kan versionen - merendeel van wat ik al aanhaalde kan dit (snapshot based)

[Logic3S]

Ter info: ik ben onlangs (3-tal maand) geleden begonnen met het gebruik van Duplicati. Momenteel zonder grote problemen. Dat was in het begin wel enkel een backup naar een USB disk. Nu ook naar de cloud.

Hiervoor regelmatig met Cloudberry gewerkt (naar Azure en USB Disks). Ook zonder problemen.

[Tomby]

Ik wil een tooltje waarmee ik kan versionen - merendeel van wat ik al aanhaalde kan dit (snapshot based)

Bemerk wel dat ik het dus had over je storage in de cloud, niet je lokaal systeem dat gebackupt wordt. Voor dat laatste is het inderdaad een grote plus als je backup software ook een snapshot maakt die je gemakkelijk op zijn geheel kunt terugzetten. De redenering ging echter over het corrupt geraken van je backup files zelf (dus de proprietary files die je backup software aanmaakt). Zelfs als je cloud vendor versioning voorziet, is het volgens mij geenszins evident om dan terug te keren naar een situatie waar je een consistente set van backup files hebt. Je moet dan immers een timestamp gaan zoeken waarvan je zeker bent dat a) op dat moment nog geen backup file geïmpacteerd was, b) je alle cloud files kunt reverten naar die timestamp (ik vermoed immers dat cloud storage ook groomt in de versions, i.e. niet alle versies bijhoudt), c) op dat moment geen backup aan het draaien was, waardoor een revert de backup software helemaal in de war zou kunnen brengen.

Maar het is dan zoals Splitter zegt: als die cloud storage gewoon lokaal gemount wordt met enkel write permissies door een dedicated local user die ook enkel voor het draaien van de backup dient en voor de rest zelf geen permissies heeft, dan is het risico op het corrumperen van je backup files (in de cloud dus) eigenlijk al zeer beperkt.

Doet me ook wat denken aan mijn lokale strategie hier. De backups hier draaien op een Windows server (oude laptop met W10 Pro). Om te beginnen heb ik lokale client/server backup sofware (Retrospect) met dus een client die op elke laptop hier draait, en meerdere keren per dag draait volgens een zelf te definiëren schedule. De server kant van die software draait echter op een dedicated 'backup' Windows account op die server, die heel minieme rechten heeft, en enkel Write permissies heeft op een NAS share die dedicated voor backups is. Die NAS share zelf, is dan zelf ook weer enkel writeable door die ene 'backup' user. Ik ga er dan van uit dat enkel malware die draait onder die user, mijn backup set om zeep kan helpen (maar misschien onderschat ik wat malware allemaal van truuks uithaalt om van 1 account naar een andere te hoppen ? (*)) en doordat die user eigenlijk enkel voor backup gebruikt wordt, is de kans op malware onder die user dus nagenoeg nul.

Ik herinner me dat ik toch serieus wat mogen nadenken heb, om het zo waterdicht mogelijk te krijgen. En ik vraag me nog altijd af of het niet simpeler kan terwijl toch maximale security te houden. Of dat mensen die thuis met een vanilla (niet-cloud) backup oplossing werken, eigenlijk nog altijd een serieus risico lopen zonder het goed en wel te beseffen. En dan heb ik het niet over brand, maar bvb een cryptolocker die er in slaagt van ook de gehele backup set te gaan locken.

(*) EDIT: kan malware die draait op een Admin account op Windows bvb aan de login credentials geraken van een NAS share die gemount is door een Standard account ?

[devilkin]

Bemerk wel dat ik het dus had over je storage in de cloud, niet je lokaal systeem dat gebackupt wordt. Voor dat laatste is het inderdaad een grote plus als je backup software ook een snapshot maakt die je gemakkelijk op zijn geheel kunt terugzetten. De redenering ging echter over het corrupt geraken van je backup files zelf (dus de proprietary files die je backup software aanmaakt). Zelfs als je cloud vendor versioning voorziet, is het volgens mij geenszins evident om dan terug te keren naar een situatie waar je een consistente set van backup files hebt.

Da's inderdaad wel juist. Je moet ofwel vertrouwen hebben in je cloud provider, ofwel .. niet al je eieren in 1 mandje leggen

In mijn ex-setup (dank u synology) verzond ik m'n backup naar 2 cloud providers. Dan heb je al minder kans dat die 2 dan nog samen tegen de grond zouden gaan.

[Tomby]

Als ik even google op "protect backups from malware" dan is het ook duidelijk dat het helemaal geen evident probleem is. Alle discussies die ik tegenkom gaan ook meer over backups op corporate niveau, wellicht ook omdat de oplossingen helemaal niet meer evident zijn en voor de gemiddelde thuisgebruiker gewoon niet meer doenbaar zijn. Ook wordt malware blijkbaar steeds slimmer en zijn er al verschillende cryptolockers die ook actief op zoek gaan naar backups op shares e.d. Volgens sommigen is een offline backup daarom ook de enige garantie.

Het is dus wellicht inderdaad wel zo dat 95% van de thuis-backup-oplossingen eigenlijk helemaal niet beschermen tegen de meeste geavanceerde cryptolockers. Het is natuurlijk ook een kwestie van risk assessment.

[honda4life]

Ik gebruik Stack, 1000GB gratis.
Verder rclone... ik denk wel dat je alle bovenstaande dingen er wel mee kan.

[devilkin]

Verder rclone... ik denk wel dat je alle bovenstaande dingen er wel mee kan.

Hmm. Ok, je kan wel de crypt backend configureren bovenop een bestaande andere backend (whatever it is).
Versioning ... zie ik minder goed komen via een pure rclone, evenmin dedup.

[honda4life]

je kan rclone in verschillende niveau's configureren ja.
Bijvoorbeeld eerst compressie, vervolgens encryptie, vervolgens opsplitsen, ...

[8balljunkie]

Ik gebruik Duplicati om mijn foto's, video en documenten te uploaden naar stack, het zijn nu niet bepaald gigantische files.
Nu ik update die wel niet en blijf op versie 2.0.3.3 en die versie blijkt goed te werken voor mijn use case.

Duplicati gebruik ik voor offsite backup en heb ook nog een backup lopen naar een externe HDD via rsync.
Rysnc loopt elke nacht en de offsite backup 1x per week incremental.