TIP: snellere backup/sync met Robocopy Multi-threaded!

Windows, Android, iOS, Linux, Chrome OS, ...
Plaats reactie
Ernie
Elite Poster
Elite Poster
Berichten: 838
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 228 keer
Bedankt: 45 keer

Deze wil ik hier graag delen...

Voor degenen die het niet kennen/weten: op Windows heb je de mogelijkheid om met Robocopy bestanden/mappen te kopiëren/synchroniseren en zelfs over het netwerk.
In principe is het enkel via command line te gebruiken maar ben ooit ook gratis GUI's tegengekomen, echter niet getest.

Door een 'Command Prompt' venster te openen en daar 'robocopy /?' te typen krijg je de meeste opties te zien.
Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.
Hier wat info daarover: https://pureinfotech.com/robocopy-multi ... indows-10/ (werkt ook op oudere Windows versies)

Nog dit: je kan rechtstreeks naar een share schrijven door naar '\\IP of hostnaam\share' te verwijzen als doel. (mits toegang natuurlijk)
Laatst gewijzigd door Ernie op 24 apr 2020, 00:42, 1 keer totaal gewijzigd.
Gelukkig & gezond 2022!
ITnetadmin
Elite Poster
Elite Poster
Berichten: 8445
Lid geworden op: 28 jan 2012, 18:22
Uitgedeelde bedankjes: 164 keer
Bedankt: 618 keer

Ik zweer nog regelmatig bij robocopy voor shadow copies.
Collegas vinden mij archaisch en "niet mee met de tijd" soms, maar if it ain't broken... ;-)
Ernie
Elite Poster
Elite Poster
Berichten: 838
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 228 keer
Bedankt: 45 keer

Kende jij die MT switch?

Ik maak er al langer gebruik van en ook al meermaals naar info over de switches gezocht maar was deze nog nooit tegengekomen.
Gelukkig & gezond 2022!
Gebruikersavatar
heist_175
Elite Poster
Elite Poster
Berichten: 13045
Lid geworden op: 07 okt 2010, 09:35
Locatie: Kempen
Uitgedeelde bedankjes: 433 keer
Bedankt: 856 keer

robocopy C:\Users\admin\Documents D:\Users\admin\Documents /S /E /Z /ZB /R:5 /W:5 /TBD /NP /V /MT:32
Zéér gebruiksvriendelijk :?
Ik zou eerder een switch verwachten: "gebruik vanaf nu Robocopy als default handler"
DarkV
Elite Poster
Elite Poster
Berichten: 2798
Lid geworden op: 17 apr 2019, 11:47
Uitgedeelde bedankjes: 88 keer
Bedankt: 112 keer

Ernie schreef:Wat ik echter nu pas en toevallig ben tegengekomen is dat met de '/MT:' switch je Multi Threaded kan kopiëren/synchroniseren en dat gaat een pak sneller.
Verbaast me een beetje want de disk IO is normaal de bottleneck... niet het aantal threads.
profke
Pro Member
Pro Member
Berichten: 273
Lid geworden op: 14 aug 2010, 23:42
Uitgedeelde bedankjes: 14 keer
Bedankt: 24 keer

vooral bij copieren van locaal naar \\servername\mappeke of omgekeerd doet die multithreaded wonderen..

in mijn job heb ik een keer factor 20 gerealiseerd hiermee.
letterlijk het syncen van ~100.000 files van samen 200 mbyte overheen een 10 mbit lijn over 100 km

in de klassieke manier : 4 uur
in de robocopy/mt: manier was dit <= 10 minuten.
Gebruikersavatar
Sasuke
Elite Poster
Elite Poster
Berichten: 4854
Lid geworden op: 13 aug 2003, 20:25
Locatie: Vlaanderen
Uitgedeelde bedankjes: 153 keer
Bedankt: 332 keer
Contacteer:

gebruik ik al jaren, heb zelf mijn eigen synch framework rond robocopy geschreven en gebruikt bij verschillende klanten en migraties. miljoenen files en ettelijke TB's zijn zo geen issue meer. /MT is trouwens by default al in gebruik met 8 threads he.
Who the fxxk is General Failure and why is he reading my hard disk ?
Afbeelding
Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16609
Lid geworden op: 18 feb 2003, 22:02
Twitter: meon
Locatie: Bree
Uitgedeelde bedankjes: 564 keer
Bedankt: 759 keer
Contacteer:

Iemand heeft volgens mij de post op Reddit gezien deze week die hier over ging :-).

Robocopy is overigens ook de "officiële" oplossing om via PowerShell paden van langer dan 256 tekens te kopiëren, want PowerShell zélf ondersteunt dat niet :(.

Switches /R:5 /W:5 kan je overigens in het register opslaan als default met /REG, want default staat dat op 1 miljoen retries... 't Zou niet de eerste keer zijn dat ik dat vergeet op een nieuwe server en een dag later merk dat amper files gekopieerd zijn.
Ernie
Elite Poster
Elite Poster
Berichten: 838
Lid geworden op: 08 jun 2011, 06:35
Uitgedeelde bedankjes: 228 keer
Bedankt: 45 keer

Neen toch niet, puur toeval. :wink:

Ik moest onlangs nogal wat data (vooral véél bestanden) overzetten en ik was weer eens verbaasd hoe snel dat ging.

Gebruik ook SyncBackFree voor standaard, dagelijkse synchronisatie en dat is volgens mij toch gevoelig trager maar door de GUI, uitgebreide opties en de mogelijkheid om profielen te maken naar mijn mening beter hiervoor geschikt.
Gelukkig & gezond 2022!
Gebruikersavatar
meon
Administrator
Administrator
Berichten: 16609
Lid geworden op: 18 feb 2003, 22:02
Twitter: meon
Locatie: Bree
Uitgedeelde bedankjes: 564 keer
Bedankt: 759 keer
Contacteer:

Voor dat laatste gebruik ik GoodSync, al heb ik nog niet vergeleken hoe performant die is tov bvb Robocopy.
Plaats reactie

Terug naar “Software en apps”