Datatransfer, met of zonder server.

[ophidian]

We zitten op het werk met volgend probleem.

- Er moeten maandelijks 500 GB aan video bestanden worden overgezet naar een FTP in Indië. Momenteel zitten we hier lokaal met een telenet abonnement voor bedrijven, die we niet van plan zijn om weg te doen. Onze telefoon etc is hier ook aan gekoppeld, dus dat is geen optie.
- bij voorkeur wat snelheid om de bestanden door te sturen. Want dat is er momenteel niet.

Ik ben dus op zoek naar een oplossing, waar we voor de goedkoopste prijs mogelijk, een realistische oplossing hebben. Ik dacht zelf om er een goedkope FUP van scarlet of dommel bij te plaatsen, maar ik weet niet zeker of dit wel geldt voor bedrijven en of we de FUP hier niet mee overschrijden. Bovendien geldt dit ook meestal voor contracten van min 1 jaar (Niet dat dat zozeer een probleem is). Probleem is wel dat ik een beetje vrees voor de ADSL snelheid hier in zwijnaarde. (technologiepark).

Wat ideaal zou zijn, is een datacenter waar je zelf binnen kan (denk aan keypas/biometric checks/etc) en waar we al of niet aan een gehuurde/gekochte server een HD zouden kunnen hangen om de upload door te voeren.

tenzij iemand nog betere voorstellen heeft, ben ik dus echt op zoek naar een datacenter, bij voorkeur in de buurt van gent die hier mogelijk uitweg zou kunnen bieden. Iemand enig idee?

Alvast bedankt.

[Goztow]

Als VDSL2 beschikbaar is kan een pro compact van BGC.

In principe kan je altijd in het datacenter binnen met een beveiligde pass, alleen is dit toch wat minder praktisch + datacenters zijn zeer duur in België.

[quistnix]

Voor het goedkoopste neem een intense bij Scarlet of Belgacom. Die vallen er in ieder geval niet over dat ze een mass market product verkopen aan een bedrijf.

[Astralon]

tenzij iemand nog betere voorstellen heeft, ben ik dus echt op zoek naar een datacenter, bij voorkeur in de buurt van gent die hier mogelijk uitweg zou kunnen bieden. Iemand enig idee?

Ik heb heel goede ervaringen met Hostbasket.
Hou er wel rekening mee dat je daar ook gaat betalen voor volume.
Ik heb nu op mijn servers daar een limiet van 100GB per maand.

[ubremoved_539]

- Er moeten maandelijks 500 GB aan video bestanden worden overgezet naar een FTP in Indië.

Upstream data dus... als ik goed kan rekenen, en in de veronderstelling dat je via een Telenet Fibernet 100 (wat volgens mij het abonnement is met de beste upstream snelheid momenteel - los van professionele oplossingen) effectief 5 Mbit/s constant zou halen, dan ben je hier 10 dagen mee bezig. DSL abonnementen waarmee je dus maar 1.5 a 2 Mbit/s upstream hebt zijn dus gewoon geen optie omdat je dan mogelijks zelfs met een maand constante upload niet aan je 500 GB komt !

[Goztow]

- Er moeten maandelijks 500 GB aan video bestanden worden overgezet naar een FTP in Indië.

Upstream data dus... als ik goed kan rekenen, en in de veronderstelling dat je via een Telenet Fibernet 100 (wat volgens mij het abonnement is met de beste upstream snelheid momenteel - los van professionele oplossingen) effectief 5 Mbit/s constant zou halen, dan ben je hier 10 dagen mee bezig. DSL abonnementen waarmee je dus maar 1.5 a 2 Mbit/s upstream hebt zijn dus gewoon geen optie omdat je dan mogelijks zelfs met een maand constante upload niet aan je 500 GB komt !

Oei juist, niet aan gedacht :$. Het zou misschien wel sneller gaan met de post, om eerlijk te zijn...

[ubremoved_539]

Het zou misschien wel sneller gaan met de post, om eerlijk te zijn...

Dat is ook de methode dat veel bedrijven het doen (zelfs grote bedrijven met deftige leased lines).

Wij sturen hier ook regelmatig gewoon tapes op met copies van productieomgevingen.

[meon]

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway. —Tanenbaum, Andrew S. (1996).
http://en.wikipedia.org/wiki/Sneakernet
Edit: what @r2504 said.

[cloink]

Ik ga me moeten aansluiten bij de heren boven me...

1) betaalbare VDSL2 abo's komen nog niet aan 2Mbps upload, die kan je dus schrappen
2) Fibernet van Telenet is je enige "oplossing", maar ook dan ben je nog lang bezig
3) bandbreedte is in de meeste datacenters in België een zeer prijzige grap. In Nederland of Duitsland zou je allicht goedkoper af zijn, maar daar ga je dan weer niet om de X tijd naar toe rijden, denk ik

En dan denken we nog maar niet aan een eventuele bottleneck op weg naar of in India zelf. Want jij kan hier een pijp hebben van pakweg 5 of 10Mbps, als er ginder ergens max. 64Kbps door kan, dan zit ge met de gebakken peren...

Dus hoe gek het ook moge klinken: een klein schijfke maandelijks via ne koerier lijkt me de goedkoopste en meest haalbare optie in dit geval...

[krisken]

Ik ken je wel in contact brengen met personen die aanwezig zijn in een datacenter van Gent (aan de dampoort), Merelbeke (Lemberge) of Oostkamp (Brugge). In Zwijnaarde is ADSL2 en VDSL2 volop aanwezig, dit zou dus zeker geen probleem mogen zijn.

Voor het extra goedkoop te hebben : ben ook aanwezig in het datacenter van Steenbergen, juist over de grens (boven antwerpen)

[TomG]

- Er moeten maandelijks 500 GB aan video bestanden worden overgezet naar een FTP in Indië.

Upstream data dus... als ik goed kan rekenen, en in de veronderstelling dat je via een Telenet Fibernet 100 (wat volgens mij het abonnement is met de beste upstream snelheid momenteel - los van professionele oplossingen) effectief 5 Mbit/s constant zou halen, dan ben je hier 10 dagen mee bezig. DSL abonnementen waarmee je dus maar 1.5 a 2 Mbit/s upstream hebt zijn dus gewoon geen optie omdat je dan mogelijks zelfs met een maand constante upload niet aan je 500 GB komt !

Inderdaad. En de kans is groot dat je in die 10 dagen ook nog een onderbreking e.d. krijgt. Ik zou veeleer rsync gebruiken voor zo'n doeleinden.

Maar het goedkoopste/handigste zal wellicht zijn 1x de HDD naar India versturen en terug laten sturen na afloop. Of desnoods met een aantal HDD's (iedere maand één sturen, en zij kunnen om de x-aantal maand de disks die nog bij hun liggen terugsturen).

[skynetbbs]

ook rekening mee houden dat zo'n hdd's encrypted verstuurd worden;
ze kunnen al eens pootjes krijgen...en verdwijnen

en redundant...ze kunnen al eens onleesbaar/kapot toekomen

en rekening houden dat er soms een aswolk passeert die je schijf een weekje in Zaventem kan doen laten liggen

[ophidian]

ook rekening mee houden dat zo'n hdd's encrypted verstuurd worden;
ze kunnen al eens pootjes krijgen...en verdwijnen

en redundant...ze kunnen al eens onleesbaar/kapot toekomen

en rekening houden dat er soms een aswolk passeert die je schijf een weekje in Zaventem kan doen laten liggen

geloof het of niet, dit is precies de reden waarom dit als optie momenteel niet gekozen wordt. Doordat de koerierdiensten het niet konden leveren, moesten we uitkijken voor alternatieven. Volgens mijn overste is koerierdienst te duur voor een HD te shippen naar India. Geen idee hoeveel dit eigenlijk kost. Als je overste zegt dat dit geen optie is, moet ik er uiteraard ook niet meer mee afkomen..

Ik denk dat telenet fibernet of een adsl oplossing het best zal zijn. Vdsl is niet beschikbaar waar we momenteel zitten blijkbaar.

Een update over het dataverkeer: het betreffen blijkbaar video's van 27 GB /dag per camera. Hoeveel camera's/dagen moeten doorgestuurd worden hangt blijkbaar af van het project.


Allemaal bedankt voor de feedback.

[ddd]

Om een idee te geven:

Onze Belgacom business (Explore) lijntje hier kost 1400/mnd (excl btw) voor 10Mbit down/up gegarandeerd.
Al is die "gegarandeerd" natuurlijk wel afhankelijk van de totale lijn tot waar je wil gaan naartoe copieren.

[skynetbbs]

Ik denk dat telenet fibernet of een adsl oplossing het best zal zijn. Vdsl is niet beschikbaar waar we momenteel zitten blijkbaar.

Voor upload moet je niet kijken naar asymetrische dsl lijnen (adsl/vdsl)... maar naar SDSL... hier is upload=download
kost wel wat meer en je hebt er een "max" en "gegarandeerde" snelheid...
Best werken met zoiets als "torrent" zodat alle pakketjes via allerhande wegen over de cloud van bij jouw tot in indie terechtkomt...
dmv private tracker kunnen er geen derden eraan...

ook eens kijken voor een soort "csv"... ik vermoed dat je regelmatig een "backup" van een ontwikkelomgeving doorstuurt;
het kan handiger zijn om alleen de "veranderde" bestanden door te sturen...

ook kan "zsync" interessant zijn als je "iso's" maakt van je video content... als er maar enkele bits zijn gewijzigd met photoshop/adobe premiere ...

[quistnix]

Om een idee te geven:

Onze Belgacom business (Explore) lijntje hier kost 1400/mnd (excl btw) voor 10Mbit down/up gegarandeerd.
Al is die "gegarandeerd" natuurlijk wel afhankelijk van de totale lijn tot waar je wil gaan naartoe copieren.

Maar dat is geen DSL oplossing veronderstel ik. Zal wel gaan over EFM (Ethernet over First Mile).

[ubremoved_539]

ook rekening mee houden dat zo'n hdd's encrypted verstuurd worden; ze kunnen al eens pootjes krijgen...en verdwijnen

Daarvoor bestaat er zoiets als tapes !

geloof het of niet, dit is precies de reden waarom dit als optie momenteel niet gekozen wordt. Doordat de koerierdiensten het niet konden leveren, moesten we uitkijken voor alternatieven.

Maar als dat alternatief (Telenet Fibernet) er in het beste geval ook 10 dagen over doet dan kan je het moeilijk een alternatief noemen.

Een update over het dataverkeer: het betreffen blijkbaar video's van 27 GB /dag per camera. Hoeveel camera's/dagen moeten doorgestuurd worden hangt blijkbaar af van het project.

27 GB is in het beste geval 12u... hopelijk heb je dan maar één camera want anders kan je het al vergeten !

[Goztow]

Er bestaat toch wel zoiets als een pakjesdienst waar je op eender welk moment kan volgen waar hij zich bevindt???

Ik neem aan dat de video's niet mogen gewoon via streaming ter beschikking worden gesteld? Dat zou het eenvoudiger maken... of compresseren?

Als ik lees dat pakjesdients niet kan, dan blijft volgens mij enkel de oplossing datacenter over. In Nederland heb je al voor 50 € per maand iets van een 500 GB volume + een dedicated servertje. Maar hier in belgië is dat een ander paar mouwen .

[cloink]

And most importantly: if you pay peanuts, you get monkeys.

(m.a.w. ik begrijp niet dat voor zo'n "project" er wordt beknibbeld op allicht niet veel meer dan een paar honderd euro?)

[Goztow]

And most importantly: if you pay peanuts, you get monkeys.

(m.a.w. ik begrijp niet dat voor zo'n "project" er wordt beknibbeld op allicht niet veel meer dan een paar honderd euro?)

De meetse bedrijfsleiders hebben totaal geen idee van wat informaticaprojecten kosten. Dit wordt altijd onderschat.

[ubremoved_539]

De meetse bedrijfsleiders hebben totaal geen idee van wat informaticaprojecten kosten. Dit wordt altijd onderschat.

Dat je het niet weet kan ik nog begrijpen, dat je echter niet wil inzien dat een bepaalde oplossing niet realistisch is, en/of kwaliteit niet wil betalen is iets anders.

[Sasuke]

ook rekening mee houden dat zo'n hdd's encrypted verstuurd worden;
ze kunnen al eens pootjes krijgen...en verdwijnen
en redundant...ze kunnen al eens onleesbaar/kapot toekomen
en rekening houden dat er soms een aswolk passeert die je schijf een weekje in Zaventem kan doen laten liggen

geloof het of niet, dit is precies de reden waarom dit als optie momenteel niet gekozen wordt. Doordat de koerierdiensten het niet konden leveren, moesten we uitkijken voor alternatieven. Volgens mijn overste is koerierdienst te duur voor een HD te shippen naar India.
Een update over het dataverkeer: het betreffen blijkbaar video's van 27 GB /dag per camera. Hoeveel camera's/dagen moeten doorgestuurd worden hangt blijkbaar af van het project.
Allemaal bedankt voor de feedback.

Beste,

Waarom maak je geen combinatie oplossing (zie dit topic nu pas ...), heb deze ook al geimplementeerd voor 1 klant die zo/n 300Gb / maand aan data had.
1/ Huur een server in een NL of DE datacenter om het betaalbaar te houden
2/ Gebruik een landkoerier die per express een disk naar het datacenter brengt
3/ maak een overeenkomst met de Datacenter beheerder dat hij de disk aan jouw server hangt
4/ Automatiseer de copy en klaarzetting voor FTP
5/ gaan met de banaan ...

Grtz,
Sasuke

[ophidian]

ook rekening mee houden dat zo'n hdd's encrypted verstuurd worden;
ze kunnen al eens pootjes krijgen...en verdwijnen
en redundant...ze kunnen al eens onleesbaar/kapot toekomen
en rekening houden dat er soms een aswolk passeert die je schijf een weekje in Zaventem kan doen laten liggen

geloof het of niet, dit is precies de reden waarom dit als optie momenteel niet gekozen wordt. Doordat de koerierdiensten het niet konden leveren, moesten we uitkijken voor alternatieven. Volgens mijn overste is koerierdienst te duur voor een HD te shippen naar India.
Een update over het dataverkeer: het betreffen blijkbaar video's van 27 GB /dag per camera. Hoeveel camera's/dagen moeten doorgestuurd worden hangt blijkbaar af van het project.
Allemaal bedankt voor de feedback.

Beste,

Waarom maak je geen combinatie oplossing (zie dit topic nu pas ...), heb deze ook al geimplementeerd voor 1 klant die zo/n 300Gb / maand aan data had.
1/ Huur een server in een NL of DE datacenter om het betaalbaar te houden
2/ Gebruik een landkoerier die per express een disk naar het datacenter brengt
3/ maak een overeenkomst met de Datacenter beheerder dat hij de disk aan jouw server hangt
4/ Automatiseer de copy en klaarzetting voor FTP
5/ gaan met de banaan ...

Grtz,
Sasuke

Dat leek mij eerlijk gezegd ook de beste oplossing. Om de situatie iets beter te schetsen: we zitten hier concreet met 2 bedrijven in hetzelfde gebouw. Het is effectief de ceo van dat ander bedrijf die mij had gevraagd om dit uit te zoeken. De opties die ik zelf in gedachten had zijn hier ook aan bod gekomen. koerier leek mij het meest evident, maar wil men dus blijkbaar niet doen. Ik heb zelf geen idee hoeveel dat kost.
Het lijkt me zo dat men er zo weinig mogelijk werk wil aan hebben (lees: niet veel moeten vervoeren en voor pakjes gaan zien, etc), en alleen op knop upload wil drukken. Er zal allicht niet iedere dag data moeten doorgestuurd worden , dus het zal niet zo zijn vandaag 54 gb en morgen weer.
(En om alle insinuaties over mogelijke illegaliteiten de kop in te drukken, het betreft videobeelden van verkeerscamera's. )

Ik heb ze gewaarschuwd voor de trage upload snelheden van ADSL/VDSL. zeker gezien het feit we hier zelf 3.3 km van de centrale verwijderd zitten. Voor wie interesse heeft, mijn finaal advies naar de ceo was:

- koerierdienst
- server coloceren in een datacenter in zuid nederland
- adsl/vsdl/sdsl bij een personeelslid thuis die dicht bij de centrale zit

Het probleem is een beetje ontstaan door het feit dat men op de huidige adsl office plus (telenet) onze volledige upload dichttrekt door dit project + dat we niet genoeg volume hiervoor beschikbaar hebben .. uiteraard.

Bedankt voor jullie feedback allen.

[ubremoved_539]

(En om alle insinuaties over mogelijke illegaliteiten de kop in te drukken, het betreft videobeelden van verkeerscamera's. )

Dan is het volgens mij zeker illegaal... die dingen mogen volgens mij amper bewaar worden, en zeker niet aan derden gegeven worden (wat doet men daar in India trouwens mee ?)

Het probleem is een beetje ontstaan door het feit dat men op de huidige adsl office plus (telenet) onze volledige upload dichttrekt door dit project + dat we niet genoeg volume hiervoor beschikbaar hebben .. uiteraard.

Neem dan gewoon een extra TN Fibernet 100.

[on4bam]

Dan is het volgens mij zeker illegaal... die dingen mogen volgens mij amper bewaar worden, en zeker niet aan derden gegeven worden (wat doet men daar in India trouwens mee ?)

TT mapping?

[ubremoved_539]

TT mapping?

Onder "verkeerscamera's" versta ik dingen die "vast" staan.

[VOiD]

In India zal het goedkoper zijn (zoals altijd) om nummerplaten te noteren om boetes uit te schrijven... Maar budget om alles naar ginder te sturen is er blijkbaar niet...

[Limburg]

@ophidian,
betreft het hier het Limburgse (nl+be) project met anpr camera's (Engelse technologie) zie http://www.google.nl/url?sa=t&source=we ... FSFzRPfikw waar op dit moment zuid-Nederlands Brabant en Limburg mee wordt volgespijkerd?

Zie voor België http://tweakers.net/nieuws/66891/invals ... meras.html
Langs alle uitvalswegen (ook smalle wegen) van bv Valkenswaard (grensgemeente in nl) bevinden zich camerasystemen bestaan de uit een camera die plm 3 meter hoog op een lichtmast is bevestigd en op de grond een doos van ongeveer een halve meter in het vierkant.
Alleen al in Valkenswaard betreft het zo'n 30 systemen die ik geteld heb.
Ik ging er eigenlijk van uit dat het geautomatiseerde nummerplaatherkenning betrof, maar kennelijk werkt dit niet perfect en besteedt men dit uit aan India. (of alleen rejects?)
In Nederland overtreedt men hiermee willens en wetens de wet, ze zijn op hun vingers getikt, maar op een of andere manier blijft iedereen (al of niet bewust) slapen en wordt er niet ingegrepen.
"politie gebruikt automatische kentekenherkenning illegaal " http://tweakers.net/nieuws/65219/cbp-po ... pdate.html
Naast kenteken herkenning kan ook de snelheid bepaald worden en kunnen gegevens doorgespeeld worden naar de belastingen.
Ook wordt op deze manier een perfect volgsysteem gecreëerd.
In Valkenswaard is de datatransfer al geen probleem, een Onsbrabantnet fibertothehome consumentenabo heeft daar al een 100Mb up en down.
( http://www.onsbrabantnet.nl/?project_id ... dule_id=17 )
Het advies van r2504 voor een telenet fiber abo lijkt me een goede!

Big brother is watching you!

p.s. heb je een prachtige, gevoelige, state-of-the-art camera nodig? Ze bevinden zich op slechts 3 meter hoogte!

[cloink]

- adsl/vsdl/sdsl bij een personeelslid thuis die dicht bij de centrale zit

Goed plan. Zeker uzelf kandidaat stellen, alle materiaal laten installeren, contract laten afsluiten en dan... om opslag vragen!

[crapiecorn]

DSL abonnementen waarmee je dus maar 1.5 a 2 Mbit/s upstream hebt zijn dus gewoon geen optie omdat je dan mogelijks zelfs met een maand constante upload niet aan je 500 GB komt !

Met 2Mbit/s lukt het nog wel. Als je +- 235KB/s neemt voor 2Mb kom je aan 580 GB.

[BasMSI]

VDSL2 haald altijd de 2Mbit aangezien afstand geen rol speeld zoals bij ADSL!
En bij Dommel teld upload niet mee als verkeer
In het slechtste geval neem je toch gewoon 2 van die abbo's en doe je loadbalancing, dan het je 4mbit up

[ubremoved_539]

VDSL2 haald altijd de 2Mbit aangezien afstand geen rol speeld zoals bij ADSL!

Misschien... maar hij moet ook nog naar India, en dan heb je weinig garanties vrees ik.

[BasMSI]

Ja dat is altijd het probleem.
Ik haal bv uit een dedicated 100mbit server uit Duitsland al amper 700Kbit/sec. (eigen server die aan een dikke pijp hangt)
Ben bang dat ze in India geen beste verbindingen hebben, dus het zal ook met een dedicted server heel moeilijk worden.

[ubremoved_539]

Ik haal bv uit een dedicated 100mbit server uit Duitsland al amper 700Kbit/sec. (eigen server die aan een dikke pijp hangt)

Dat zegt ook veel over je hosting...

[ubremoved_983]

Ik haal bv uit een dedicated 100mbit server uit Duitsland al amper 700Kbit/sec. (eigen server die aan een dikke pijp hangt)

Dat zegt ook veel over je hosting...

Dat denk ik ook ... ik trek mijn lijn dicht vanaf mijn dedicated server in *.de, en naar andere servers trek ik zijn pijp ook dicht.

[Goztow]

Same here... Zowel mijn dedi in nederland als die in Duitsland trekken mijn lijn makkelijk dicht. Op speedtest haal ik daar makkelijk 40 Mbit.

[BasMSI]

Als ik zelf ga downloaden via die server haal ik meerdere megabytes, zonder enig probleem.
Maar als ik met VDSL via Dommel er heen ga, dan trek ik VDSL niet dicht.
Maar dat was met de 7270 als router, heb net de 7390 binnen en zal het nog eens proberen.

Even later, juist gedaan dus en met de 7390 haal ik makkelijk het dubbele

Als ik vanuit de server zelf ga trekken, dan haal ik veel en veel meer, maar hoe gebruik je speedtest in ssh?
Wget testje kan ik zo doen, geen enkel probleem.

[Sub Zero]

Als ik vanuit de server zelf ga trekken, dan haal ik veel en veel meer, maar hoe gebruik je speedtest in ssh?

scp [email protected]:/path/naar/een/grote/file . (vergeet de punt niet op 't einde).

[BasMSI]

Dat bedoelde ik dus niet.

Want dat gaat met wget ook prima.
Ik bedoelde dus letterlijk, hoe draai speedtest.net in SSH zodat je ook zo'n mooi schermpje kan laten zien.

[crapiecorn]

Ik bedoelde dus letterlijk, hoe draai speedtest.net in SSH zodat je ook zo'n mooi schermpje kan laten zien.

Er is een manier : firefox (of dergelijke) + flash op server installeren en dan via X forwarding speedtest draaien. Al denk ik niet dat je je server wil vervuilen met deze dingen.