DCSTAR / Fusa down

[guntherstassen]

Sinds 26/07/2021 11u15 geen connecties meer mogelijk met DCSTAR Oostkamp (Fusa) . Helaas nog geen twitterbericht of dergelijke..
Website van DCSTAR ligt er zelf onderuit. Onweer/Slecht weer?

[Tim.Bracquez]

**

[guntherstassen]

Wist de url van de website niet.. Daarom was ik aan het zoeken naar Twitterberichten.
Heb de URL opgeslagen in mijn bookmarks

[Sasuke]

We updaten onze NOC heel regelmatig: https://noc.fusa.be/

Alles is aan het online komen, DCSTAR mee bezig

Mitigation is met 1 't' Tim

[tien]

Mitigation is met 1 't' Tim

2

[Sasuke]

Ok, 2 , geen 3

[Tim.Bracquez]

**

[keerekeerweere]

De aanval was over de 200Gbit

blijkbaar is de aanval nog aan de gang ?

[Tim.Bracquez]

**

[pfuhu]

Balen dat ze juist die IP-range aanvallen waar ik ook tussenzit. Hopelijk krijgen ze het snel opgelost ...

[Ken]

Balen dat ze juist die IP-range aanvallen waar ik ook tussenzit. Hopelijk krijgen ze het snel opgelost ...

Idem, al m'n tunnels zijn sinds deze ochtend volledig offline gvd. Toch ferm irritant zulke aanvallen, dacht dat deze min of meer makkelijk konden aangepakt worden zoals bv. OVH kan op hun infra.

[keerekeerweere]

Zie net dat mijn ip en server terug bereikbaar zijn…

[pfuhu]

Dan hebt gij geluk. Bij mij nog niet dus

/edit: ik zie dat er op NOC wordt gesuggereerd om IPV6 te gebruiken. Moeten we dat aanvragen of is de setting in cp al terug te vinden? (is geen oplossing voor nu, maar wel voor de toekomst om de belangrijkste dingen over te laten lopen ...)

[keerekeerweere]

Inderdaad enkel ipv6 die werkt momenteel…
IPv4 nog zeker niet op t moment

[Mr.T]

Bizar dat Colt al moeite heeft met een 300Gbps DDoS aanval. Dat zou toch door elke zichzelf respecterende partij moeten gemitigeerd kunnen worden.
Als fusa hulp nodig heeft, ik kan helpen

[Ken]

Bizar dat Colt al moeite heeft met een 300Gbps DDoS aanval. Dat zou toch door elke zichzelf respecterende partij moeten gemitigeerd kunnen worden.
Als fusa hulp nodig heeft, ik kan helpen

Intussen zijn we toch al offline sinds 11:15:36. Hoewel het geen cruciale tunnels zijn is het wel jammer dat Fusa in het kou gelaten wordt...

[bogon]

Dan hebt gij geluk. Bij mij nog niet dus

/edit: ik zie dat er op NOC wordt gesuggereerd om IPV6 te gebruiken. Moeten we dat aanvragen of is de setting in cp al terug te vinden? (is geen oplossing voor nu, maar wel voor de toekomst om de belangrijkste dingen over te laten lopen ...)

Helaas ondersteunt Fusa geen DHCPv6-PD (IPv6 prefix delegation) wat wilt zeggen dat je voor een dual-stack IPv4 NAT/IPv6 netwerk een brouter moet gebruiken (of aparte router en bridge). En sowieso (ook zonder NAT) heb je dan ofwel bridge-firewalling ofwel firewalling op elk van je hosts apart.

[Tomsworld]

Ik weet dat Fusa hier dcstar info kopieert maar op zich vind ik het niet netjes van Colt.

Het colt product was me voorgesteld als > 1 Tbit te kunnen filteren ...

Ik zou me als klant ook bekocht voelen, als je ziet wat een prijzen zo een diensten vragen.

Hoog tijd dat de vakantie voorbij is ...

[ubremoved_2964]

-

[guntherstassen]

Ik weet dat Tim hier weinig aan kan doen als je van een andere speler afhangt maar ik hoop voor Tim dat hij zijn klein lettertjes van SLA-contracten grondig heeft laten bestuderen door advocaten. (cruciale servers/apparatuur zet je ook beter niet in DCSTAR. die hebben niet zo een goede reputatie).

Ik gok nooit op 1 enkele DC..
Maar nu is het bijna 24 uur later en helaas nog niet alles op (mijn ip-adressen toch niet).

[keerekeerweere]

Ik vind persoonlijk dat fusa hier heel transparant communiceert over de stand van zaken.

<offtopic>
ipv6 lijkt in mijn geval nu goed te lukken, en is inderdaad maar voor 1 fysieke machine met wat vm's erop. net toen je er van uit ging dat alles ipv6 werkt stel je dan toch nog een kleinigheid vast waardoor hiet niet 100% werkte, na een configuratie aanpassing van de system dns resolvers uiteindelijk tot terug tot een werkend ipv6 resultaat gekomen.
</offtopic>

Maar helaas verandert die niets aan het probleem en vooral dat een upstream leverancier toch niet helemaal in staat is om de aanvallen te neutraliseren. Ongetwijfeld is de attack vector zeker uitgebreider t.o.v. vorige of andere voorbeelden.

Bestaat er eigenlijk een NaWAS verhaal in België of kunnen Belgische providers en DC's daarvan gebruik maken ?

[Tomsworld]

Ik vind het persoonlijk grof wat Colt doet, als hun infra gedimensioneerd is zouden ze perfect bepaalde mitigatie kunnen doen. Voor andere bedrijven bv hebben we al scenario's gehad waar je bv enkel blijft annonceren aan Belgische iep's. Ok dingen zouden niet werken maar je zou vanaf een proximus / telenet / Edpnet dan wel aan de servers kunnen.

Ik weet dat Tim hier absoluut ook maar klant is en niets kan aan doen, dat is het nadeel om je netwerk te outsourcen.

@ keerekeerweere nalas is een Nederlands verhaal maar wordt ook gebruikt door Belgische klanten ( Edpnet bv ) het enige wat je moet hebben is een connectie op een ixp waar nawas zit.

Ik vermoed dat het probleem hier zal zijn dat de vector/target continue veranderd, dan heb je ofwel een goed heel actief SOC nodig bij de cleaning provider ofwel een systeem dat snel en dynamisch kan leren en zich kan aanpassen.

edit

Ik zie idd de route nog steeds niet in de global routing table.

[devilkin]

Zonder meer info van Colt lijkt het me ook maar gissen wat daar juist gaande is... kappen op 1 partij of een andere helpt niks

[Tomsworld]

Zonder meer info van Colt lijkt het me ook maar gissen wat daar juist gaande is... kappen op 1 partij of een andere helpt niks

Ze verkopen het als unlimited

https://www.colt.net/wp-content/uploads ... nglish.pdf

En ze zijn zeer snel om je te contacteren als je onder aanval bent

Unlimited Mitigations
IP Guardian DDoS mitigation
is unlimited, A fixed monthly fee covers all mitigations, regardless of the number of mitigations per year or the size of the attack. The customer decides on the clean traffic bandwidth which will set the price of the service, and there are no additional or hidden costs.

Ik weet dat je meer info moet hebben van Colt, maar wat Tim zegt is wel correct, het is een dure service, en wat in hun datasheet staat mogen we ook quoten denk ik.

Sterkte Tim trouwens denk vooral dat het voor hem zeer frustrerend is deze situatie.

EDIT 10:18

Ik zie nu sinds 4 minuten de route terug via 8220 ( colt ) en dan 42160 ( lcp as )

[pfuhu]

Bij mij lijkt alles terug te marcheren ...

[keerekeerweere]

ook ipv4 nu terug beschikbaar !
bedankt voor de goede zorgen.

[pfuhu]

Terug offline

[Tomsworld]

Ik ben benieuwd wat de beweegredenen zijn van colt om helemaal te droppen want bv hun bnix poort is nooit boven 50% gegaan dus er is ruimte om te annonceren naar de BE iep's.

[Ken]

Ik ben benieuwd wat de beweegredenen zijn van colt om helemaal te droppen want bv hun bnix poort is nooit boven 50% gegaan dus er is ruimte om te annonceren naar de BE iep's.

Ja inderdaad, nog steeds down gvd... Wat een klein bedrag voor die ransom, maar ja, als je betaald, doen ze gewoonweg verder.
Bij een 'nieuwe' klant van mij vroegen ze 5000 EUR na encryptie met ransomware, uiteindelijk met een veel lagere impact dan een heel datacenter...

[ubremoved_2964]

Smerige afperser:



maar colt doet zijn werk niet ... en de prijzen bij fusa zijn omhoog gegaan voor bescherming via hun DDOS wasstraat

[Goztow]

Smerig inderdaad. Veel sterkte aan Tim!

[krisken]

Ook hier een klant van Tim met enkele dedicated servers. Bijzonder lastig en laf deze aanvallen. Maar ik begrijp Tim zn standpunt om niet toe te geven aan dergelijke pipo's die geld aftroggelen met de vage belofte om daarna te stoppen.

[Tim.Bracquez]

**

[devilkin]

Respect voor het vele werk!

[krisken]

Tim,

Ik zou het appreciëren mocht je mn datavolume en facturatie periode laten zoals het was. Deze ddos was buiten je wil om. Je hebt genoeg (financiële) schade geleden hierdoor, waardoor deze inspanning naar mij toe niet hoeft. Het is een leuke geste, maar als klant van de voorbije 12 jaar heb ik nooit kunnen klagen over je dienstverlening. Iedereen kan dit immers meemaken...

K

[Mr.T]

attack size ongekend in België? Laat me niet lachen.
Het probleem met zulke DDoS aanvallen is dat de upstream en/of scrubbing capaciteit onvoldoende is. Kijk naar de aanval tegen Belnet een tijd terug. Het heeft Belnet er wel toe gedwongen te investeren en naast hun eigen scrubbing hardware nu ook een uitwijk methode naar de cloud te hebben (F5 Silverline).
Hier is het gewoon een massive failure van Colt geweest. Al vraag ik me wel af of ze op bepaalde plaatsen in het netwerk niet tegen capaciteitsproblemen gelopen zijn. Ze hebben best nog wat 10G poorten en hun netwerk is vooral actief in Europa, terwijl het meeste ddos verkeer toch komt uit landen als China, Rusland, Brazilië.

Ik had je op zeer korte termijn zo +10G capaciteit naar een cloud scrubber kunnen leveren die niks anders doet dan ddos mitigatie.

Spoofing correct tegengaan is ook niet zo makkelijk.

[krisken]

Als zelfs CERT zegt dat ze nog nooit een aanval van die capaciteit gezien hebben, dan zal dat wel kloppen denk ik. Zie niet in welk voordeel ze hebben om hierover te liegen?

DDos aanvallen komen niet echt uit landen als China, Rusland of Brazilië. Of toch niet persé. Iedereen die thuis om het even welk apparaatje heeft staan dat open en bloot staat (denk aan routers, raspberry pi's, ...) kan mee doen op commando. Al is het maar aan 0.1Mbit...

Als je op korte termijn zo snel kon leveren, waarom heb je dan geen contact opgenomen met Tim via PB? Leek me duidelijk dat hij dit wel kon gebruiken? Achteraf van alles beweren is natuurlijk makkelijker ...

[Mr.T]

Ik heb hulp aangeboden (zie mijn post van 27 Juli).

De DDoS aanvallen die wij bijna wekelijks te verwerken krijgen, tonen nochtans zeer duidelijk welke landen het meeste verkeer veroorzaken. Maar ja ... deze komen niet in het nieuws omdat er nauwelijks tot geen impact is voor klanten door een degelijke ddos mitigatie infrastructuur. Als we elke aanval aan CERT zouden moeten melden, dan is dat een fulltime bezigheid.

[mailracer]

Ik begrijp dat je bij dergelijke infrastructuur en SLA contractueel een draaiboek hebt en niet zomaar iedereen zijn hulp kan aanvaarden ?

[Tim.Bracquez]

**