Downtime Userbase 08/06/2021

[meon]

Zoals alle grote sites was ook Userbase vandaag niet bereikbaar.

Geen echt goeie reden waarom, lijkt op stomweg een kernel-crash van de server-host. Ik was al snel een plan B aan het bedenken om de site terug online te brengen op basis van backups (vandaar de ugly lege witte pagina met tekst), maar de -altijd vriendelijke- EDPnet-support heeft met een fysieke druk op de powerknop de machine terug aan de praat gekregen. Hoera!

[Joe de Mannen]

Grotesk 'zoals alle grote sites'

Afkickverschijnselen begonnen te komen...

Goed gewerkt.

J.

[jphermans]

Was toch al van deze morgen heel vroeg. Kon toen ook al niet meer op userbase.

[meon]

Was sinds gisteren-avond eigenlijk: https://stats.uptimerobot.com/N9EPsNvJL/777340712

[Sasuke]

Precies eens wat vaker rebooten. Site is ook pak sneller nu

[meon]

Kernel panic wegens uptime overflow 't zou zomaar eens kunnen ook

[fryelectro]

Ni gewoon een memory leak? Heb je iets qua post mortem info?

[seagull]

"Nieuwe berichten" werkt bij mij (nog) niet. Redirect naar http://userbase-prd.cloud.anigraphics.b ... d=newposts.

[meon]

SubZero heeft wat zitten rondkijken, maar zoals ik zei eigenlijk geen goeie uitleg. In de syslog zie je gisteren tot 22:16 falende SSH-inlogpogingen (nothing new) en de volgende entry is van deze middag bij het booten dat imklog en rsyslogd starten...

@seagull op deze site zou geen enkele link naar die URL kunnen bestaan, dus waarschijnlijk gevolg van de 302 redirect die je browser gecached heeft. Doe eens de F12-tools open, samen met dit vinkje en klik nog eens op die link?

[ITnetadmin]

Wat mijns inziens wel aantoont dat een secondair communicatie kanaal handig kan zijn.
Of dat nu een fullblown chat is, zoals discord, of een medium als twitter of facebook (waar ik trouwens oude userbase accounts gevonden heb).

Wel toeval dat dit net gebeurde als fastly down ging

Bijkomend vraagje: waar komt de userbase-prd.cloud.anigraphics.be URL vandaan?
Een tijdelijke stop page op iemands domein?

[meon]

Ja, mijn eigen domein, alles cloud.anigraphics.be = Azure-hosted spul.
Ik had al eerder een nieuwe Debian-VM daar draaien voor test-doeleinden en was al wat aan het voorbereiden om daar backups op te restoren mocht de originele Userbase-server niet meer (simpel) opkomen. Die 'stop page' zoals je zegt was eigenlijk eerder ook een placeholder-page dus.

Nuja, 't is niet dat ik geen meldingen heb gekregen; vooral via Twitter spraken verschillende mensen mij aan. Goztow was gisteren de eerste, via SMS In het begin hoopte ik nog op een tijdelijk issue dat zichzelf ging oplossen, maar had voorbij voormiddag te veel prior commitments gepland staan om snel wat opgelost te krijgen.

Maar je geeft op zich wel iets aan waar aan gewerkt kan worden, want nu was gewoon een halve dag eigenlijk geen communicatie, enkel de Cloudflare "host offline"-pagina.

[ITnetadmin]

Intern zal er wel communicatie geweest zijn, maar voor de rest van ons was het koffiedik kijken.
Voor een site over telecom etc is dat uiteraard een tikkeltje jammer.

Een status pagina bij de placeholder had al iets kunnen zijn; nog leuker zou een nood communicatiemiddel zijn, iets two-way zoals een of ander basic chat of forum systeem om onder mekaar op de hoogte te kunnen blijven (kwestie van niet te hard te moeten afkicken )

Uiteraard is dat een beetje een luxe item, maar als vooraanstaande telecom site mag het wat meer zijn, niet?

PS: er is een userbase twitter account en een fb page (beide laatst gebruikt in 2015); ik neem aan dat niemand de login gegevens nog heeft?

[antutu]

Wat mijns inziens wel aantoont dat een secondair communicatie kanaal handig kan zijn.
Of dat nu een fullblown chat is, zoals discord, of een medium als twitter of facebook (waar ik trouwens oude userbase accounts gevonden heb).

En waarom precies zou dat nodig zijn? Het is nu niet alsof hier kritieke zaken van wereldbelang worden besproken die absoluut NIET kunnen wachten tot na de downtime.

We zijn hier allemaal nog, dus blijkbaar is niemand hieraan dood gegaan!

En weet je... er moet niet altijd voor alles een Discord zijn. Voor je het weet hangt zowat de hele userbase (no pun intended lol) uit in die chatrooms en is hier geen ziel meer te bespeuren and then... another forum bites the dust. En er zijn al zo weinig gezellige Belgische forumpjes. Ze vallen als vliegen op de grond, net dóór al dat modernere gedoe.

Welcome back, Userbase.be!

[selder]

Die discord is er al eeuwen, maar die heeft nooit veel gevlogen

https://discord.gg/wCmxfcg

[ddd]

Menu "Forum" -> "Nieuwe berichten" werkt nog niet.

[Goztow]

Dit al geprobeerd? https://userbase.be/forum/viewtopic.php ... 06#p881587

[ddd]

Ok, was dus de cache. thanks!

[Fallschirmjaeger]

Op mijn Samsung gsm met de Samsung browser, blijf ik een redirect krijgen naar de cloud anigraphics pagina die uiteraard niet meer laadt. Dit wel enkel de main page, userbase.be. Een specifieke forumpagina opent wel als ik die via google aanklik.

Iemand een idee hoe ik dit in orde krijg? Alle website data & cookies heb ik reeds verwijderd, maar helaas helpt het niet.

Edit: opgelost, alles verwijderen via de browser was niet voldoende, het moest rechtstreeks in de android instellingen.

[on4bam]

Ik had ook gehoopt op een melding via Twitter. Ik was gaan kijken of daar iets gemeld was maar gezien de "laatste activiteit" heb ik er niets gevraagd er van uit gaande dat er druk gewerkt werd om alles weer up te krijgen.

[Tim.Bracquez]

**

[meon]

Ik had ook gehoopt op een melding via Twitter.

Een password reset later:

Twitter: https://twitter.com/userbase/status/1402567428865986564

Ik was gaan kijken of daar iets gemeld was maar gezien de "laatste activiteit" heb ik er niets gevraagd er van uit gaande dat er druk gewerkt werd om alles weer up te krijgen.

Ja, de grap is dat we een maintenance pagina hebben... Maar die staat mee op de server die nu down was. Was geen rekening gehouden met totale downtime .

@meon: Zet even een redirect op http://userbase-prd.cloud.anigraphics.be/forum/ naar https://userbase.be/forum/

Goed idee, ik heb DNS en hostnames voor dat domein nu gepoint naar deze server, hopelijk lost het dat op.

[Sasuke]

@meon ... lees uw FB berichten eens

[wied]

Voor wat het waard is: hier (Debian 10 machine) gaf firefox browser aan dat de server down was, via chrome browser echter kreeg ik de mededeling van meon te zien...

[meon]

Aangezien er een aanpassing was op DNS-niveau (van Cloudflare -> Azure DNS en later weer terug) kan het zijn dat jouw gebruikte DNS-servers omwille van DNS-caching/het (niet) respecteren van de minimum TTL, ... inderdaad de werkende of niet-werkende omgeving te zien krijgt.

[devilkin]

Terug down geweest ?

[Sasuke]

Nee, dagje verlof

[meon]

Langer dan nodig was door een misverstandje

[splinterbyte]

en weeral... duurde wel lang
toch maar eens kijken naar een server met hardware replacement en/of een KVM/reset/recovery service? of VPS

[fryelectro]

Kunnen we Edpnet niet vragen om een vps te sponsoren? @joachim kan ons hier misschien mee helpen?

[meon]

@Sub Zero gaat morgen naar EDPnet om te zien wat er aan de hand is, let's go from there

[meon]

Geplande downtime vandaag, 29/06 vanaf 13u30

Omwille van de bovengenoemde fysieke controles van de omgeving kunnen jullie downtime verwachten vandaag namiddag.

[streulma]

Geen downtime gemerkt vandaag. Is @Sub Zero langs geweest bij EDPNet? Ben wel benieuwd wat er gevonden is.

[meon]

D'er zijn een aantal disks vervangen, maar hotswappable en de RAID is ondertussen voor 93% terug gerebuild.

Laten we hopen dat dat voorlopig de continuïteits-issues oplost terwijl we verder kunnen zien naar een langere termijns-oplossing; op Discord en via PM zijn al wat mogelijkheden aangeboden, dus nu zien wat daarvan effectief gemaakt kan worden en hoe we dat dan kunnen inzetten.

[buthead]

Bestaat er geen soort van instant kloon van het forum naar bvb een vps die het even overneemt bij uitval?

Altijd leuk zulke projectjes om uit te vissen

[meon]

Tja, alles kan he; een geocluster voor de database, high-available opgezette webservers met loadbalancers voor, ...
Maar voor veel van die zaken kom je in enterprise-gebied (en kosten) ofwel zeer specifieke kennis/ervaring om dat mogelijk te maken met FOSS.

Onderaan blijft het natuurlijk een afweging van wat nodig is en wat nice to have. Userbase is geen 'levensnoodzakelijk' service en niemand verliest geld als UB niet beschikbaar is, dus vaak is "gewoon goed, goed genoeg".

[buthead]

Zeker en vast, het is zeker geen enterprise omgeving of bedoeling.

Ik was iets te snel met ingeving dat je laat maar zeggen real live sync hebt zoals in de cloud zoals je bvb je word doc aanpast dit meteen synct

[splinterbyte]

Gewoon een periodieke rsync backup voor de gewone files en een mysql/mariadb slave die je eventueel master kan maken op een VPS ofzo en dan DNS/proxy switchen als nodig?

[meon]

Als jij me kan zeggen hoe je een MariaDB master/slave kan maken .

Ik heb al es zitten zien naar log shipping, maar niet alle tabellen van deze site zijn InnoDB, meeste zijn MyISAM, want read-optimized.

[TheCeet]

Even dit topic kapen.

Yeuh weer online!

[Fallschirmjaeger]

Toch altijd efkes verschieten.