Bonjour,
Tous les services de la MLA sont inaccessibles à cause d’un incendie. Le feu n’a pas atteint le datacenter dans lequel sont les services mais ils sont pour l’instant inaccessibles. J’espère que le service sera rétablit d’ici demain.
A suivre
Octave Klaba fournit des informations régulières au sujet de l’incident:
De ce qui suit on peut interpréter que SBG5 (sur lequel les services de la MLA se trouvent) pourrait revenir aujourd’hui (il est seulement dit que SBG1,SBG3 et SBG4 peuvent mettre deux semaines à revenir). Cependant il est aussi dit que la salle réseau de SBG5 doit être reconstruite donc un doute persiste: ça ne se fait pas en cinq minutes.
Pas de redémarrage aujourd’hui de SBG1,SBG3 et SBG4
Plan pour les 2 prochaines semaines:
1)Remise en service de 20KV pour SBG3
2)Remise en service de 240V in SBG1/SBG4
3)Contrôle des DWDM/routers/switchs dans la salle réseau A (SBG1).
Contrôile des fibres de la liaison Paris/Frankfurt
4)Reconstruction de la salle réseau B (SBG5) Contrôle des fibres de la liaison Paris/Frankfurt
Les nouvelles d’hier nuit (23h30) n’apportent rien de nouveau. Ce matin les services sont toujours coupés du réseau, il faut patienter encore au moins une journée de plus. Un communiqué est attendu pour 10h30 ce matin.
$ enough --domain mlalerte.ovh openstack server list
Failed to contact the endpoint at https://image.compute.sbg5.cloud.ovh.net/ for discovery. Fallback to using that endpoint as the base url.
Failed to contact the endpoint at https://image.compute.sbg5.cloud.ovh.net/ for discovery. Fallback to using that endpoint as the base url.
The image service for production:SBG5 exists but does not have any supported versions.
RAN: /opt/venv/bin/openstack --os-cloud production server list
Pour information, les mails sont manifestement à nouveau opérationnels (et avec eux les agendas)
Les agendas ne sont pas synchro, ce qui est logique, vu qu’ils passent par nextcloud
La FAQ a été mise à disposition:
Concernant Public Cloud, les régions OpenStack directement affectées par l’incendie sont : openstack-sbg1, openstack-sbg2, openstack-sbg3 et openstack-sbg4 (physiquement dans le datacenter SBG2). Les régions openstack-sbg5 et openstack-sbg6 sont indisponibles (physiquement dans le datacenter SBG3), mais elles seront remises en service dès que SBG3 sera fonctionnel.
Une information sur le délai de rétablissement : https://help.ovhcloud.com/fr/faq/strasbourg-incident/when-will-my-infrastructure-available-again/
C’est toujours inaccessible ce matin. Comme la MLA se trouve sur la région openstack-SBG5 c’est la remise en service du bâtiment SBG3 qui la concerne.
Le point d’hier en fin de journée:
• SBG3 non touché par l’incendie. L’objectif est de rétablir le courant et le réseau semaine 12 et de restaurer progressivement tous les services
C’est à dire la semaine du du 22 mars 2021. Il faut donc prévoir que les services ne seront pas disponibles la semaine prochaine avec certitude. Avec un peu de la chance ils seront de nouveau en ligne le 22 mars mais cela peut prendre jusqu’à la fin du mois.
La bonne nouvelle c’est que les services sont hors ligne uniquement parce qu’ils ne sont pas branchés électriquement.
Le site pour faire patienter est en place.
Un email va être envoyé aujourd’hui à chaque client avec sa situation spécifique et les options à disposition.
Un courriel a été reçu cette nuit et confirme que tous les services de la MLA et une partie des sauvegardes sont intacts:
MLA sbg5 Récupérable
Volume Snapshot sbg5 Récupérable
Il reste encore une incertitude sur les sauvegardes associées:
Instance Backup sbg5 Sous investigation
Même en l’absence des Instance Backup il n’y aura aucune perte de donnée. Le courriel ajoute à propos du batiment SBG3 dans lequel se trouve la region sbg5:
le ou les services hébergés dans le datacenter SBG3 sont actuellement isolés par mesure de sécurité. Ils pourront être remis en service à partir du 22 mars et nous vous en tiendrons informés.
Et de façon assez contradictoire, le courriel conclu:
Compte tenu de la situation exceptionnelle, et malgré tous nos efforts, il est possible que des services indiqués comme « récupérables » ne soient malheureusement pas recouvrés.
Un intéressant mélange mais je ne suis pas particulièrement inquiet parce que qu’il a été écrit à plusieurs reprises que SBG3 n’a pas été touché par l’incendie.
Un autre courriel de OVH indique que les trois prochaines mensualités d’hébergement seront gratuites en compensation de l’indisponibilité.
Pour les services « récupérables », nous appliquerons une gratuité équivalente à 3 fois le montant de la facture du mois de février 2021 de ces services.
Comme les factures sont stables d’un mois sur l’autre ça couvrira donc bien les trois prochains mois.
La partie qui concerne la MLA dans le point de fin de journée hier est rassurante:
SBG-3
- Situation : Serveurs préservés
- Redémarrage électrique : Ré-énergisé temporairement le 12/03 et définitivement le 16/03
- Redémarrage Réseau :
- Nouvelle salle réseau déployée et energisée le 16/03.
- Redéploiement réseau interne le 17/03.
- Redémarrage des Serveurs : ETA provisoire le lundi 22 Mars pour redémarrage progressif
• Le séchage des bâtiments SBG3 sera terminé ce soir.
Rien de nouveau au point technique d’aujourd’hui 18h00.
Le redémarrage des serveurs dans le batiment SBG3 va débuter vendredi 19 mars au lieu de lundi 22 mars. Tout ne va pas être rallumé en même temps, ce sera progressif. Mais pas d’indication du temps que prendra ce redémarrage.
La page suivante donne une vue d’ensemble du batiment SBG3. Mais comme on ne sait pas a quel endroit exactement se trouvent les serveurs de OpenStack SBG5 (qui est dans le batiment SBG3 pour rappel), ça n’aide pas beaucoup.
La page de suivi des travaux qui se trouve ici:
Contient a peu près les mêmes informations que
avec un peu moins de détails.
A 18h00 aujourd’hui une petite partie des serveurs ont redémarré. A cette cadence on peut compter qu’ils seront tous de nouveau en ligne avant la fin de la semaine prochaine.
Et puis finalement ils sont éteints. Il faut passer un bon week-end et laisser les gens faire leur travail, c’est ça la morale de l’histoire 
En raison du nouvel incendie a eu lieu hier soir, j’ai l’impression que ça retarde la mise en fonction de 24h. Ca a duré quelques heures seulement et ça n’a pas touché SBG-3. En tout cas ça peut expliquer que les machines allumées plus tôt dans la journée ont été éteintes ensuite.
