Depuis début janvier, les femtocell Orange des membres de SCANI tombent en panne les unes après les autres.

Le symptôme est le suivant :

• A l’instant T, tout va bien
• La femtocell redémarre (suite à une coupure de courant, par exemple, ou le simple fait de l’avoir débranchée)
• Elle ne retombe jamais en marche
• Si on la branche sur une box d’un opérateur national bien connu, elle fonctionne sans soucis
• Si on la branche sur le réseau de SCANI, elle ne fonctionne pas

Après plusieurs discussions en ligne et par téléphone, le support d’Orange se borne à tourner en rond, ou, au mieux, à conseiller à ses clients de demander « une IP fullstack » à son opérateur. L’enfumage technocratique a toujours été un bon moyen de se débarrasser d’un appel gênant dans une hotline.

Manque de pot pour Orange, chez SCANI, on ne fait que ça, des IP fullstack. Pour ceux qui sont encore entrain de se gratter la tête, une IP fullstack, c’est le fonctionnement normal sur internet. Vous avez une connexion, vous avez une adresse IP rien qu’à vous. Par opposition aux IP partagées entre plusieurs clients d’un opérateur qui gère comme il peu la pénurie et sa croissance (chez SCANI, on est petits et on a un peu de stock, donc ça va)

Du coup, il semble bien qu’Orange ait, quelque part entre décembre et janvier, mis en route un filtrage des adresses depuis lesquelles ses femtocell ont le droit de se connecter. « vous êtes un opérateur connu, pas de soucis. Vous êtes un nabot dans un coin reculé de la campagne, allez vous faire voir ».

Il leur aurait été très simple de relever l’ensemble des adresses ou sont utilisées leurs femtocell, de les grouper par opérateurs et de vérifier manuellement cette liste, mais non, ils ont préféré appliquer une méthode bien plus sale.

Malgré pas mal de tentatives, nous ne savons toujours pas comment être inscrits sur cette liste (ni même si un moyen existe). Et le signaler à notre régulateur national n’a rien donné non plus.

Heureusement que quelques personnes ont la chance de pouvoir s’équiper avec des smartphone récents permettant le wificalling. Mais rien ne dit que cette fonctionnalité là ne sera pas également réduite à une liste d’opérateurs sur laquelle nous ne serons probablement pas …

(l’image d’illustration de cet article est l’un des premiers relais implantés par SCANI il y a 6 ans, dans l’ombre d’un pylône géré par FPS sur lequel nous avions renoncé à monter)

---

Mise à jour du 28 janvier 2020

En fin de semaine dernière, il semble que notre article de blog ait fini son tour et ait fini par atterrir sur le bureau d’une personne qui bosse sur les femtocell chez Orange.

Du coup, depuis vendredi, on a récupéré la femto HS d’un des membre et on dissèque le problème en long en large et en travers en enregistrant ce qui passe sur le réseau pour le disséquer. Pour les plus technophiles d’entre vous, voilà ce qu’on constate :

• La femto reboot environ tous les quart d’heure, faute d’avoir pu s’initialiser.
• Sur les 10/12 premières minutes, elle envoi des requêtes NTP en rafale vers un serveur chez Orange, quelque chose comme 10 par secondes, puis se calme pendant quelques minutes en n’en faisant plus qu’une par seconde (mais vers deux serveurs) avant de finir par rebooter
• Du côté IPSEC, on se dit qu’il doit y avoir un tunnel de contrôle et un tunnel de passage d’appel, mais au démarrage de la femto, la connexion IKE ne se termine pas comme il faut avec un formidable « len mismatch : isakmp 2124/ip 1364 »

Mais tout ceci n’arrive pas toujours … De la joie d’auditer un équipement sans y avoir un accès direct et en faisant conjectures sur conjectures.

D’après notre contact chez Orange, toutes les femto concernées ont disparues de la circulation le 6 janvier (sauf une le 8 …). Du côté des membres de SCANI, certaines (qui n’avaient pas été redémarrées) fonctionnaient encore le 13 janvier. Et bien entendu, il n’y a eu aucune modification d’ampleur sur le réseau de SCANI qui pourrait avoir un rapport avec tout ça dans la première quinzaine de janvier.

Bref, on a encore l’arrière train dans les dunes de la plage, mais au moins, on a quelqu’un à qui parler au bon endroit et on a donc bon espoir d’arriver au moins à savoir pourquoi, et au mieux à résoudre le problème \o/

---

Mise à jour du 28 février 2020

Hier matin, un membre de SCANI a signalé qu’après avoir râlé auprès du support Orange et s’être pris une fin de non recevoir sur le thème « SCANI n’est pas un réseau autorisé », sa femtocell était retombée en marche hier. Et du coup, toutes les autres probablement aussi (nous n’avons pas pu joindre tout le monde).

Notre contact chez Orange ne sait pas non plus pourquoi, bref, on est dans le flou le plus total, ne sachant ni pourquoi c’est tombé en rade, ni pourquoi c’est revenu, ni si la situation va durer.

Mise à jour du 1er mars 2020

Attention, la suite est un brin technique !

Le cœur du réseau SCANI (situé à Paris) a connu un incident le 27 février en début d’après midi. Concrètement, rien de bien méchant, un routeur a cessé de fonctionner comme il fallait et le trafic a automatiquement été dérouté vers le second, donnant lieu à une interruption vers certaines destinations sur internet de l’ordre de quelques minutes.

Lors de cet incident, le routeur incriminé a tout simplement annoncé aux autres opérateurs auquel il est connecté que le réseau de SCANI avait disparu. Du coup, le trafic sortant vers internet continuait à passer par lui, mais l’ensemble du trafic entrant passait par l’autre.

C’est à ce moment précis que les femtos Orange se sont mises à fonctionner de nouveau.

Le 28 au soir, nous avons rétabli le fonctionnement normal du routeur fautif, sans faire le lien avec le retour des femtos. La météo étant ce qu’elle est en ce moment, le département subit beaucoup de coupures de courant un peu partout, et cet après midi, un des membres de SCANI en Puisaye nous disait « ah ben la femto qui remarche ça n’a pas durer longtemps : elle est de nouveau en panne ». C’est à ce moment qu’on a commencé à se dire que la disparition partielle du routeur et son retour était douteuses.

On a donc, ce soir, volontairement coupé le-dit routeur (enfin, une partie seulement, sans impact sur le trafic des membres) et avons constaté que les femtos refonctionnaient. Après quelques tests, nous avons donc fini par prendre contact avec nos camarades de chez Hivane (l’opérateur qui nous permet de joindre Orange depuis ce routeur) pour tenter de pousser les investigations.

Hivane est un opérateur associatif qui a pour objectif de fournir des ressources réseaux aux petites structures comme nous. Il souffre parfois d’attaques réseau assez violentes dites « attaques par déni de service », consistant à bourrer les tuyaux jusqu’à plus soif pour rendre injoignable une machine ou un réseau en particulier. Pour limiter la portée de ces attaques et protéger ses utilisateurs (dont SCANI), Hivane a donc mis en place une limitation de débit sur certains protocoles souvent utilisées dans le cadre d’attaques par déni de service (dans le cas qui nous intéresse, le NTP, protocole servant aux ordinateurs à se mettre à l’heure à travers internet et permettant d’éviter de mettre une pile qui a pour rôle de garder l’heure qu’il est dans un appareil quand il est débranché).

Le fonctionnement normal de NTP est, pour simplifier, le suivant :

• Bonjour, tu sais quelle heure il est ? Chez moi, il est telle heure !
• Salut, quand j’ai reçu ta demande, il était telle heure. Et maintenant que je te réponds, il est telle heure.
• Ok, bien reçu. Quand j’ai reçu ta réponse, il était telle heure chez moi, du coup, j’ai mis à jour mon horloge, maintenant il est telle heure.
• Oui, mais on dirait que pendant qu’on se parle, le temps passe. A vue de nez, d’après ce qu’on se dit là, le trajet entre nous dure 34 millisecondes, donc il faut encore que tu te décale d’un peu dans le futur pour que tu sois bon.
• Ok merci A+.

Si on résume donc, il faut quelque chose comme 5 messages entre deux machines pour qu’elles se mettent à la même heure. Dans la réalité, c’est un peu plus, et surtout, le processus se répète régulièrement pour s’assurer que les horloges ne dérivent pas.

Mais les femtos d’Orange, elles, elles envoient plusieurs centaines de fois cette quantité de messages pour tenter de se mettre à l’heure. On ne saura probablement jamais pourquoi mais ce n’est pas un comportement normal. Du coup, la limitation de débit installée par Hivane pour protéger nos réseaux empêchait une mise à l’heure convenable de la femto.

On pourrait se dire que ce n’est pas bien grave, mais la femto utilise ensuite tout un tas de protocoles de sécurité pour se connecter au réseau de l’opérateur et permettre de passer des coups de fil … Et l’heure qu’il est est un des éléments de base de la cryptographie sur internet.

La solution mise en œuvre pour éviter le problème est donc de lever la limitation de débit vers et depuis le réseau d’Orange ou sont hébergés les serveurs utilisés par les femtos. On va également tenter de leur susurrer à l’oreille que rien ne sert d’être aussi agressifs sur le NTP pour avoir une heure qui va bien (après tout, les femtos Bouygues -pour ne citer qu’eux- y arrivent fort bien)

On tient au passage à remercier monsieur Y. chez Orange qui a pris contact avec nous pour tenter de résoudre le problème ainsi que tous ses collègues.