Quand on parle de modèles de langage locaux , on pense immédiatement à des GPU puissants, des dizaines de gigaoctets de RAM et des configurations complexes. NightRun bouleverse complètement cette idée : ce projet permet d'exécuter un LLM directement depuis une clé USB ou une carte SD , sans système d'exploitation, sans réseau, sans rien d'autre. Un Raspberry Pi 5 avec 8 Go de RAM suffit pour transformer votre mini-ordinateur en chatbot dédié. L'idée est aussi simple que radicale : au lieu d'installer un système d'exploitation, de télécharger un environnement d'exécution et de tout configurer, NightRun est une unique application UEFI écrite en Rust que le firmware de la machine lance directement. Elle charge le modèle en RAM, dessine son interface pixel par pixel et permet de discuter. Seules deux commandes sont disponibles : /clearcouper le micro et /byeéteindre l'application. Rien d'autre. Le projet prend en charge quatre modèles, tous dans la gamme de 1,3 à 2,4 Go : Llama 3.2 avec des paramètres 1B et 3B , Granite 4.1 3B et Qwen3 4B. Tout fonctionne exclusivement sur le processeur , ce qui signifie que les réponses ne sont pas instantanées, mais aussi que le système fonctionne sur du matériel que vous possédez déjà. Le contexte est limité à 4 096 jetons , une fenêtre qui aurait produit des réponses inexploitables il y a quelques années, mais que les petits modèles gèrent désormais étonnamment bien.

Pour faciliter l'enregistrement, les testeurs ont exécuté le modèle Qwen3 4B sur un ordinateur portable et comparé les résultats avec Lemonade, un environnement d'exécution traditionnel utilisant le même modèle. Les réponses de NightRun étaient légèrement plus courtes et dépourvues de mise en forme Markdown , mais d'une qualité globalement équivalente. Sur six questions de test, NightRun a échoué à deux reprises, mais aucune de ces questions n'était la question piège : un problème de temps nécessitant des calculs arithmétiques, qui a été résolu correctement. La limitation la plus notable est l' absence de prise en charge d'Unicode , ce qui entraîne la perte de certains accents dans les réponses non anglaises. L'installation se veut simple, mais le projet étant encore récent, certains problèmes de compatibilité avec les versions récentes du compilateur Rust peuvent entraîner des échecs de compilation. Sous Windows, il est possible de contourner les problèmes les plus courants en compilant l'image avec Rufus cargo xtask imageet en l'écrivant sur la clé USB en mode DD , en ignorant l'étape via WSL2 qui provoque des erreurs de vérification. NightRun est cependant très rigoureux quant à la sécurité du flashage : il vérifie les sommes de contrôle du modèle lors de son chargement en mémoire , refuse d'écrire sur les disques système et exige la saisie explicite du chemin d'accès au périphérique avant de poursuivre.

Ce qui est peut-être le plus intéressant avec NightRun, ce n'est pas tant technique que conceptuel : un Raspberry Pi avec une carte SD exécutant un chatbot directement n'est pas un ordinateur avec une application d'IA ; c'est un appareil électroménager doté d'IA . Un objet dédié, isolé du réseau, qui n'interagit pas avec votre système d'exploitation et ne transmet aucune donnée à l'extérieur. Pour ceux qui souhaitent expérimenter l'IA locale sur un matériel minimaliste, c'est probablement le point de départ le plus radical disponible aujourd'hui. Le projet n'en est qu'à ses débuts et rencontre des difficultés lors des mises à jour de la chaîne d'outils, mais il démontre un point important : les ordinateurs monocartes comme le Raspberry Pi sont plus performants qu'on ne le pense, et les modèles plus petits ont fait d'énormes progrès. Il mérite d'être suivi de près, ne serait-ce que pour observer l' évolution du edge computing associé à l'IA locale .