Comment travailler localement avec l’IA (et pourquoi un Raspberry Pi est un bon point de départ)

Faire tourner l’IA chez soi, sans envoyer ses données dans le cloud, est devenu accessible. Voici comment s’y prendre, du Raspberry Pi au poste de travail.

Pourquoi travailler en local ?

Confidentialité : vos prompts et vos fichiers restent sur votre machine.

Coût : pas d’abonnement par requête, pas de clé d’API à gérer.

Autonomie : l’IA fonctionne même sans connexion internet.

Le compromis : les modèles locaux sont plus petits que les géants du cloud. Il faut choisir la bonne tâche pour le bon modèle.

Option 1 : un Raspberry Pi 5

Un Raspberry Pi 5 peut faire tourner de petits modèles avec Ollama, un outil qui installe et lance des modèles en quelques commandes. Selon un guide communautaire, 8 Go de RAM sont nécessaires pour des modèles de 7 milliards de paramètres.

Deux points de vigilance :

• Refroidissement : en pleine inférence, le Pi 5 peut atteindre 80 °C. Un ventilateur actif le maintient sous 70 °C d’après ce même guide.
• Attentes réalistes : on parle de petits modèles, pour résumer, traduire ou classer. Pas de remplaçant d’un grand modèle cloud.

Option 2 : ajouter l’AI HAT+ 2

Raspberry Pi a lancé l’AI HAT+ 2, une carte d’extension basée sur l’accélérateur Hailo-10H. Ses caractéristiques confirmées :

• 40 TOPS (en INT4) et 8 Go de RAM embarquée.
• Prix de lancement : 130 $.
• Compatible Raspberry Pi 5 uniquement (il faut le port PCIe).
• Un serveur dédié, hailo-ollama, reprend l’API d’Ollama.

Soyons honnêtes : le bénéfice dépend de l’usage. Hailo précise que la carte n’est pas conçue pour remplacer le cloud ou les grands modèles, mais pour de l’IA embarquée (domotique, sécurité, robotique). Certains testeurs sont plus nuancés : un Pi 5 avec davantage de mémoire est parfois une alternative à étudier, et un test comparatif a jugé le résultat de la carte décevant face à un mini-PC.

Option 3 : un poste de travail IA local

Si votre besoin est professionnel (lire une page, remplir un formulaire, trier des fichiers), un Raspberry Pi n’est pas forcément l’outil le plus pratique. C’est là qu’intervient Ricuicui, un navigateur et un système d’agents IA locaux, développés en Rust, pour Mac et Windows.

Ce que propose Ricuicui, selon son site :

• IA locale : traduire, résumer, trier et rédiger sans internet ni clé d’API, avec vos données qui restent chez vous.
• Agents qui lisent, cliquent et remplissent des pages, avec une validation de votre part avant les actions sensibles.
• Offre Pro à 12,90 € par an pour l’IA locale.

Si vous préférez ne pas tout héberger, les modèles hébergés, agents et « graines » (petits outils installés localement) sont listés sur ricuicui.com.

Quelle option choisir ?

• Apprendre, bricoler, projets domotiques : Raspberry Pi 5 (8 Go minimum), avec Ollama.
• Besoin de plus de puissance sur Pi : comparez l’AI HAT+ 2 avec un Pi à plus de mémoire avant d’acheter.
• Travail quotidien sur Mac ou Windows : un poste de travail local comme Ricuicui.

En résumé

Travailler en local avec l’IA, c’est choisir la confidentialité et la maîtrise des coûts, en acceptant des modèles plus modestes. Commencez petit, mesurez, puis montez en puissance.