IA locale : le guide pour comprendre, décider et installer

Une IA locale est une intelligence artificielle qui tourne entièrement sur une machine que vous possédez, dans vos locaux. Vos documents ne partent jamais sur Internet, c'est la différence fondamentale avec ChatGPT et les autres outils cloud.

Ce guide est écrit pour les indépendants, TPE et PME qui se posent la question sans trouver de réponse claire : les articles disponibles sont soit trop techniques, soit écrits par des vendeurs de solutions. Je ne suis ni l'un ni l'autre, je suis consultant, j'utilise ces outils tous les jours dans mon propre cabinet, et je n'ai ni matériel ni plateforme à vous vendre. Ce que vous lirez ici s'appuie sur ma pratique réelle, avec ses chiffres et ses limites.

Une IA locale, c'est quoi concrètement ?

Trois ingrédients, pas plus. D'abord un modèle open source : les mêmes familles de technologies que ChatGPT, mais publiées librement (Mistral, Llama, Gemma et d'autres) et téléchargeables comme un logiciel. Ensuite un moteur d'exécution : un programme gratuit, type Ollama, qui fait tourner le modèle. Enfin une machine : un Mac récent, un PC équipé d'une bonne carte graphique, ou un petit serveur dans un placard.

Quand vous posez une question à ChatGPT, votre texte part sur les serveurs d'OpenAI, aux États-Unis, et vous recevez la réponse. Quand vous posez la même question à une IA locale, tout se passe dans la machine devant vous : débranchez le câble réseau, elle répond encore. C'est le test le plus simple pour savoir si une solution est vraiment locale.

Attention au vocabulaire : « IA souveraine » est devenu un argument marketing qui désigne souvent un simple hébergement en France, vos données sortent quand même de vos murs. Sur l'échelle de souveraineté, c'est un échelon intermédiaire, pas du local.

Pourquoi ne pas simplement utiliser ChatGPT ?

Soyons honnêtes : pour tout ce qui n'est pas confidentiel, ChatGPT et ses équivalents sont excellents, et je les utilise aussi. Le problème commence quand vos documents contiennent des données de clients, de patients, de salariés ou de candidats. Là, trois murs se dressent.

Le secret professionnel. Un expert-comptable qui colle le grand livre d'un client dans ChatGPT, un juriste qui y résume un dossier, un RH qui y analyse des CV : dans les trois cas, des données couvertes par une obligation de confidentialité partent sur des serveurs tiers, hors de tout contrôle. Le RGPD. Ces envois constituent des transferts de données personnelles vers un sous-traitant, souvent hors Union européenne, qu'il faudrait encadrer, documenter, et parfois soumettre à analyse d'impact. La plupart des petites structures ne le font pas, et s'exposent sans le savoir (l'article dédié détaille ce qui se passe vraiment et les trois façons propres de faire). La dépendance. Les abonnements s'empilent (20 à 50 € par mois et par personne, par outil), les prix montent, les conditions changent, et vos méthodes de travail reposent sur des services que vous ne maîtrisez pas.

Que sait faire une IA locale, et où s'arrête-t-elle ?

C'est la question où les vendeurs enjolivent et où les sceptiques exagèrent. Voici ce que j'observe dans ma pratique, mesuré sur mes propres outils.

Ce qu'une IA locale bien configurée fait bien :

• Synthétiser vos documents : comptes-rendus, notes, dossiers, courriers ;
• Rédiger dans vos formats : à partir de vos modèles et de votre ton ;
• Retrouver une information dans des centaines de documents, avec la source ;
• Classer et structurer : tri de courriers, extraction de données récurrentes ;
• Préparer un travail humain : premier jet, grille d'analyse, liste de points à vérifier.

Ce qu'elle fait mal, ou pas du tout :

• Rivaliser avec les grands modèles cloud sur la culture générale ou le raisonnement de pointe ;
• Produire un travail fiable sans cadrage : une IA locale générique, sans vos documents ni vos formats, déçoit presque toujours ;
• Remplacer le jugement professionnel : elle prépare la décision, elle ne la prend pas.

Dans mon cabinet, l'exemple le plus parlant est la rédaction post-réunion : l'outil que j'ai construit transcrit mes rendez-vous et en tire un brief structuré dans mon format. Résultat mesuré sur mes propres missions : 60 à 80 % de temps en moins sur la rédaction des comptes-rendus. Pas 10 fois plus productif, pas magique. Une tâche pénible et récurrente qui a presque disparu.

Comment travaille-t-elle sur vos documents ?

C'est le point qui change tout, et il porte un nom technique que vous croiserez : le RAG (retrieval-augmented generation). L'idée, sans jargon : imaginez un bibliothécaire ultra-rapide. Avant de répondre à votre question, il court chercher les bons passages dans vos dossiers, les pose sur la table, et rédige sa réponse à partir de ces passages-là, en citant ses sources. L'IA ne répond plus de mémoire : elle répond d'après vos documents.

Concrètement, chez moi : mon assistant IA interne indexe mes fichiers de travail — notes, méthodes, comptes rendus — avec une recherche qui combine mots-clés et proximité de sens. Quand je lui pose une question sur une méthode ou un dossier, il me répond en s'appuyant sur mes propres notes, et me dit d'où vient chaque élément. C'est ce même type de système, adapté à votre métier et à vos documents, qui rend une IA locale réellement utile.

Quel matériel, pour quel budget ?

Les ordres de grandeur ci-dessous valent mi-2026 ; ils baissent régulièrement, car les modèles deviennent plus efficaces plus vite que le matériel ne vieillit. Point important : n'achetez rien avant d'avoir cadré le besoin. Le bon matériel dépend entièrement des tâches visées.

À comparer avec l'empilement SaaS : trois outils IA à 20–40 € par mois et par personne représentent déjà 700 à 1 400 € par an pour une seule personne, indéfiniment, et sans régler la question de la confidentialité. L'IA locale inverse la logique : un investissement initial, puis un usage qui ne coûte presque rien. Le détail complet, configurations types, coût sur 3 ans, coûts cachés des deux côtés, est dans l'article matériel et budget.

Qui est concerné en premier ?

Deux profils reviennent constamment, et ce ne sont pas des secteurs mais des situations de travail.

Les professions tenues au secret. Experts-comptables, avocats et juristes, RH et recruteurs, consultants sous accord de confidentialité, professions de santé : pour eux, la question « ChatGPT ou IA locale ? » ne se pose même pas. Le cloud est juridiquement inconfortable, voire exclu. Ils sont aussi ceux qui ont le plus à y gagner : leur quotidien déborde de documents à lire, synthétiser, comparer et rédiger.

Les structures à fort volume documentaire, quel que soit le métier : celles où l'information vit dans des centaines de fichiers dispersés, où chaque réponse à un client oblige à rechercher dans d'anciens dossiers, où les mêmes documents se rédigent en boucle. Là, une IA locale avec recherche documentaire transforme un irritant quotidien en tâche de quelques minutes, sans exposer le fonds documentaire à un service tiers.

Si vous vous reconnaissez dans les deux à la fois, vous êtes exactement le profil pour lequel ce guide est écrit. Pour aller plus loin : la grille complète des trois profils opérationnels.

Par où commencer, sans se tromper ?

Ma doctrine tient en trois mots : l'IA nécessaire. Je n'installe pas de l'IA partout. J'identifie la tâche qui vous coûte le plus de temps sans valeur ajoutée, je vérifie que l'IA y apporte un gain net, et j'installe juste ce qu'il faut. Si l'audit conclut que l'IA n'apporte rien sur votre cas, je vous le dis et je ne vends pas de mission : cette règle est structurelle chez NovaDigital, pas un argument commercial.

Ensuite, situez-vous sur l'échelle de souveraineté. Le 100 % local est une destination, pas un prérequis : beaucoup de structures commencent par un échelon intermédiaire et migrent quand le besoin se confirme. C'est le chemin que je fais moi-même : mon cabinet tourne aujourd'hui sur des outils que j'ai construits, hébergés sur un serveur que je maîtrise, et je migre progressivement vers le 100 % local, je documenterai chaque étape ici, chiffres à l'appui.

Enfin, dimensionnez par niveaux plutôt que d'un bloc. C'est la logique des trois niveaux d'installation locale que j'applique en mission :

Chaque niveau rend service seul ; aucun n'oblige à passer au suivant. Et c'est l'audit, pas le vendeur de matériel, qui doit dire lequel vous concerne.

Déjà publié : l'échelle de souveraineté IA en détail, peut-on mettre des données clients dans ChatGPT ? et quel matériel, pour quel budget ? Ce guide s'enrichit régulièrement : la recherche documentaire sur corpus métier, et les limites honnêtes de l'IA locale.

Questions fréquentes