IA locale : des agents IA chez vos clients, de zéro à pro

L’IA locale, c’est un fichier de modèle posé sur une machine qui vous appartient, et un programme qui le fait tourner : coupez le wifi, elle répond encore. Pour votre client, c’est la seule réponse honnête à « où vont mes données ? », celle qu’attend un cabinet d’avocats ou d’experts-comptables qui n’a pas le droit d’envoyer ses dossiers dans ChatGPT. Voici cette masterclass d’environ 2 heures, résumée partie par partie : lire la machine, installer, mesurer, dimensionner chez le client, et enfin vendre.

1:53:34

Local, hébergé ou cloud : le test du wifi coupé

Pour savoir si une IA est locale, posez deux questions : qui fait tourner le modèle, et où est la machine ?

• ChatGPT ou Claude : le fournisseur fait tourner le modèle sur ses serveurs. Vos données partent chez lui.
• Claude Code ou Codex : l’outil est installé sur votre ordinateur, mais il appelle un modèle dans le cloud. L’interface est chez vous, le cerveau ne l’est pas. C’est la configuration la plus trompeuse.
• L’IA locale : vous faites tourner le modèle sur votre machine. Vous coupez le wifi, ça répond encore.

Il existe une quatrième voie : faire tourner le modèle sur une machine louée chez un hébergeur, OVHcloud par exemple. Personne d’autre ne s’en sert et rien ne passe par OpenAI ni par Anthropic. Mais coupez le wifi, plus rien ne répond : c’est de l’hébergé, privé, souverain si l’hébergeur est européen. Pas du local.

Le local apporte ce que le cloud n’apporte pas : vos données ne bougent pas, votre facture non plus, et personne ne change les règles à votre place. En échange, les modèles locaux sont moins puissants que les modèles de pointe, plus lents, et la maintenance est pour vous. Pour le meilleur raisonnement sur une tâche complexe, le cloud gagne. Pour des données qui doivent rester chez le client, le local est la seule réponse.

La chaîne en 5 composants

Installer une IA locale, c’est assembler cinq pièces :

1. Le fichier du modèle : des milliards de nombres stockés sur le disque. Il ne fait rien tout seul.
2. Le moteur d’inférence : il lit le fichier et calcule le mot suivant. Les deux que vous croiserez partout : llama.cpp, qui tourne sur toutes les machines, et MLX, le moteur d’Apple pour les Mac à puce M.
3. L’application : Ollama et LM Studio. Ce sont des emballages autour des moteurs : ils téléchargent les modèles, les chargent, affichent une interface et exposent une API. Un débutant choisit l’application, elle choisit le moteur.
4. L’agent : un modèle seul, c’est un chatbot. Un agent, c’est un modèle avec un harness, le programme qui lui donne des outils et exploite ses réponses. Encore faut-il que le modèle sache appeler des outils.
5. Le matériel, et c’est là que tout se joue.

Pourquoi tout se joue sur la mémoire GPU

La démo d’ouverture, sur mon Mac mini de 16 Go. Mistral Small 3.2, un fichier de 15 Go, chargé à 45 % sur le processeur et 55 % sur le GPU, mémoire et swap à fond : 9 minutes 46 pour répondre « Bonjour ». Gemma 4 12B, un fichier de 7,7 Go, chargé à 100 % dans le GPU, sur la même machine et avec la même question : 17 secondes, raisonnement compris.

L’explication tient en une image. Le modèle écrit un token à la fois, environ deux tiers d’un mot en français, et pour chaque token il relit tous ses paramètres. Le GPU, ce sont des milliers de commis qui font la même opération simple en même temps. Ce qui ne tient pas sur leur plan de travail part chez le chef, le processeur, bien plus lent pour ce travail, et ce qui ne tient nulle part descend en chambre froide, sur le disque. Ce qui freine, bien plus que le calcul, c’est le tapis roulant qui apporte les paramètres : la bande passante de la mémoire.

Le chiffre à connaître est donc la mémoire GPU utilisable, et la boîte ne le donne pas :

• Sur un Mac à puce M, la mémoire est partagée entre processeur et GPU, et macOS en garde une partie. Sur le Mac mini de 16 Go, il reste 11,3 Gio pour les modèles. Sans terminal, comptez entre les deux tiers et les trois quarts de la RAM.
• Sur un PC avec carte graphique, la carte a sa propre mémoire, la VRAM. Gestionnaire des tâches, onglet Performance, section GPU, ligne « Mémoire GPU dédiée ».

Ce qui doit tenir dans cette mémoire, c’est le fichier, plus le contexte (la mémoire de la conversation), plus une marge pour le moteur. La règle de la vidéo, pour une personne à la fois : sur Mac, une RAM d’au moins 2 fois la taille du fichier pour un agent, 1,5 fois pour du chat court ; sur PC, une VRAM qui couvre le fichier plus 20 à 30 %. Mistral Small 3.2 : 15 Go × 1,5 = 22 Go. Sur un Mac de 16, ça ne passe pas, et vous l’avez vu au chronomètre.

Les 4 chiffres qui disent si ce sera agréable

Une fois que le modèle tient, quatre chiffres disent comment il tourne :

1. Les tokens par seconde, la vitesse d’écriture. Un humain lit 5 ou 6 tokens par seconde ; au-delà de 10, la réponse s’affiche plus vite que vous ne la lisez. Elle se prévoit : bande passante divisée par le poids du modèle. Le Mac mini M4 annonce 120 Go/s, Gemma 4 12B pèse 7,6 Go : 16 tokens par seconde au maximum. Mesuré : entre 10,8 et 14.
2. Le prefill, la vitesse de lecture. Un document de 20 pages, ce sont des milliers de tokens à lire avant le premier mot.
3. Le temps avant le premier token : la lecture, plus le chargement du modèle au premier message. Moins d’une seconde pour un bonjour à Gemma 4 12B ; une demi-heure pour un agent qui envoie 32 000 tokens de consignes à Mistral Small sur ce Mac mini.
4. Le contexte, qui vit dans la même mémoire que le modèle et grossit à chaque échange. Un agent en demande 32 000 à 64 000, et Ollama n’en donne que 4 096 par défaut sur une machine comme celle-ci. Un modèle qui tient au chargement peut déborder en pleine conversation.

Les MoE : le gros modèle qui va plus vite

GPT-OSS 20B, le modèle ouvert d’OpenAI : un fichier de 14 Go, chargé à 80 % dans le GPU, donc il déborde. Il écrit pourtant à 17,8 tokens par seconde, contre 13,5 pour Gemma 4 12B, qui tient entièrement.

C’est un mélange d’experts (MoE) : 21 milliards de paramètres au total, mais un aiguilleur n’en fait travailler que 3,6 milliards à chaque token, 4 experts sur 32. Pensez à un cabinet de 32 associés : vous payez les bureaux de tous (la mémoire), mais seuls quatre travaillent sur chaque dossier (le calcul). Il écrit à la vitesse d’un petit modèle et prend la place d’un gros.

Deux pièges. Les experts ne sont pas rangés par sujet : l’aiguilleur change de choix à chaque token et à chaque couche, donc tout le modèle doit rester en mémoire. Et plus rapide ne veut pas dire meilleur : un modèle dense de même taille répond souvent plus juste.

Les paliers de mémoire, du chat aux agents

La règle : tester avant d’acheter. Sur OpenRouter, qui donne accès à des centaines de modèles ouverts, vous testez le candidat sur votre vraie tâche. Une fois le modèle choisi, vous regardez la machine. Les paliers de la vidéo, contexte compris, pour une personne à la fois (ordres de grandeur) :

Tout en haut, DeepSeek, GLM ou Kimi changent d’échelle : de 280 à 2 800 milliards de paramètres, jusqu’à un téraoctet et demi. Il faut un Mac Studio de 256 ou 512 Go, ou un serveur à plusieurs cartes de centre de données. Dans Ollama, ces modèles portent souvent l’étiquette cloud : ils tournent chez Ollama, pas chez vous.

Si un modèle vous a convaincu, louez une carte graphique à l’heure chez Scaleway pour mesurer la vitesse du palier supérieur : quelques heures suffisent.

Où trouver les modèles et lire leur fiche

Deux sites. La bibliothèque d’Ollama (ollama.com, rubrique Models) donne la taille du fichier et des étiquettes : tools (il sait piloter des outils, indispensable pour un agent), vision (il lit les images), thinking (il réfléchit avant de répondre). Gemma 4 12B y pèse 7,7 Go.

Hugging Face, l’entrepôt où les éditeurs publient leurs modèles, donne l’éditeur, le nombre de paramètres et surtout la licence : avant d’installer un modèle chez un client, vérifiez qu’il a le droit de s’en servir pour son activité.

Sur la fiche, deux repères. La taille en B : 12B, c’est 12 milliards de paramètres. Et la quantification, la compression : un paramètre est écrit à l’origine sur 16 bits (BF16) ; en Q4, sur 4 bits, chaque nombre est arrondi, et le fichier devient environ quatre fois plus léger. Gemma 4 12B passe de 24 Go à 7,7 Go. Le Q4 est devenu le standard du local, et c’est la version qu’Ollama propose par défaut.

Mon conseil : prenez le plus gros modèle qui tient dans votre mémoire, avec de la marge pour le contexte. Sur le Mac mini de 16 Go, trois points de départ : Gemma 4 12B, Qwen 3.5 9B ou Ministral 3 8B. Quand un client vous demande « est-ce que mon ordinateur suffit ? », vous avez la réponse en une minute.

LM Studio : découvrir et tester sans terminal

LM Studio et Ollama utilisent le même moteur, llama.cpp. LM Studio sert à découvrir, tester et trouver le bon modèle sans toucher au terminal. Avant même le téléchargement, il affiche un badge : vert quand le modèle tient entièrement dans le GPU, rouge quand il est probablement trop gros pour la machine.

Trois réglages font l’expérience : le GPU Offload au maximum, le contexte (8 192 tokens par défaut), et la réflexion. Sur un mémo tiré de dix notes clients, Ministral 3 14B sort son premier mot en 15,56 secondes et écrit à 6,83 tokens par seconde. Sur cent notes avec un contexte trop court, LM Studio passe en RAG et le modèle ne voit que 5 clients en retard sur 18.

L’installation, les réglages et les mesures pas à pas : LM Studio, installer et régler votre première IA locale.

Ollama : la prise sur laquelle on branche les agents

Ollama, c’est la prise standard : n8n, votre code, OpenClaw s’y branchent par une API compatible OpenAI, sur le port 11434. Au quotidien, cinq commandes suffisent : pull, run, ls, ps, stop.

Le piège dont personne ne parle : sur une machine de moins de 24 Gio de mémoire GPU, Ollama donne 4 096 tokens de contexte, et quand le texte dépasse, il coupe le début sans prévenir. En direct, un prompt de 10 972 tokens est ramené à 2 051 : la consigne et les quatre cinquièmes des notes ont disparu. La parade est un Modelfile de trois lignes, qui fixe 32 768 tokens et la température, et qui se copie chez chaque client.

Les commandes, le Modelfile, l’API et l’appel d’outil : Ollama, installer, régler le contexte et brancher vos agents.

Dimensionner la machine du client

Chez un client, tout ce qui rendait la mesure facile disparaît. La machine n’existe pas encore, vous choisissez avec son argent, pour plusieurs personnes à la fois, sur des données que vous n’avez pas le droit de sortir pour un essai. Trop petit, la démo rame devant toute l’équipe. Trop gros, il paie une machine qu’il sous-utilise.

La question « combien de RAM ça coûte ? » vient en dernier. Le bon ordre : la tâche choisit le modèle ; le modèle et le nombre de requêtes simultanées fixent la mémoire ; la mémoire fixe le palier ; Mac, PC ou hébergé vient à la fin.

Trois usages :

• L’assistant de documents : il répond à partir des contrats, procédures et dossiers du client, cite ses sources, résume, rédige des brouillons. L’humain pose la question et décide.
• L’agent avec outils : il enchaîne des actions, lit et écrit des fichiers, appelle des outils. Il lui faut un contexte long et des appels d’outils fiables.
• Les tâches lourdes : de très longs documents, un raisonnement plus solide. C’est là qu’on parle des plus gros modèles.

Pour sortir du problème de l’œuf et de la poule, testez le modèle en ligne, sur la vraie tâche du client, avec des données anonymisées : OpenRouter, ou OVHcloud et Scaleway si vous préférez un hébergeur français. Chaque essai coûte quelques centimes. Les fournisseurs servent souvent le modèle en 16 ou 8 bits, plus précis que le Q4 que vous installerez ; mais OpenRouter permet de filtrer les fournisseurs par quantification, et de ne garder que ceux qui servent le modèle en 4 bits. Le test dit alors ce que donnera la machine du client.

La démo : un workflow n8n envoie les cent notes clients à Qwen 3.8 27B avec deux consignes, compter les plaintes et lister chaque note en retard, puis un modèle plus fiable (Claude Sonnet) vérifie que les deux réponses concordent. Lancé une fois, il ne prouve rien ; lancé 5 à 10 fois avec les mêmes données, il tranche. Résultat : 43 notes retrouvées, 18 clients en retard, aucune erreur à chaque essai. Un modèle de 8 milliards ne suffisait pas pour cette tâche, et Gemma 4 26B, du même palier, n’a pas fait aussi bien. Ce test, vous le facturez : c’est le premier volet de l’offre.

Puis la mémoire pour plusieurs personnes. Ollama réserve un contexte complet par requête traitée en même temps, d’où la formule : poids du modèle + contexte × requêtes simultanées + marge du moteur, à faire tenir dans la mémoire GPU utilisable. Ministral 3 8B avec 32 000 tokens occupe 9,8 Go pour une personne, dans les 11,3 disponibles. Chaque personne de plus ajoute 4,6 Go : 14,4 Go à deux, ça déborde ; 19 Go à trois. Il faut un Mac de 32 Go.

Comptez les requêtes simultanées, pas les salariés : dix personnes dans un cabinet n’envoient pas dix questions à la même seconde, souvent deux ou trois. Par défaut, Ollama traite une requête à la fois et fait attendre les autres : la mémoire ne déborde pas, c’est l’attente qui s’allonge. Avec un document long, près de 2 minutes par personne sur ce Mac mini, la quatrième attend au moins 5 minutes. La commande qui dit la vérité reste ollama ps : la colonne SIZE pour la mémoire, la colonne PROCESSOR qui doit afficher 100 % GPU.

Sur place ou hébergé : les 4 paliers de machines

Sur place, c’est la seule option vraiment locale : les données ne sortent jamais des murs. Quatre paliers, avec les machines citées dans la vidéo :

Le quatrième palier n’est pas pour tous les clients. Et en 2026, la mémoire coûte cher et certains Mac sont difficiles à trouver : vérifiez la disponibilité et le prix avant de promettre quoi que ce soit.

L’option hébergée, c’est une machine dédiée chez un hébergeur. Les données sortent des murs, mais ne passent ni par OpenAI ni par Anthropic. Au tournage, les serveurs d’IA de Hostinger étaient aux États-Unis ou en Angleterre : aucun intérêt pour un client qui cherche du souverain. Ceux d’OVHcloud et de Scaleway sont en France. Souvent, le client qui demande du local veut surtout du souverain. Et la machine se loue à l’heure : vous testez plusieurs options sans acheter de matériel.

OVHcloud propose trois formules à ne pas confondre : Cloud GPU, une instance dédiée facturée à l’heure ; AI Deploy, un conteneur facturé à la minute, arrêté quand il ne sert pas, avec un démarrage à froid ; AI Endpoints, une API facturée au token, de quelques centimes à quelques dizaines de centimes le million, partagée mais confidentielle.

Choisir la machine, c’est la première ligne de votre devis. Le client achète le matériel ; vous vendez le bon choix, et l’assurance qu’il ne rachètera pas une machine dans 6 mois.

Brancher vos agents : 3 paramètres

Un agent, c’est un cerveau et un corps. Le cerveau, c’est le modèle. Le corps, c’est le harness : il donne les outils, envoie les instructions, garde la mémoire de la conversation et décide si l’agent agit seul ou demande une validation. Tout branchement entre un harness et un modèle local tient en trois paramètres :

1. L’URL de base : l’adresse où Ollama écoute, http://<IP>:11434/v1 pour les outils qui parlent le format d’OpenAI.
2. Une clé API : Ollama n’en demande pas, mais beaucoup d’outils refusent un champ vide. Écrivez ollama.
3. Le nom du modèle : par exemple ministral-agent, le modèle réglé par Modelfile.

La vidéo branche quatre harness :

• OpenClaw, l’agent personnel : depuis son tableau de bord (Paramètres de l’agent, Modèle, connecter un fournisseur, Ollama, « local only »), ou en une commande, ollama launch openclaw --config. Le détail est dans l’article sur OpenClaw.
• DeepSeek Harness, l’agent de code open source sorti en août 2026 sous licence MIT : un fournisseur personnalisé avec l’URL, la clé et le modèle.
• n8n : le nœud AI Agent, le modèle Ollama, l’URL de la machine. Avec l’outil Calculator, l’agent local calcule que 18 clients sur 25, c’est 72 %. Le nœud est détaillé dans l’article sur les agents IA, et n8n dans la masterclass n8n.
• AnythingLLM, l’application open source à ouvrir à la place de ChatGPT pour que l’équipe du cabinet travaille sur ses documents. Ollama comme fournisseur, un contexte de 32 768, un modèle d’embedding multilingue pour les documents en français, un espace de travail « cabinet ». À la question sur le délai de paiement d’un contrat de transport, il répond juste : 45 jours, des pénalités à trois fois le taux d’intérêt légal, l’indemnité de 40 €, et la source, l’article 6.

Faites ce que je dis, pas ce que je fais : la démo branche ces agents sur un modèle de 8 milliards, parce que le Mac mini de 16 Go n’en tient pas un plus gros avec le contexte d’un agent. Chez un client, un agent demande le palier 2 : un modèle autour de 27 milliards et une machine de 48 Go au moins.

AnythingLLM n’envoie au modèle que quatre passages des documents, comme le RAG de LM Studio. Pour une question précise, c’est juste et rapide. Pour une synthèse, épinglez le document : il passe en entier.

Le serveur IA du bureau : file d’attente, accès et sécurité

Une fois branché, Ollama répond à n’importe qui sur le réseau du bureau, sans mot de passe. Il n’a aucune authentification, et c’est voulu par ses concepteurs. Deux problèmes à régler.

Côté charge, Ollama traite par défaut une requête à la fois. Ministral écrit à environ 14 tokens par seconde : une réponse de 300 tokens prend 21 secondes, et le quatrième collègue attend une minute avant que la sienne commence. Avec OLLAMA_NUM_PARALLEL à 2, deux conversations tournent en même temps, mais chacune réserve son contexte : 14 Go au lieu de 9,8, et le modèle passe à 65 % GPU et 35 % processeur. On dimensionne donc sur les requêtes simultanées : des réponses courtes s’accommodent de la file, des agents et des documents longs demandent du parallèle, donc de la mémoire.

Côté accès, pour travailler à distance sur le serveur du client, n’ouvrez jamais un port sur sa box : ce serait exposer Ollama sur internet sans mot de passe. Tailscale, gratuit jusqu’à 6 utilisateurs, relie les machines autorisées par un réseau privé chiffré, sans ouvrir de port.

Les quatre règles de sécurité de la vidéo (la liste complète est dans le kit) :

1. Ollama ne répond jamais directement aux autres machines. Tout passe par un portier avec une clé : Caddy, un petit serveur web gratuit, écoute sur le port 11435, refuse sans clé (erreur 401), interdit depuis le réseau la création ou la suppression de modèles (erreur 403), et transmet le reste à Ollama sur 11434.
2. Coupez le cloud d’Ollama : OLLAMA_NO_CLOUD=1, et Ollama ne va plus jamais chercher un modèle en ligne.
3. LM Studio garde les conversations en clair sur le disque : nettoyez-les régulièrement.
4. Coupez la mise à jour automatique de l’application Ollama sur un serveur client : testez chaque version sur une autre machine, puis planifiez-la, pour ne pas bloquer l’équipe un lundi matin.

Et trois réflexes de maintenance : désactiver la veille et écrire une procédure de redémarrage après une coupure de courant ; rendre les variables d’Ollama permanentes, puisqu’elles s’effacent au redémarrage (un LaunchAgent sur Mac) ; et pour une nouvelle version du modèle, recréer le Modelfile sous le même nom, pour que rien ne casse côté utilisateurs. Ces réflexes font la ligne « maintenance mensuelle » de votre devis : le client ne paie pas un Mac mini, il paie quelqu’un qui garantit que ça tourne, que c’est à jour et que rien ne sort.

Vendre l’IA confidentielle : ni l’installation, ni les économies

Trois réflexes piègent ceux qui se lancent.

Le premier : vendre ce que vous venez d’apprendre. Une masterclass technique donne envie de vendre une installation d’Ollama, le contexte, le portier. Le client, lui, achète un résultat sur une tâche précise, avec la garantie que ça tourne, que c’est à jour et que rien ne sort.

Le deuxième : vendre des économies. Le calcul de la vidéo, aux prix du tournage : pour un cabinet de 5 personnes, un abonnement d’équipe comme Claude Team Standard démarre à environ 1 080 € par an ; un Mac Studio M5 Max de 48 Go coûte 3 659 €, plus la maintenance et l’électricité. À modèle égal, c’est pire : GPT-OSS 20B tient sur un Mac mini de 32 Go à 1 489 € ; le même modèle chez OVHcloud, payé au token, revient à environ 150 € par an pour un cabinet très actif (10 millions de tokens lus et 2 millions écrits par jour). La machine se rentabiliserait en 8 ans. Si vous vendez le local pour faire économiser, vous perdez face au premier devis cloud. Vendez ce que le cloud ne peut pas vendre : des données qui ne sortent pas, et une facture qui ne bouge pas.

Le troisième : trop promettre. Dire « c’est aussi bien que ChatGPT », ou installer la machine de la démo quand la tâche demande plus. À la première question sur de vrais documents, le petit modèle se trompe, et votre crédibilité part avec.

À qui vendre : ceux qui ne peuvent pas, ceux qui ne veulent pas

Ceux qui ne peuvent pas sont encadrés par des textes :

• Les avocats : le Conseil national des barreaux demande de vérifier la nationalité de l’hébergeur et d’exclure toute entreprise soumise à des lois étrangères à portée extraterritoriale. Un hébergement européen chez un fournisseur américain ne suffit pas. Et seul un avocat sur 10 fait confiance à l’IA générative pour protéger ses données (CNB et Viavoice, décembre 2025).
• Les experts-comptables : l’Ordre recommande de ne jamais mettre des mails clients, des fichiers comptables ou des déclarations sociales non anonymisés dans des outils que l’on ne maîtrise pas.
• Les médecins : avec une IA en ligne, la Haute Autorité de santé demande de vérifier à chaque requête qu’aucune donnée identifiante ne part (guide du 30 octobre 2025).

Pour tous, violer le secret professionnel est un délit : un an de prison et 15 000 € d’amende (article 226-13 du Code pénal). Avocats, médecins, experts-comptables et notaires : plus de 350 000 professionnels sous secret en France. Pour eux, le cloud n’est pas plus cher, il est interdit. Comparez donc le local à l’absence d’IA, et votre prix au coût d’une violation du secret.

Ceux qui ne veulent pas, ce sont toutes les entreprises qui ont des secrets : des tarifs, des fichiers clients, des formules, une stratégie. L’ANSSI l’écrit en toutes lettres : « proscrire l’utilisation d’outils d’IA générative sur Internet pour un usage professionnel impliquant des données sensibles ». 66 % des dirigeants tech français jugent la souveraineté cruciale, mais 89 % dépendent d’au moins un outil d’IA américain (OpinionWay pour Hiscox, 2026). Et 53 % des dirigeants de TPE et PME craignent de perdre leurs données ou de se faire pirater (baromètre France Num 2026).

Pendant ce temps, leurs équipes n’attendent pas. La moitié des TPE et PME qui utilisent l’IA le font uniquement avec des outils gratuits (France Num 2026). Au CHRU de Nancy, des centaines de milliers de connexions à des IA génératives non encadrées ont été relevées en un seul mois (Acteurs publics ↗ (nouvel onglet), juillet 2026). Ce sont des acheteurs, avec un problème documenté.

Une nuance honnête : la confidentialité ouvre la porte, le cas d’usage fait signer. Le premier frein reste le manque de cas d’usage, bien avant la méfiance. Venez avec les deux : la garantie et la tâche.

Trouver votre niche en 5 questions

Choisissez un secteur et posez-vous cinq questions : où se fait le travail ? Où sont les données ? Sur quelle machine faut-il que ça tourne ? Où est le problème de confiance ? Et où est la boucle de relecture pénible, la tâche que quelqu’un refait trois fois par semaine parce que le logiciel actuel ne suffit pas ? Une réponse précise aux cinq pour un seul secteur, c’est une niche.

Trois pistes, en plus des avocats et des experts-comptables :

• Les PME industrielles : procédures internes, documents techniques, informations aux salariés. Un assistant qui répond à partir du manuel de l’entreprise, sur un réseau fermé. Gilles, l’un de mes élèves, a vendu à un groupe de chauffage, ventilation et climatisation une équipe d’agents qui tourne en local, pour 25 000 €, et un deuxième client a signé depuis. Son architecture est détaillée dans l’article sur le système multi-agent.
• Les start-up : selon Jensen Huang, le patron de Nvidia, huit start-up d’IA sur dix financées ces six derniers mois utilisent des modèles ouverts. Un ordre de grandeur, venant de celui qui vend les puces, mais elles ont besoin de quelqu’un qui sait choisir le modèle, dimensionner, mesurer et sécuriser.
• Les professions sous secret dont personne ne s’occupe : commissaires de justice, administrateurs et mandataires judiciaires, cabinets de commissaires aux comptes.

L’offre en 3 volets, et les 5 pièges avant de signer

L’offre s’articule en trois volets :

1. L’audit et le cadrage : cartographier les usages, repérer les données sensibles, et valider le modèle sur la vraie tâche du client, avec des données fictives, sur OpenRouter ou OVHcloud, avant d’acheter quoi que ce soit. C’est le pied dans la porte.
2. L’installation clé en main : une machine dimensionnée selon le palier (Mac, PC, ou serveur dédié hébergé en France si le client ne veut pas de machine), Ollama, AnythingLLM, les outils existants branchés, la sécurité, et la formation de l’équipe. L’article 4 de l’AI Act demande déjà aux entreprises qui utilisent l’IA de favoriser sa maîtrise par leurs équipes, sans imposer de certificat.
3. La maintenance mensuelle : mises à jour, sauvegardes, nouveaux modèles, support.

Les repères de la vidéo : un audit ou une preuve de concept se vend entre 4 000 et 10 000 € HT, et le Diag Data IA de Bpifrance peut en financer 40 % pour une PME de 10 à 2 000 salariés qui fait plus d’un million d’euros de chiffre d’affaires. L’installation sur site part de 4 000 € HT, matériel à la charge du client, et la maintenance va de quelques centaines à quelques milliers d’euros par mois selon la taille.

Pour la démo, oubliez le discours et apportez une preuve que le client vérifie lui-même : louez une machine chez OVHcloud pour quelques heures, une pour préparer, une pour montrer. Le 10 juin 2025, devant le Sénat, on a demandé à Microsoft France de garantir que les données des Français ne seraient jamais transmises aux autorités américaines sans l’accord de la France. Sa réponse : « Non, je ne peux pas le garantir. » Vous, vous pouvez le démontrer en quelques minutes : coupez le wifi.

Cinq pièges avant de signer :

1. La santé : un prestataire qui héberge ou sauvegarde des données de santé pour le compte d’un tiers doit être certifié HDS, et depuis septembre 2026 ces données doivent rester dans l’Union européenne.
2. La télémaintenance : dès que vous accédez à distance à la machine du client, vous devenez son sous-traitant au sens du RGPD. Signez un contrat de sous-traitance, et n’entrez que quand il vous ouvre l’accès.
3. L’AI Act : les utilisateurs doivent savoir qu’ils parlent à une IA (évident pour une équipe formée, à dire si l’IA répond aux clients du cabinet). Et le tri de CV, l’évaluation des salariés ou la notation de crédit sont des usages à haut risque, aux obligations lourdes.
4. Les licences : Ministral 3, Mistral Small 3.2 et Mistral Small 4 sont sous Apache 2.0, usage commercial et installation chez un client autorisés, sans redevance. Vérifiez chaque licence sur Hugging Face.
5. Les modèles chinois (Qwen, DeepSeek, GLM) : les faire tourner en local n’envoie aucune donnée en Chine, mais certains acheteurs les refusent par principe. Ayez toujours une alternative : Mistral, Gemma de Google, GPT-OSS d’OpenAI.

Dernier point : pour vendre, vous n’avez besoin ni d’une machine puissante, ni de Docker, ni du fine-tuning. Le volet 1 se vend cette semaine : il faut un client, une tâche précise et OpenRouter. Si vous cherchez encore comment trouver ce client, commencez par les 5 étapes du consultant IA.