§ Guide
LLM et RAG : les définitions utiles à un dirigeant de PME
Un LLM est un grand modèle de langage : un programme entraîné sur d'énormes volumes de texte pour produire la suite la plus probable d'une phrase. ChatGPT et Claude reposent dessus. Un RAG le fait chercher dans vos documents avant de répondre, avec la source. Il réduit les réponses inventées sans les supprimer, et ne vaut le coût que dans certains cas.
- Sources officielles
- Relevé le 15 octobre 2026
- Sans jargon
Réponse directe
LLM, c'est quoi ?
Un LLM (large language model, grand modèle de langage) est un programme entraîné sur de très grands volumes de texte pour estimer le mot suivant le plus probable. C'est le moteur de ChatGPT, de Claude ou de Mistral. Il rédige, résume, classe et traduit bien. Il ne consulte pas vos dossiers et ne connaît que ce qu'il a appris : la CNIL rappelle que ces modèles ne sont pas des bases de connaissance. Pour qu'il réponde depuis vos documents, on lui adjoint un RAG.
LLM, contexte, hallucination, RAG : le tableau
| Terme | En une phrase | Ce que ça change pour une PME |
|---|---|---|
| LLM | Programme qui estime la suite la plus probable d'un texte, entraîné sur de très grands volumes de texte (CNIL) | Il rédige, résume, classe, traduit. Il ne connaît ni vos prix ni vos procédures. |
| Contexte | Tout le texte que le modèle peut consulter pour répondre : consigne, historique, documents joints, et sa propre réponse (Anthropic) | C'est ce que vous lui montrez à chaque question. Hors du contexte, il ne le sait pas. |
| Hallucination | Résultat inexact qui paraît plausible (CNIL) | Une réponse sans source est à vérifier avant tout usage sensible. |
| RAG | Méthode qui retrouve les informations pertinentes dans une base de connaissance et les ajoute à la question (Anthropic) | Des réponses depuis vos documents, avec leur source, à jour tant que les documents le sont. |
Pourquoi un LLM ne connaît-il pas votre entreprise ?
Un LLM apprend sur des textes réunis avant sa sortie. Il ne connaît ni vos tarifs, ni vos contrats, ni la procédure de retour de votre équipe. Le guide de la DGE sur le RAG (novembre 2024) l'écrit ainsi : ces modèles sont entraînés sur des corpus généralistes, ils ne sont donc pas informés du contexte de votre entreprise, et leurs données sont figées à l'entraînement. La fiche France Num et CNIL décrit le principe : le modèle estime, à partir du début d'une phrase, le mot suivant le plus probable.
Sans vos données, il sait déjà faire beaucoup. La CNIL range ces usages en trois familles : générer un contenu, retraiter un texte existant (corriger, traduire) et analyser des données (trier, résumer des documents). Ce qu'il ne fait pas, c'est répondre depuis vos fichiers sans qu'on les lui montre.
Qu'est-ce que le contexte, et pourquoi sa taille compte ?
Anthropic appelle « fenêtre de contexte » tout le texte auquel le modèle peut se référer pour répondre, sa réponse comprise : une mémoire de travail. Les modèles Claude actuels (Opus 5.5, Sonnet 5.5, Haiku 5.5) ont une fenêtre de 1 million de tokens, soit environ 555 000 mots selon la documentation d'Anthropic, le décompte variant avec la langue (relevé le 15 octobre 2026). Un token est un morceau de mot, l'unité sur laquelle le modèle lit et sur laquelle l'éditeur facture.
Une fenêtre plus grande n'est pas gratuite. Anthropic écrit que, lorsque le nombre de tokens augmente, la précision et le rappel se dégradent (« context rot »), et que ce que l'on met dans le contexte compte autant que la place disponible (context windows). Elle se paie aussi. Calcul illustratif : un document de 100 000 tokens renvoyé à chaque question coûte 0,20 dollar en entrée avec Claude Sonnet 5.5, à 2 dollars le million de tokens, soit 20 dollars pour 100 questions. La lecture depuis le cache de prompt est facturée 0,10 dollar le million pour ce modèle, soit 0,01 dollar par question (tarifs de l'API d'Anthropic, relevés le 15 octobre 2026, hors taxes).
Qu'est-ce qu'une hallucination, et peut-on l'éviter ?
La CNIL définit le phénomène : ces systèmes peuvent produire des résultats inexacts qui paraissent pourtant plausibles, ce qu'on appelle souvent des hallucinations. Cela survient notamment sur des informations absentes de leurs données d'entraînement. Elle ajoute qu'une confiance excessive, sans vérification, peut conduire à des décisions erronées.
Anthropic recense notamment trois parades dans sa documentation : autoriser explicitement le modèle à dire qu'il ne sait pas, lui faire extraire d'abord des citations mot pour mot du document, lui faire citer ses sources pour chaque affirmation. Sa conclusion est la même que celle de la CNIL : ces techniques réduisent les hallucinations, elles ne les éliminent pas. Une personne vérifie donc toute information critique.
Qu'est-ce qu'un RAG, et en quoi diffère-t-il d'un LLM seul ?
RAG signifie « retrieval augmented generation », génération augmentée par la recherche. Anthropic le définit comme une méthode qui retrouve les informations pertinentes dans une base de connaissance et les ajoute à la question posée au modèle. Le guide de la DGE le décompose en deux modules : l'un cherche dans vos documents les extraits qui répondent à la question, l'autre fait rédiger la réponse par le modèle à partir de ces extraits. Le modèle ne répond plus de mémoire, il répond avec les bons passages sous les yeux.
Les bénéfices annoncés par la DGE : des réponses contextualisées, une meilleure traçabilité de l'information et un risque d'hallucination réduit par rapport à un modèle seul. La CNIL ajoute le revers : un RAG demande davantage de ressources et de compétences qu'un modèle du commerce, mais ses réponses sont plus faciles à actualiser que le modèle lui-même. Le détail du fonctionnement, du découpage des documents à l'application des droits d'accès, est sur la page base de connaissance IA.
Un RAG répond à des questions. Un agent, lui, agit dans vos logiciels. Les deux se combinent : la DGE cite l'« agentisation du RAG » parmi les évolutions en cours. Pour la différence entre les deux, voir agent IA : définition et limites.
Modèle seul, documents dans le contexte, RAG ou fine-tuning
| Approche | Principe | Convient quand | Limite |
|---|---|---|---|
| Modèle seul, avec consignes | Un modèle du commerce, orienté par des consignes préalables | Rédiger, reformuler, trier ou résumer des textes que vous lui donnez | Ne connaît pas vos documents |
| Documents dans le contexte | Vous placez les documents dans la conversation ou le projet | La base est courte (quelques dizaines de pages) et change peu | Le coût et la précision se dégradent quand le contexte grossit ; la mise à jour est manuelle |
| RAG | Une recherche retrouve les passages utiles, le modèle répond depuis eux | La base est volumineuse, change souvent, et chaque réponse doit citer sa source | La recherche peut rater un passage ; mise en place, documents à tenir propres, maintenance |
| Fine-tuning | On modifie les paramètres du modèle avec vos données (CNIL) | Un style, un format ou une tâche très spécifiques, répétés à grande échelle | Ressources de calcul importantes (CNIL) ; l'information est dans le modèle, plus difficile à actualiser qu'une base |
Quand un RAG vaut le coût, et quand non
Lecture de Waimia, qui rejoint les critères de la DGE : choisir le cas d'usage avec soin et vérifier qu'une recherche plus classique ne répondrait pas aussi bien. On regarde toujours d'abord si la base tient dans une conversation.
- Les mêmes questions reviennent chaque semaine et la réponse est écrite quelque part
- La base dépasse ce qu'on joint raisonnablement à une conversation, ou change souvent
- Chaque réponse doit citer son document pour être vérifiée
- Les droits d'accès diffèrent selon les personnes ou les services
- Quelqu'un est nommé pour tenir les documents à jour
- Quelques dizaines de pages suffisent : un projet Claude avec ces documents fait le travail, sans développement
- Le savoir n'est écrit nulle part : il faut d'abord le documenter
- La question demande de comparer ou de synthétiser un grand nombre de documents : la DGE y voit un point faible du RAG, que les méthodes récentes tendent à corriger
- Les documents sont surtout des tableaux ou des scans : la DGE signale une performance moindre hors texte
- Un moteur de recherche classique répondrait aussi bien
Voir si votre cas justifie une base de connaissance
L'audit de 45 minutes est gratuit et vérifie d'abord si une solution simple, sans développement, suffit. La page de service décrit ensuite comment Waimia construit une base de connaissance IA : sources citées, droits d'accès respectés.
Ce que coûte un RAG : les repères publics, datés
| Poste | Ordre de grandeur | Précision de la DGE |
|---|---|---|
| Produit SaaS | De 10 000 à 100 000 € par an selon la gamme | Très variable selon les cas d'usage et les fonctions |
| Installation par un intégrateur | Environ 100 000 €, payés une fois | Ordre de grandeur issu d'entretiens avec des professionnels |
| Développement interne | Au moins un data scientist, un développeur et un administrateur système pendant au moins 3 mois | Coût de la main-d'œuvre affectée |
| Modèle hébergé dans le cloud (exemple avec Mistral Small) | 7,8 € pour 1 000 requêtes, soit environ 106 € par employé et par an à 300 requêtes par semaine | Coût entièrement variable ; calcul de juin 2024 |
Cinq limites d'un RAG, et la parade
| Limite | Ce qu'on observe | Parade |
|---|---|---|
| La recherche rate un passage utile | La recherche par mots n'est pas robuste aux synonymes, la recherche par sens peut passer à côté selon la formulation, et la récupération se limite souvent aux N extraits les plus proches (DGE) | Recherche combinant sens et mots-clés, et test sur une liste de vraies questions |
| Il hallucine encore | Le RAG réduit les hallucinations, elles peuvent toujours se manifester (DGE) | Sources citées, consigne « je ne sais pas » (Anthropic), évaluation régulière |
| Les documents se contredisent | Le RAG expose les contradictions au lieu de les réparer ; la DGE recommande d'éliminer les contradictions internes de la base | Choisir pour chaque sujet le document qui fait foi, écarter les versions périmées |
| Tableaux, scans, PDF mixtes | Performance moindre sur les documents multimodaux (DGE) | Prétraitement des documents, ou RAG multimodal quand c'est le cœur du besoin |
| Données personnelles | L'organisation qui connecte un système à sa propre base de connaissance est responsable du traitement quand elle contient des données personnelles (CNIL) | Associer le DPO, analyse d'impact si besoin (CNIL), exclure par défaut RH, contrats et données clients sensibles, appliquer les droits d'accès à la recherche |
Cinq questions à se poser avant de lancer un RAG
- 01 Quelle question revient le plus souvent, et où la réponse est-elle écrite aujourd'hui ? Pas de réponse écrite : documentez d'abord.
- 02 Les documents tiennent-ils dans une conversation ou un projet Claude ? Si oui, commencez par là, c'est plus simple et moins cher.
- 03 Qui tient les documents à jour, et qui décide du document qui fait foi quand deux se contredisent ?
- 04 Qui a le droit de voir quoi, et quelles données personnelles la base contiendra-t-elle ? Le DPO se consulte avant, pas après.
- 05 Comment mesurera-t-on la qualité : quelle liste de vraies questions, quelle part de réponses justes exigée avant d'ouvrir à l'équipe ?
Sources, relues le 15 octobre 2026
- CNIL, questions-réponses sur l'utilisation d'un système d'IA générative, 18 juillet 2024 : définition de l'hallucination, du RAG et du fine-tuning, responsabilité du déployeur, DPO et analyse d'impact
- France Num et CNIL, fiche IA 1 : principe du modèle de langage, prédiction du mot suivant
- Direction générale des Entreprises, guide de la génération augmentée par récupération (RAG), novembre 2024 : fonctionnement en deux modules, cas d'usage, limites, ordres de grandeur de coût évalués en juin 2024
- Anthropic, context windows : définition de la fenêtre de contexte, fenêtre de 1 million de tokens, « context rot »
- Anthropic, models overview : 1 million de tokens, environ 555 000 mots
- Anthropic, reduce hallucinations : parades recensées, aucune ne supprime le risque
- Anthropic, Introducing Contextual Retrieval, 19 septembre 2024 : définition du RAG, seuil de 200 000 tokens alors cité
- Anthropic, tarifs de l'API : Claude Sonnet 5.5 à 2 dollars le million de tokens en entrée, lecture du cache à 0,10 dollar
- Anthropic, centre de confidentialité : pas d'entraînement par défaut sur les produits commerciaux
Pour aller plus loin : la page base de connaissance IA décrit la prestation, le guide agent IA : définition et limites la différence avec un agent, et Claude et RGPD en PME la méthode pour les données personnelles. Pour savoir quand une base de connaissance vaut son coût, voir second cerveau en entreprise.
LLM et RAG : questions fréquentes
Q.01 LLM, c'est quoi ?
Un LLM (large language model, ou grand modèle de langage) est un programme entraîné sur de très grands volumes de texte pour estimer la suite la plus probable d'une phrase. La fiche France Num et CNIL le décrit ainsi. C'est le moteur de ChatGPT, de Claude ou de Vibe, l'assistant de Mistral AI.
Q.02 Quelle différence entre un LLM et ChatGPT ou Claude ?
Le LLM est le moteur. ChatGPT, Claude ou Vibe sont des produits qui l'enveloppent d'une interface, de réglages et parfois d'outils. Le même moteur peut servir dans plusieurs produits, et un produit peut proposer plusieurs moteurs : on choisit les deux séparément.
Q.03 RAG IA : c'est quoi, en une phrase ?
Un RAG (retrieval augmented generation, génération augmentée par la recherche) retrouve d'abord les passages utiles dans vos documents, les ajoute à la question, puis laisse le modèle répondre à partir d'eux. Anthropic le décrit comme une méthode qui retrouve les informations pertinentes dans une base de connaissance et les ajoute à la requête.
Q.04 Un RAG supprime-t-il les hallucinations ?
Non, il les réduit. Le guide de la DGE écrit que le RAG réduit le risque d'hallucinations mais que celles-ci peuvent toujours se manifester. D'où les sources citées, une consigne « je ne sais pas » et une évaluation sur de vraies questions avant l'ouverture à l'équipe.
Q.05 Faut-il un RAG si mes documents tiennent dans une conversation ?
Pas forcément. Les modèles Claude actuels ont une fenêtre de contexte de 1 million de tokens (documentation Anthropic, relevée le 15 octobre 2026), et quelques dizaines de pages peuvent y tenir. Reste à regarder le coût à chaque question et la précision, qui baisse quand le contexte grossit. Le RAG se justifie quand la base est volumineuse, change souvent ou demande des droits d'accès différents selon les personnes.
Q.06 Combien coûte un RAG pour une PME ?
La DGE publie des ordres de grandeur, évalués en juin 2024 : de 10 000 à 100 000 euros par an pour un produit SaaS, environ 100 000 euros pour une installation par un intégrateur. Ils visent des projets d'entreprise. Chez Waimia, l'audit de 45 minutes est gratuit, puis un sprint de cadrage de 10 heures à 999 € HT ; la suite fait l'objet d'un devis. L'audit vérifie d'abord si une solution plus simple suffit.
Q.07 Mes données restent-elles protégées avec un RAG ?
Cela dépend du contrat et de la configuration. La CNIL précise que l'organisation qui connecte un système à sa propre base de connaissance est responsable de ce traitement quand la base contient des données personnelles. Anthropic écrit ne pas entraîner ses modèles par défaut sur les données de ses produits commerciaux (relevé le 15 octobre 2026). Le guide Claude et RGPD donne la méthode.
Page mise à jour le par Simon Beros, fondateur de Waimia.