Comment vérifier un texte généré par ChatGPT contre vos documents ?
Par Protypa · Mis à jour le 5 min de lecture
La réponse courte
Un texte produit par une IA doit être confronté aux pièces qu'il prétend résumer. Le Vérificateur de Subsidia le fait sans recourir à un autre modèle : il découpe le texte en affirmations, repère les valeurs qu'un humain recopie et qu'un modèle invente, et les cherche dans vos pièces. Chaque affirmation reçoit un verdict, et le rapport est recalculable à l'identique par n'importe qui.
Le texte peut venir de n'importe où : une note rédigée par ChatGPT, un projet de courrier, une synthèse reçue d'un tiers. Le Vérificateur ne demande pas qui l'a écrit.
Les quatre verdicts
Une affirmation est jugée sur ses ancres : nombres, montants, dates, durées, pourcentages, références, noms propres. Chaque ancre reçoit un verdict, et l'affirmation prend le pire de ses ancres.
| Verdict | Règle | Que faire |
|---|---|---|
| Vérifiée | Toutes les ancres sont retrouvées dans une pièce qui parle du même sujet ; le rapport indique la source, la page et la citation exacte autour de la valeur | Rien. Montrez la source à côté de l'affirmation |
| Non couverte | L'affirmation a des ancres et au moins l'une n'est portée par aucune pièce | La sourcer ou la retirer : rien dans les pièces ne le dit |
| Contredite | Une pièce du même sujet porte une autre valeur, de même unité | À traiter avant l'envoi |
| Non vérifiable | Aucune ancre : raisonnement, opinion, question, formule | Hors périmètre. Ce n'est pas un défaut |
Un exemple tiré de la documentation : le texte dit « Le loyer mensuel est de 1 250 €. Le préavis du preneur est de 30 jours. » ; la pièce dit « Le loyer mensuel du lot est de 1 250 €. Le préavis du preneur est de 90 jours. ». La première affirmation est vérifiée, la seconde est contredite : la valeur trouvée est 90 jours.
Pourquoi la contradiction est volontairement prudente
Dire « contredit » à tort détruit la confiance plus vite que n'importe quel silence. La règle est donc étroite : elle ne se déclenche que si l'ancre est numérique et porte une unité, si le passage partage au moins deux mots de contenu avec l'affirmation, s'il porte un autre nombre de même unité, et s'il ne porte pas aussi la valeur annoncée (un tableau qui liste les deux n'est pas en conflit avec lui-même). Les dates sont exclues de la contradiction à dessein : un dossier contient légitimement beaucoup de dates voisines. Dans le doute, le verdict est « non couverte », jamais « contredite ».
Pourquoi aucun modèle n'intervient
C'est la contrainte de conception : une garantie de provenance produite par un modèle est une garantie qu'il faut croire. Un calcul déterministe se refait. Conséquences concrètes :
- le même texte et les mêmes pièces donnent le même rapport, d'une exécution à l'autre ;
- le contrôle fonctionne sur une machine sans modèle chargé, et ne consomme aucune question ;
- un tiers qui détient le texte et les pièces retrouve exactement vos verdicts.
Comment faire, étape par étape
Sur la page /verificateur, sans compte :
- Collez le texte à vérifier (20 000 caractères au plus).
- Fournissez la source : collez son texte (300 000 caractères au plus), ou déposez un fichier PDF, DOCX, TXT ou MD (5 Mo au plus). Un PDF scanné n'est pas lu en accès libre.
- Cliquez sur Vérifier. Un exemple prêt à l'emploi est proposé.
- Lisez le rapport : le nombre d'affirmations contrôlées, le verdict de chacune, et pour les vérifiées la pièce et la page.
- Traitez d'abord les « contredites », puis les « non couvertes ». Les « non vérifiables » se relisent par un humain pour ce qu'elles sont : du raisonnement.
Au-delà de l'accès libre, dans l'application, le Vérificateur lit tous les dossiers choisis, garde le rapport, le signe dans la même chaîne que les certificats de réponse, et l'inscrit au registre avec la relecture humaine. Par l'API, POST /v1/verify accepte les passages renvoyés par votre propre moteur de recherche, pour contrôler la réponse d'un RAG sans passer par Subsidia pour la recherche (documentation). Le rapport signé se vérifie sur /certificat.
Ce que cela ne fait pas
- Il ne réécrit rien. Aucune correction proposée : proposer une correction, ce serait générer, et on redeviendrait un produit avec un taux d'erreur.
- Il ne juge pas le fond. « Cette clause est risquée » n'est pas de son ressort. Il dit d'où vient une valeur, pas si elle est opportune.
- Il ne donne aucun score global. Pas de « 87 % fiable » : des comptes, jamais une note.
- « Vérifiée » ne veut pas dire « vraie ». Cela veut dire que les valeurs de l'affirmation sont retrouvées dans une pièce qui traite du même sujet. Si la pièce est fausse, ou si la phrase déforme le sens de valeurs correctes, le calcul ne le voit pas.
- Il compare des valeurs, pas des paraphrases. Il ne tranche pas entre deux formulations du même fait, et ne contrôle pas le raisonnement.
- Il ne voit que les pièces qu'on lui donne. Un fait vrai mais absent des pièces choisies sera « non couvert ». C'est un signal à traiter, pas un verdict de fausseté.
- La contradiction ignore les dates et n'agit que sur des nombres de même unité : une divergence entre deux dates n'est pas signalée comme contradiction.
- Sur des passages que vous fournissez, la provenance n'est pas attestée. Dans ce mode, le rapport atteste « ce texte, contre ces passages-là » ; il ne dit pas que ces passages viennent des documents de votre client.
- Limite de taille. Seuls les 60 000 premiers caractères et 150 affirmations sont analysés par l'API ; le rapport signale la troncature.
- Un rapport sans signature reste un rapport. Si la signature n'a pas pu être émise, l'application l'indique : les verdicts sont exacts, mais rien ne prouve qu'ils n'ont pas été modifiés ensuite.
Un cas concret : la note de synthèse
Vous avez demandé à un assistant de résumer un bail, un contrat ou un dossier. Le résumé est fluide, il cite des montants, des durées, des références. Avant de l'envoyer :
- collez le résumé comme texte à vérifier, et le document d'origine comme source ;
- relisez en priorité les affirmations « contredites » : la pièce porte une autre valeur de même unité ;
- pour chaque affirmation « non couverte », retrouvez la valeur dans le document, ou retirez-la du résumé ;
- conservez le rapport avec le dossier. Dans l'application, il est signé et peut recevoir la décision de relecture (acceptée, modifiée, rejetée).
Le contrôle ne remplace pas la relecture d'un humain : il lui dit où regarder en premier.
À qui cela sert
À quiconque reçoit un texte généré qu'il doit signer ou envoyer : note de synthèse, projet de courrier, réponse d'un assistant à partir d'un dossier. Un contrôle qui compte « Cordialement » comme une affirmation non sourcée finit ignoré ; c'est pourquoi la catégorie « non vérifiable » existe. Pour la mise en œuvre autour de vos documents, voir Utiliser l'IA avec des documents sources.
Questions fréquentes
Comment savoir si ChatGPT a inventé un chiffre dans ma note ?
Confrontez le texte à la pièce d'origine. Le Vérificateur cherche chaque montant, date, durée ou référence du texte dans les passages de la source qui parlent du même sujet. Une valeur qu'aucun passage ne porte reçoit le verdict « non couverte » : rien dans la source ne dit cela, à sourcer ou à retirer.
Le Vérificateur utilise-t-il une IA pour juger le texte ?
Non, aucun appel à un modèle. Les verdicts sont calculés de façon déterministe : même texte et mêmes pièces, même rapport, sans appel à un modèle. Une garantie de provenance produite par un modèle serait une garantie qu'il faut croire.
Que signifie le verdict « non vérifiable » ?
L'affirmation ne contient aucune valeur contrôlable : un raisonnement, une opinion, une question, une formule de politesse. Ce n'est pas un défaut ni un signe de fausseté ; c'est hors du périmètre du contrôle.
Le Vérificateur corrige-t-il le texte ou donne-t-il un score de fiabilité ?
Ni l'un ni l'autre. Il ne réécrit rien, ne propose aucune correction, ne juge pas le fond et ne donne aucun pourcentage. Le rapport donne des comptes (par exemple douze vérifiées, trois non couvertes, une contredite), parce qu'un pourcentage dispense de lire le détail.
Mes documents sont-ils conservés quand j'utilise la version en ligne ?
Non. Sur la page en accès libre, le texte et la source sont lus pour le contrôle puis oubliés ; le fichier est lu en mémoire. Le journal du serveur ne note que des tailles et des comptes. Dans l'application, au contraire, le rapport est gardé, signé et inscrit au registre avec la relecture humaine.
Quels fichiers peut-on utiliser comme source ?
Sur la page en accès libre : un texte collé, ou un fichier PDF, DOCX, TXT ou MD de 5 Mo au plus. Un PDF scanné (image) n'y est pas lu. Le texte à vérifier est limité à 20 000 caractères et la source à 300 000.
