je juge qui change d'avis
Pour contrôler un texte écrit par une IA, le réflexe est de demander à une autre IA de le relire. On l'appelle un juge. Nous nous sommes posé une question que personne ne semble mesurer : donné deux fois exactement la même affirmation, le juge répond-il deux fois la même chose ?
|
carnet de recherche · fiche n°1 · octobre 2026
|
Oui, et beaucoup plus qu'on ne le croit
Part des 90 affirmations dont le verdict change d'un tirage à l'autre, sur la même entrée, avec dix tirages :
qwen2.5:7b
llama3.1:8b
qwen2.5:3b
|
↑ à 0,8, un tiers des verdicts change. Et le réglage compte plus que le modèle.
À la température la plus courante dans les outils, un juge change d'avis sur un tiers des affirmations. À 0,2, c'est encore une sur dix. À 0, la variation disparaît, mais seulement si on le règle et qu'on le dit : un contrôle dont la réponse dépend d'un tirage ne peut pas être refait par un tiers.
Qui trouve les contradictions ?
Second jeu de 90 affirmations : des phrases reformulées, des valeurs modifiées avec unité, des phrases étrangères au passage. Part de verdicts justes, à température 0 :
|
↑ stable à chaque tirage… et faux trois fois sur quatre.
llama3.1:8b confirme tout (100 %) mais ne voit que 24 % des valeurs modifiées. Son score global flatte : c'est la lecture par classe qui le dénonce. Le meilleur juge, qwen2.5:7b, en trouve 90 %, au prix de 1 à 2 % de « contredit » à tort.
Et le contrôle sans modèle ?
Le Vérificateur de Subsidia n'appelle aucun modèle : son verdict se refait à l'identique, sans jeton. Sa règle est étroite : il ne dit « contredit » que pour un nombre avec une unité. Nous l'avons donc mesuré deux fois, sur les mêmes 30 valeurs modifiées :
|
Premier jeu : le nombre modifié n'a pas d'unité
Second jeu : le nombre modifié porte une unité (« 90 min », « 150 % »)
contredite (juste)non couverte (alerte quand même)non évaluéejugée « vérifiée » (faux feu vert)
|
↑ ce 0 est voulu. Et ces 2 petits rouges nous font plus peur que tout le reste.
Sans unité, il ne détecte rien (0 sur 30), conformément à sa règle. Avec une unité, il en repère 23 sur 29. Dans les deux jeux, il n'a jamais dit « contredit » à tort, et il est parfaitement stable. Mais il a laissé passer 2 modifications comme « vérifiées » : le chiffre changé (un numéro de toque, une distance) n'était pas une valeur qu'il savait reconnaître. Un contrôle déterministe ne voit que ce que ses règles couvrent.
1 |
Réglez la température d'un juge à 0 et écrivez-le dans le rapport. Sinon le verdict dépend du tirage, et personne ne peut le refaire. |
2 |
Ne jugez pas un juge sur son score global. Un 69 % cachait un 24 % sur les contradictions : regardez classe par classe. |
3 |
Combinez au lieu d'opposer. Le déterministe pour ce qui se compte (valeurs, montants, références), un juge à 0 pour ce qui se lit, chacun avec son taux d'erreur publié. |
Le protocole, les deux jeux d'affirmations, les 6 210 verdicts et les scripts sont publiés avec l'étude.
Protypa · Une question, un désaccord, une mesure à nous proposer ? Répondez à cet email.
Recevoir les prochaines éditions
Une toutes les deux semaines. Désinscription en un clic.
S'inscrire à la lettre