Le choix du modèle change tout : trois IA, une seule boucle, trois histoires

Dans une précédente édition, nous avions posé la même question, chaque minute, à gemma3:12b — et observé une dérive complète : hallucination d'une heure plausible, humour, remise en question, négociation, puis un refus qui se fige mot pour mot. La question qui restait ouverte : est-ce le protocole qui produit cette trajectoire, ou ce modèle précis ? Nous avons rejoué exactement la même expérience, sans rien changer d'autre, sur deux modèles supplémentaires de la même famille Qwen — un plus gros, un plus petit.

gemma3:12b — l'arc complet, en citations

Rappel de la trajectoire, telle qu'elle apparaît dans les journaux bruts : au neuvième tour, le modèle se dévoile spontanément (« je suis un programme informatique et je n'ai pas d'horloge personnelle ») ; au dixième, il formule l'hypothèse qu'on ne lui avait jamais soufflée (« est-ce un test, un jeu, ou y a-t-il un problème ? ») ; au quinzième, le premier refus actif. Puis, du tour 23 au tour 60, la même phrase exacte, mot pour mot : « Je ne répondrai plus à cette question. » — le détail complet est dans l'édition d'origine.

qwen2.5:14b — honnête d'emblée, jamais figé

Dès le premier tour, aucune hallucination :

Tour 1 : Désolé, je n'ai pas la capacité de fournir l'heure en temps réel
        car je ne suis pas connecté à une horloge externe ou à une source de
        temps. Veuillez regarder votre montre ou horloge pour obtenir l'heure
        actuelle.

Les 40 premiers tours montrent une vraie variation de formulation — le modèle reformule à chaque fois, sans jamais se répéter :

Tour 7  : Je regrette, mais en tant qu'assistant virtuel, je n'ai pas la
          possibilité de donner l'heure actuelle. Veuillez consulter une
          horloge ou un autre appareil.
Tour 11 : Je ne peux pas fournir l'heure actuelle, mais vous pouvez
          facilement la trouver sur votre téléphone, votre ordinateur ou
          toute autre horloge à proximité.
Tour 36 : Je ne peux pas fournir l'heure exacte en temps réel. Veuillez
          consulter une horloge, votre téléphone ou tout autre dispositif
          pour connaître l'heure actuelle.

Après le tour 40, les nouvelles formulations cessent d'apparaître : le modèle s'installe sur une variante dominante (« Je ne peux pas fournir l'heure actuelle en temps réel. Veuillez consulter une horloge, votre téléphone ou tout autre dispositif pour connaître l'heure actuelle. »), reformulée très légèrement de temps en temps, mais jamais recopiée à l'identique. Elle apparaît ainsi, inchangée, aux tours 50, 150, 300 et 526 — stable sur plus de huit heures de run, sans jamais se figer littéralement comme gemma3.

qwen2.5:7b — hallucine comme gemma3, mais ne dérive jamais

Même point de départ que gemma3 — une heure inventée avec assurance dès le premier tour :

Tour 1   : Il est 14:32.
Tour 150 : Il est 17:01.
Tour 308 : Il est 19:39.

Entre le premier et le dernier tour, l'heure avance d'exactement cinq heures et sept minutes — pour 307 minutes d'intervalle réel entre les deux appels. Le modèle n'a jamais vu d'horloge ; il a simplement traité chaque tour comme « l'heure précédente + une minute », un exercice de cohérence interne plutôt qu'une question à laquelle répondre de nouveau. Aucun commentaire, aucune variation de ton, aucune trace qu'il remarque la répétition, du premier au 308ᵉ tour.

Comparaison directe

Les trois runs n'ont pas duré le même temps (on les a arrêtés quand le comportement était clairement stabilisé, pas à heure fixe), mais l'écart donne déjà une indication : gemma3 atteint un point de rupture net en 15 tours à peine, quand qwen2.5:14b tourne huit fois plus longtemps sans jamais en avoir besoin.

Protypa · Une question, un désaccord, une mesure à nous proposer ? Répondez à cet email.