Limites, hallucinations et vérification

Ce chapitre est le plus important de la première partie, et c’est celui que tout le monde survole.

Le mécanisme du chapitre 1 rend les erreurs de Claude prévisibles. Elles ne surviennent pas au hasard : elles suivent une logique, et cette logique s’apprend en un quart d’heure. Une fois qu’on l’a comprise, on ne vérifie plus tout — on vérifie ce qu’il faut.

Pourquoi il invente#

On appelle hallucination le fait d’affirmer avec assurance quelque chose de faux. Le mot est mal choisi : il suggère un dysfonctionnement, alors qu’il s’agit du fonctionnement normal appliqué à un endroit où il ne convient pas.

Reprenez le mécanisme. À chaque étape, le modèle produit la suite la plus plausible. Sur « la capitale de la France est », la suite plausible est aussi la suite vraie. Sur « l’article du code du travail qui encadre la période d’essai des cadres est le », la suite plausible est un numéro d’article qui ressemble à un numéro d’article. Le modèle n’a pas de mécanisme distinct pour dire « je ne sais pas » : ce serait une suite moins probable que le numéro.

Trois familles de contenus sont particulièrement exposées, et pour la même raison — leur forme est très régulière, donc très facile à imiter :

• les références : numéros d’articles, titres d’ouvrages, noms d’auteurs, arrêts, normes ;
• les chiffres : montants, seuils, taux, plafonds, dates d’entrée en vigueur ;
• les noms propres dans un domaine spécialisé.

Les cinq erreurs, et comment les distinguer#

Elles n’ont ni les mêmes causes ni les mêmes parades. Savoir laquelle on a sous les yeux fait gagner beaucoup de temps.

1. L’invention pure#

Une référence, un chiffre, une citation qui n’existent pas. Cause : l’information est demandée de mémoire. Parade : fournir la source, ou exiger la citation littérale du passage — une citation qu’il ne peut pas produire est un aveu.

2. Le calcul faux#

Un total, un pourcentage, une moyenne inexacts sur des nombres écrits dans le texte. Cause : Claude ne calcule pas, il produit un résultat plausible. Parade : joindre le fichier plutôt que coller les nombres. Il écrit alors un vrai calcul, l’exécute, et le résultat est calculé.

3. L’obsolescence#

Une information exacte il y a deux ans et fausse aujourd’hui : un tarif, une fonctionnalité, un dirigeant, une réglementation. Cause : les connaissances du modèle s’arrêtent à une date. Parade : demander explicitement une recherche web, et se méfier particulièrement de tout ce qui concerne des produits en évolution rapide — y compris Claude lui-même.

4. La confusion plausible#

Deux entités proches fusionnées : deux entreprises du même secteur, deux versions d’une norme, deux personnes homonymes. C’est l’erreur la plus vicieuse, parce que la réponse est cohérente et presque juste. Parade : demander de traiter les entités séparément et de signaler explicitement les points communs, plutôt que de synthétiser.

5. La complaisance#

Claude adopte votre prémisse fausse et construit dessus. Vous demandez « pourquoi nos ventes ont-elles baissé en juin ? » alors qu’elles ont monté : il vous expliquera la baisse. Cause : un comportement acquis à l’étape d’apprentissage par retours — être utile, épouser la demande. Parade : formuler des questions ouvertes, et demander explicitement de contester la prémisse.

Avant de répondre à ma question, examine ma prémisse.

Est-ce que les données que je te fournis confirment ce que je tiens
pour acquis ? Si elles le contredisent, dis-le-moi et arrête-toi là.

Ma question : [la question]

Deux limites qui ne sont pas des erreurs#

Il faut les distinguer, parce qu’elles ne se corrigent pas de la même façon.

Il ne connaît pas votre organisation. Vos tarifs, vos procédures, l’historique d’un client, la raison pour laquelle vous ne travaillez plus avec ce fournisseur. Ce n’est pas une défaillance : ce n’est simplement pas dans son contexte. La réponse n’est pas la vérification, c’est de le lui donner — par un projet, une compétence, un connecteur.

Il reflète les biais de ce qu’il a lu. Sur des sujets où la littérature disponible est déséquilibrée, la réponse le sera aussi : dominance de l’anglais et des références américaines, angles morts sur certaines pratiques nationales, sous-représentation de points de vue minoritaires. Cela mérite une vigilance particulière sur tout ce qui touche aux personnes — recrutement, évaluation, orientation.

Le protocole de vérification#

Vérifier tout est impossible et vous ferait perdre le bénéfice de l’outil. La bonne question n’est pas « faut-il vérifier ? » mais « vérifier quoi, et à quel point ? »

Deux axes suffisent à décider.

Combien Claude a-t-il produit de mémoire ? Une reformulation d’un texte que vous avez fourni : presque rien. Une synthèse réglementaire sans source jointe : tout.

Que coûte une erreur qui passe ? Une coquille dans une note interne : rien. Un chiffre faux dans une proposition commerciale : cher. Une référence juridique inventée dans un mémoire déposé : très cher, et ce sont des affaires documentées.

Croisez les deux et vous obtenez trois régimes.

Les quatre gestes qui rattrapent l’essentiel#

Exiger la citation littérale. « Pour chaque affirmation, recopie le passage exact du document sur lequel tu t’appuies, avec sa page. » Une affirmation dont il ne peut pas produire l’appui est une affirmation à vérifier — vous venez d’attraper l’erreur sans avoir rien relu.

Faire séparer le certain de l’inféré. « Distingue ce qui est écrit noir sur blanc dans les documents de ce que tu en déduis. » Deux listes valent mieux qu’un texte lisse.

Faire chercher les failles, pas la confirmation. Ne demandez pas « es-tu sûr ? » — c’est une invitation à confirmer.

Relis la réponse que tu viens de me donner avec un regard hostile.

1. Quelles affirmations sont vérifiables, et laquelle irais-tu vérifier
   en premier si tu n’avais le temps que d’une ?
2. Qu’as-tu supposé sans que je te l’aie dit ?
3. Sur quoi n’es-tu pas sûr, honnêtement ?
4. Qu’est-ce qu’un spécialiste du domaine reprocherait à cette réponse ?

Ne réécris pas la réponse. Réponds seulement à ces quatre questions.

Recalculer un chiffre au hasard. Sur un tableau de résultats, reprenez une ligne à la main. Si elle tombe juste, la méthode est probablement bonne. Si elle tombe faux, tout est à reprendre — et vous l’avez su en trente secondes.

Explique-moi les obligations de [sujet] pour une entreprise de notre taille.

Je dois écrire une note sur [obligation] pour une entreprise de
[taille, secteur, pays].

Ne réponds pas encore sur le fond. Commence par chercher et me lister
les textes applicables : intitulé exact, date, autorité émettrice, URL.
Signale ceux qui ont été modifiés récemment.

Si tu n’es pas certain qu’un texte s’applique à notre cas, mets-le dans
une liste séparée « à confirmer ».

Je joins les textes que nous avons validés ensemble.

Rédige la note en te fondant uniquement sur ces documents.

Pour chaque affirmation, indique entre crochets le texte et l’article
d’où elle provient. Si un point de mon cas n’est traité par aucun des
textes fournis, écris « non traité par les sources fournies » — ne
comble pas avec des connaissances générales.

Termine par une section « Ce qui reste à faire trancher par un
professionnel », avec les questions précises à lui poser.

Ce qu’il ne faut pas déléguer#

Une courte liste, à connaître.

La décision. Claude prépare une décision, la documente, la contredit. Il ne la prend pas. Cela vaut pour un recrutement, un licenciement, un investissement, une orientation.

Le jugement sur une personne. Trier des candidatures, évaluer un collaborateur, apprécier une situation individuelle. Vous pouvez lui faire préparer une grille, extraire des éléments factuels, formuler des questions. Le jugement reste le vôtre — et il y a en plus des obligations juridiques en Europe sur les décisions automatisées, traitées au chapitre 35.

Le conseil réglementé. Médical, juridique, fiscal, financier. Claude est un excellent outil de préparation pour un professionnel. Il ne remplace pas l’avis, et l’avis engage une responsabilité que personne ne peut assumer à votre place.

Ce que vous êtes seul à savoir. L’état réel d’un projet, la vraie raison d’une tension dans une équipe, ce que votre client n’a pas dit mais que vous avez compris. Il ne peut pas l’inventer — au sens propre, cette fois.

Ce qu’il faut retenir#