Posez à un assistant d’IA une question à laquelle il ne sait pas vraiment répondre : il le dira rarement. Il produira quelque chose qui sonne juste, une date plausible, un chiffre crédible, une référence qui a l’air réelle. Pour un poème, ce n’est pas grave. Pour votre loyer, vos droits ou les obligations de votre entreprise, ça l’est.
Répondre de mémoire
La plupart des assistants répondent de mémoire, à partir de ce qu’ils ont absorbé pendant leur entraînement. Cette mémoire est impressionnante, mais elle ignore le doute. Quand elle manque de faits, elle comble le vide avec ce qui paraît le plus probable. Personne, pas même ceux qui ont construit le modèle, ne peut garantir quelles phrases sont des souvenirs et lesquelles sont inventées.
Ajouter des liens à la fin d’une réponse ne règle rien. Un lien n’est pas une preuve. La page derrière ne dit pas forcément ce que la phrase affirme, et en pratique, personne ne vérifie.
La preuve d’abord
Halveos Preuve fonctionne dans l’autre sens. La source vient d’abord :
- Preuve cherche, dans une bibliothèque de documents sourcés, les passages qui concernent votre question.
- Notre propre modèle écrit une réponse à partir de ces passages, et de rien d’autre.
- Chaque phrase de cette réponse est confrontée à une phrase précise du document avant d’être affichée.
- Une phrase que la vérification ne retrouve pas dans la source est retirée. Pas adoucie, pas nuancée : retirée.
- Chaque phrase gardée est affichée avec sa preuve : la phrase du document, telle quelle, et son lien.
- Quand elle ne trouve pas de preuve, Preuve le dit, et vous montre les documents qu’elle a lus.
Chaque phrase vient avec sa preuve. Vous la vérifiez d’un clic.
Pourquoi phrase par phrase
Une réponse peut être juste aux neuf dixièmes et inventée pour le dernier dixième. C’est ce dernier dixième qui coûte cher : le mauvais délai, la condition qui n’existe pas, l’exception qui n’a jamais été écrite. Vérifier une réponse dans son ensemble le laisse passer. Vérifier chaque phrase, non.
Pourquoi « je ne sais pas » est une qualité
Un bon expert ne devine pas quand il n’est pas sûr. Il dit « je dois vérifier », et il vous montre où chercher. C’est ce que nous attendons de Preuve. Un « je ne sais pas » honnête, accompagné des documents les plus proches, vaut mieux qu’une réponse assurée à laquelle on ne peut pas se fier.
Elle peut se tromper
Preuve n’est pas infaillible. La vérification peut garder une phrase qu’elle aurait dû retirer, et un document peut être daté ou incomplet. C’est justement pour cela qu’elle montre sa preuve : vous n’avez pas à la croire sur parole.
Avoir raison plutôt qu’être énorme
Il n’est pas nécessaire d’avoir le plus grand modèle du monde pour avoir raison. Il faut pouvoir montrer son travail. C’est pourquoi Preuve est conçue autour de la preuve plutôt que de la taille, et pourquoi chacune de ses couches, du modèle de langage à la vérification, est construite par nous.
Cela veut aussi dire que Preuve ne cherche pas à tout faire. Elle n’est pas faite pour écrire votre roman. Elle est faite pour les questions où une erreur coûte quelque chose.
Où nous en sommes
Preuve est en développement, et sa première version s’ouvre au public dans l’espace IA, en accès libre et sans compte. Elle se trompera parfois : c’est pour cela que chaque réponse montre ses preuves, pour que vous puissiez les contrôler. La feuille de route détaille les prochaines étapes.
Halveos, Paris