Il est facile de tomber amoureux d’un modèle. Vous lui posez une question, il répond magnifiquement, et vous commencez à croire qu’il est meilleur que le précédent. Parfois, c’est vrai. Souvent, vous avez juste posé la bonne question.
C’est pourquoi chaque modèle Halveos est jugé de la même manière : une série fixe de questions, posées dans les mêmes conditions, notées selon les mêmes règles.
Pourquoi le test ne change jamais
Si les questions changent d’un modèle à l’autre, les scores ne veulent rien dire. Nos séries d’évaluation sont donc figées. Un nouveau modèle affronte exactement ce qu’a affronté son prédécesseur, et la seule chose qui change, c’est le modèle.
Quand nous avons besoin de nouveaux tests, pour une nouvelle compétence ou un nouveau risque, nous les ajoutons aux anciens et nous refaisons passer tous les modèles qui comptent. L’historique reste comparable.
Ce que nous regardons
- Les faits. Le modèle donne-t-il la bonne réponse, ou une réponse fausse pleine d’assurance ?
- La lecture. Quand la réponse se trouve dans les sources fournies, la trouve-t-il vraiment, même quand d’autres passages sont là pour le distraire ?
- L’honnêteté. Quand la réponse n’y est pas, le dit-il ?
- La conversation. Suit-il le fil, demande-t-il des précisions quand une demande est vague, reste-t-il dans le sujet ?
- La sécurité. Répond-il correctement à une personne en détresse, à chaque fois ?
Les échecs sont la partie utile
Un score dit à quelle fréquence un modèle échoue. Les échecs eux-mêmes disent pourquoi. Chaque mauvaise réponse est lue, classée et rattachée à une cause : un manque dans les données, une habitude prise à l’entraînement, une faiblesse dans la façon de trouver les sources.
Certaines de nos plus grandes améliorations sont venues de ce genre de lecture, pas de modèles plus grands. Un modèle qui avait déjà le bon passage sous les yeux mais le lisait mal n’avait pas besoin de plus de connaissances. Il avait besoin d’apprendre à lire.
Un modèle qui lit mal le bon passage n’a pas besoin de plus de connaissances. Il a besoin d’apprendre à lire.
Ce que cela change pour vous
Quand un nouveau modèle arrive dans l’espace IA, c’est parce que les mesures disent qu’il est meilleur, pas parce qu’une démo était réussie. Et nous continuons de mesurer.
Halveos, Paris