Vérification de la chaîne de pensée : au-delà de la simple incitation

Les limites de la chaîne de pensée naïve

L’incitation à la chaîne de pensée a constitué une avancée majeure dans le raisonnement sur les modèles, mais dans les contextes de production, cela ne suffit pas. Les modèles peuvent produire des chaînes de raisonnement fluides mais incorrectes, et sans vérification externe, il n’existe aucun moyen de détecter ces échecs avant qu’ils ne se propagent.

L'autocritique comme premier passage

Nous ajoutons une étape d'autocritique où le modèle examine sa propre chaîne de raisonnement par rapport à un ensemble d'invariants spécifiques au domaine. Cela détecte les erreurs logiques et les incohérences évidentes sans nécessiter un appel à un outil externe.

Chaînes de vérification externes

Pour les décisions à enjeux élevés, l’autocritique ne suffit pas. Nous acheminons le résultat du raisonnement via des fonctions de vérification déterministes qui vérifient les limites numériques, la conformité du schéma et la conformité aux règles métier. Seules les sorties qui passent toutes les étapes de vérification sont renvoyées à l'utilisateur.