Verificação da cadeia de pensamento: além da simples solicitação

Os limites da cadeia de pensamento ingênua

A orientação da cadeia de pensamento foi um avanço para o raciocínio de modelo, mas em ambientes de produção não é suficiente. Os modelos podem produzir cadeias de raciocínio fluentes, mas incorretas, e sem verificação externa não há como detectar essas falhas antes que elas se propaguem.

Autocrítica como primeira passagem

Adicionamos uma etapa de autocrítica onde o modelo analisa sua própria cadeia de raciocínio em relação a um conjunto de invariantes específicos de domínio. Isso detecta erros lógicos e inconsistências óbvios sem exigir uma chamada de ferramenta externa.

Cadeias de verificação externas

Para decisões de alto risco, a autocrítica não é suficiente. Encaminhamos a saída do raciocínio por meio de funções de verificação determinísticas que verificam limites numéricos, conformidade de esquema e conformidade de regras de negócios. Somente as saídas que passam em todos os estágios de verificação são retornadas ao usuário.