Por que revisar a resposta de uma IA com outra IA

Perguntar de novo à mesma IA

Pedir a um modelo que revise a própria resposta às vezes pega algum deslize. Mas a pesquisa sobre autocorreção mostrou que, sem retorno externo, modelos muitas vezes não melhoram o raciocínio ao revisá-lo, e às vezes pioram (Huang et al., “Large Language Models Cannot Self-Correct Reasoning Yet”, ICLR 2024).

Fonte: arXiv:2310.01798

Outra empresa, outros pontos cegos

Modelos de empresas diferentes são treinados com dados e métodos diferentes, então é menos provável que cometam exatamente o mesmo erro. Quando o ChatRound sabe de onde veio a resposta, escolhe revisores de outras empresas, e o relatório também não é escrito por um modelo dessa empresa.

Responder primeiro, comparar depois

Um revisor que lê a resposta antes pode adotar o raciocínio dela, com o erro junto. Os revisores do ChatRound escrevem a própria resposta antes de conferir a original, na mesma chamada.

Dois revisores, e as divergências à vista

Com dois revisores, uma divergência é informação. O relatório marca a afirmação como em disputa em vez de fazer a média das duas opiniões, e cita cada lado.

Nos nossos exemplos sobre Schengen, um revisor ficou do lado errado em três dos seis idiomas. O outro acertou, e a divergência estava visível no relatório.

Revisão de exemplo: Regra 90/180 de Schengen: depois de 70 dias, posso voltar por dois meses?

Concordar não é provar

Dois modelos podem errar juntos. Para o que custa dinheiro ou afeta a saúde, procure a afirmação apontada numa fonte primária. O relatório a cita, então você sabe exatamente o que pesquisar.