Por qué revisar la respuesta de una IA con otra IA

Preguntar otra vez a la misma IA

Pedir a un modelo que revise su propia respuesta a veces detecta algún fallo. Pero la investigación sobre autocorrección encontró que, sin información externa, los modelos a menudo no mejoran su razonamiento al revisarlo, y a veces lo empeoran (Huang et al., «Large Language Models Cannot Self-Correct Reasoning Yet», ICLR 2024).

Fuente: arXiv:2310.01798

Otra empresa, otros puntos ciegos

Los modelos de empresas distintas se entrenan con datos y métodos distintos, así que es menos probable que cometan exactamente el mismo error. Cuando ChatRound sabe de dónde viene una respuesta, elige revisores de otras empresas, y el informe tampoco lo redacta un modelo de esa empresa.

Primero responder, luego comparar

Un revisor que lee primero la respuesta puede adoptar su planteamiento, y su error con él. Los revisores de ChatRound escriben su propia respuesta antes de repasar la original, en la misma llamada.

Dos revisores, y sus desacuerdos a la vista

Con dos revisores, un desacuerdo es información. El informe marca la afirmación como en disputa en lugar de promediar las dos opiniones, y cita a cada parte.

En nuestros ejemplos sobre Schengen, un revisor se puso del lado equivocado en tres de los seis idiomas. El otro acertó, y la disputa quedaba a la vista en el informe.

Revisión de ejemplo: Regla 90/180 de Schengen: después de 70 días, ¿puedo volver dos meses?

Que coincidan no lo demuestra

Dos modelos pueden compartir un error. Para lo que cuesta dinero o afecta a tu salud, busca la afirmación señalada en una fuente primaria. El informe la cita, así que sabes exactamente qué buscar.