AI の回答を別の AI でチェックする理由

同じ AI にもう一度聞く

モデルに自分の回答を見直させると、小さなミスに気づくこともあります。ただ、自己修正についての研究では、外部からのフィードバックがないと、推論を見直させても改善しないことが多く、悪くなることもありました（Huang ほか「Large Language Models Cannot Self-Correct Reasoning Yet」ICLR 2024）。

出典：arXiv:2310.01798

会社が違えば、死角も違う

会社が違えば、学習データも作り方も違うので、まったく同じ間違いをする可能性は低くなります。ChatRound は回答の出どころがわかっていれば、ほかの会社のモデルをチェック役に選び、レポートを書くモデルもその会社のものにしません。

先に答えてから比べる

先に回答を読んだチェック役は、その考え方に、誤りごと引っぱられることがあります。ChatRound のチェック役は、同じ呼び出しの中で、まず自分の答えを書き、それから元の回答を確かめます。

チェック役は2つ、食い違いはそのまま残す

チェック役が2つあれば、食い違いそのものが情報になります。レポートは2つの見方を平均せず、その主張を「見解が分かれる」とし、両方の言い分を引用します。

私たちのシェンゲンの例では、6言語のうち3言語で、片方のチェック役が誤った側につきました。もう片方は正しく、その食い違いはレポートで見えるようになっていました。

チェック例：シェンゲン90/180日ルール：70日滞在したあと、また2か月行ける？

一致しても証明にはならない

2つのモデルが同じ間違いをすることもあります。お金や健康に関わることは、指摘された主張を一次情報で調べてください。レポートが該当箇所を引用するので、何を検索すればいいかがわかります。