自信ありげな文章の中の数字
ローンの返済額、税率の区分、複利。やり方は合っていても途中の数字が違い、そのあとの数字がすべて引きずられます。
私たちの例では:6 件中 6 件で問題が見つかりました。
チェック例:住宅ローン3500万円、元利均等と元金均等で利息はいくら違う?AIの計算をチェックChatGPT · Claude · Gemini · 2026年10月更新
ChatGPT、Claude、Gemini は同じようなところで、同じように自信ありげに間違えます。流れるような文章の中の計算、国によって違うルールや学習後に変わったルール、以前は一般的だった助言、そして動くけれど少し違う問いに答えているコード。どれが間違えるかは質問とモデルのバージョン次第なので、ランキングを見ても目の前の回答が正しいかはわかりません。わかるのは、その回答自体をチェックしたときです。別の会社の AI に、主張を1つずつ確かめさせましょう。
各社自身も言っています
どの製品も、入力欄の下に注意書きを出しています(英語画面での原文):
“ChatGPT can make mistakes. Check important info.”“Claude can make mistakes. Please double-check responses.”“Gemini can make mistakes, so double-check it”注意書きは正しい。ただ、どこを確かめればいいかは書いていません。
確かめるべきところ
それぞれに日本語のチェック例を付けました。
ローンの返済額、税率の区分、複利。やり方は合っていても途中の数字が違い、そのあとの数字がすべて引きずられます。
私たちの例では:6 件中 6 件で問題が見つかりました。
チェック例:住宅ローン3500万円、元利均等と元金均等で利息はいくら違う?AIの計算をチェック控除額や基準は改正されますし、国によっても違います。読みやすい回答でも、古い数字やほかの国のルールを使っていることがあります。
私たちの例では:6 件中 5 件で問題が見つかりました。
チェック例:年収250万円、医療費9万円で医療費控除は使える?AIの回答をチェックシェンゲンの「180日間で90日まで」のような滞在ルールは、移動する期間で日付を数える必要があります。旅行の日数を足すだけ、あるいは出国すればリセットされると考えると、日付を間違えます。
私たちの例では:6 件中 6 件で問題が見つかりました。
チェック例:シェンゲン90/180日ルール:70日滞在したあと、また2か月行ける?健康の回答は、結論は合っていても細部を間違えがちです。注意をどれだけ続けるか、何が飲み忘れにあたるか、本当の例外はどの薬か。
私たちの例では:4 件中 1 件で問題が見つかりました。
チェック例:アモキシシリンでピルの効果は落ちる?AIの回答をチェック給与が同額のとき、RANK() と DENSE_RANK() では返る人が変わります。どちらのクエリも動くので、間違っていてもエラーは出ません。
私たちの例では:6 件中 3 件で問題が見つかりました。
チェック例:部署ごとに給与上位3つの金額の社員を全員取得:AIのSQLをチェック私たちのチェック例
2026年10月27日、間違えると困る質問を 6 言語で 28 件用意しました。回答は GPT-5.4 Nano、Claude Haiku 4.5、Gemini 2.5 Flash-Lite が API 経由で、ウェブ検索なしで書き、ほかの会社の AI 2つがそれぞれをチェックしました。28 件中 21 件で、誤りまたは見解が分かれる主張が少なくとも1つ見つかりました。レポートはすべて読み、生成した 42 件のうち 14 件は公開していません。チェック役やレポートが間違っていたか、確認できない内容が加わっていたためです。
これは各社の最も安いモデルが答えた、難しい質問ばかりの小さなサンプルです。ChatGPT、Claude、Gemini の誤り率ではなく、どれがより正確かを示すものでもありません。
使う前に
同じ会社のモデルは、学習も癖も似ています。ChatRound は標準で、ほかの会社のモデルをチェック役に選びます。
先に回答を読むと、その考え方に引っぱられがちです。ChatRound のチェック役は、まず自分の答えを書いてから元の回答を確認します。
お金、健康、法律の質問なら、指摘された主張を一次情報で調べてください。レポートは該当箇所を引用するので、何を検索すればいいかがわかります。
よくある質問
決まった答えはありません。モデルが更新されるたびに結果は変わり、質問の種類によっても違います。私たちの例は順位を付けるには少なすぎます。これから使う回答については、ランキングよりその回答をチェックするほうが役に立ちます。
できますし、小さなミスに気づくこともあります。ただ、自己修正についての研究では、外部からのフィードバックなしに自分の推論を見直したモデルは改善しないことが多く、悪くなることもありました(Huang ほか, ICLR 2024)。別の会社のモデルのほうが、独立した確認になります。 arXiv:2310.01798
そうとは限りません。私たちの例でも、チェック役が誤った回答の側についたことが一度ではありませんでした。だからレポートは根拠を引用しますし、お金・健康・法律に関わる主張は一次情報で確かめる価値があります。
なりません。使い慣れたものを使い続けてください。ChatRound はその回答をチェックします。回答を貼り付けるか、Chrome 拡張機能で回答の下の「チェック」をクリックすると、修正した文章がその会話の入力欄に入ります。送信はされません。
ChatGPT、Claude、Gemini など、どの AI の回答でも貼り付けてください。ほかの会社の AI 2つが確認します。