指南
怎么判断 AI 的回答靠不靠谱
看语气看不出来。把关键的数重算一遍,确认规定是现行的、适用于你所在的地方,弄清它怎么算的,再找另一家公司的 AI 答一遍。
阅读指南因为模型复查自己的回答,往往会沿用写出它的那套思路;同一家公司的模型,训练和习惯也相近。别家公司的模型先不看原回答、自己把问题想一遍,再来检查,会更独立。但这不是保证,所以好的核对报告会把每一处有争议的原话引出来,方便你自己去查。
让模型复查自己的回答,有时能查出小错。但关于“自我纠错”的研究发现,没有外部反馈时,让模型重查自己的推理,往往没有改进,有时反而更差(Huang 等,《Large Language Models Cannot Self-Correct Reasoning Yet》,ICLR 2024)。
不同公司的模型,训练数据和方法都不同,犯完全一样错误的可能性更小。ChatRound 知道回答来自哪家时,会从别的公司挑核对模型,写报告的也不是那家的模型。
先读原回答再判断,容易被它的思路带着走,连错误一起接过来。ChatRound 的核对模型在同一次调用里,先写自己的答案,再逐条检查原回答。
有两个核对模型,分歧本身就是信息。报告不会把两种看法折中,而是把这一条标为“有争议”,两边的原话都引出来。
在我们的申根示例里,六种语言中有三种出现了一个核对模型站错边的情况;另一个是对的,报告里也看得到这处分歧。
两个模型也可能错在一起。涉及钱或健康的,把被指出的那句话拿去一手资料里查。报告引出了原话,你知道该搜什么。
指南
看语气看不出来。把关键的数重算一遍,确认规定是现行的、适用于你所在的地方,弄清它怎么算的,再找另一家公司的 AI 答一遍。
阅读指南指南
用工具把回答依赖的那个数重算一遍。看清每个利率的周期,按规定的方法数日子,有官方计算器就用官方的。
阅读指南轮到你了
把 ChatGPT、Claude、Gemini 或任何 AI 的回答贴进来,另外两家 AI 逐条查,告诉你哪里错了。
装上后,ChatGPT、Claude、Gemini 的每条回答下面都有一个“核对”按钮。