AI 답변을 다른 AI로 검토해야 하는 이유

같은 AI에게 다시 묻기

모델에게 자기 답변을 다시 보게 하면 작은 실수를 잡을 때도 있습니다. 하지만 자기 수정에 관한 연구에서는, 외부 피드백 없이 추론을 다시 확인하게 하면 나아지지 않는 경우가 많았고 오히려 나빠지기도 했습니다(Huang 외, “Large Language Models Cannot Self-Correct Reasoning Yet”, ICLR 2024).

출처: arXiv:2310.01798

회사가 다르면 사각지대도 다르다

회사가 다른 모델은 학습 데이터도 방법도 달라서, 똑같은 실수를 할 가능성이 낮습니다. ChatRound는 답변의 출처를 알면 다른 회사의 모델을 검토 모델로 고르고, 보고서를 쓰는 모델도 그 회사의 것을 쓰지 않습니다.

먼저 답하고, 그다음 비교하기

답변을 먼저 읽은 검토 모델은 그 틀에, 실수까지 함께 끌려갈 수 있습니다. ChatRound의 검토 모델은 한 번의 호출 안에서 먼저 자기 답을 쓰고, 그다음 원래 답변을 살펴봅니다.

검토 모델 둘, 엇갈림은 그대로

검토 모델이 둘이면 엇갈림 자체가 정보가 됩니다. 보고서는 두 의견을 평균 내지 않고 그 주장을 ‘의견 갈림’으로 표시하며 양쪽 말을 인용합니다.

우리 솅겐 예시에서는 6개 언어 중 3개 언어에서 검토 모델 하나가 틀린 편을 들었습니다. 다른 하나는 맞았고, 그 엇갈림은 보고서에서 그대로 보였습니다.

검토 예시: 솅겐 90/180일 규칙: 70일 머문 뒤 두 달 더 있어도 될까?

일치해도 증명은 아니다

두 모델이 같은 실수를 할 수도 있습니다. 돈이나 건강에 관한 일이라면 지적된 주장을 1차 자료에서 찾아보세요. 보고서가 해당 문장을 인용하니 무엇을 검색할지 알 수 있습니다.