AI 셋이 동의해도, 질문은 남는다

계약의 이 조항에 위험이 있느냐고 모델에게 묻습니다. 있다고 합니다. 두 번째 모델도 같은 문제를 짚습니다. 세 번째도 같은 결론을 내고, 수정할 문구마저 거의 같습니다. 세 번 확인했을 때의 느낌은 한 번과 전혀 다릅니다. 마치 투표로 불확실성을 없앤 것 같습니다.

때로는 아주 좋은 방법입니다. 때로는 같은 사각지대 하나가 옷 세 벌을 갈아입고 말하는 것뿐입니다.

일치가 얼마나 독립적인지는 출처에 달려 있다

모델들은 구조와 도구, 표현 방식이 달라도 많은 공개 문서와 비슷한 관행을 공유할 수 있습니다. 같은 흔한 오류를 물려받을 수 있고, 프롬프트가 은근히 방향을 이끌어 같은 방식으로 문제를 이해할 수도 있습니다. 상황이 정말 필요로 하는 답이 아니라 가장 설명하기 쉬운 답이라서 동의하는 경우도 있습니다.

그렇다고 여러 모델로 확인하는 일이 무가치해지지는 않습니다. 한 모델이 지어낸 인용을 다른 두 모델이 찾지 못했다면 유용한 신호를 얻은 것입니다. 서로 다른 검색 도구를 쓰는 여러 시스템이 한 사실에 관해 같은 결론에 이르고 출처까지 내놓으면 신뢰도는 높아져야 합니다. 다만 얼마나 높일지는 증거의 실제 독립성과 질에 비례해야 합니다.

말을 세 가지로 바꾸었다고 증인이 셋인 것은 아닙니다.

불일치가 더 많은 것을 알려 줄 때가 있다

모델끼리 충돌하면 ‘결국 어느 쪽이 더 뛰어난가’를 묻기 쉽습니다. 먼저 할 일은 차이가 어디서 생겼는지 그리는 것입니다. 쓰는 사실이 다른가요? 정의가 다른가요? 감수할 위험이나 성공의 기준이 다른가요?

한 모델은 제품을 당장 출시하라고 하고 다른 모델은 미루라고 한다고 해 봅시다. 시장 결과의 예측은 서로 비슷할 수도 있습니다. 진짜 차이는 한쪽은 평판 손상이 나중에 회복된다고 보고, 다른 쪽은 취약한 이용자에게 입힐 피해를 중단 조건으로 본다는 데 있을 수 있습니다. 그 차이가 드러나면 더는 지능의 우열 대결이 아닙니다. 무엇을 무엇과 바꾸어도 되는지 묻는 일이 됩니다.

각 모델에게 어떤 가정이 바뀌면 결론이 뒤집히는지 말하게 할 수 있습니다. 세부 오류만 찾지 말고 상대의 틀을 비판하라고 할 수도 있습니다. 그런 다음 정말 중요한 주장은 모델 밖으로 가져가 일차 자료와 전문가, 직접 관찰로 확인합니다.

두 번째 모델이 가장 값질 때는 첫 답을 반복할 때가 아닙니다. 또 다른 틀이 있다는 것을 보게 할 때입니다.

신탁 위원회가 아니라 견제 장치를 만들자

좋은 다중 모델 절차는 시스템마다 역할을 나눕니다. 하나는 가능성을 만들고, 하나는 사실관계의 약점을 찾고, 하나는 빠진 사람과 실패할 경로를 찾습니다. 그 뒤 사람이 구분합니다. 어떤 이견에는 증거를 더해야 하는지, 어떤 것은 당사자와 이야기해야 하는지, 무엇이 처음부터 과제를 잘못 물었다는 뜻인지 말입니다.

이 역할들을 끝에 같은 점수 하나로 합쳐서는 안 됩니다. 모든 비판이 같은 지표를 따라가면 겉보기의 다양성도 결국 하나의 목표로 주저앉습니다. 진짜 견제는 이런 말을 할 수 있어야 합니다. ‘정해진 지표에서는 뛰어나지만, 그래도 써서는 안 된다.’

위험이 큰 곳에서는 영향을 받는 사람도 절차에 참여할 자리가 있어야 합니다. 구직자에게 자동 평가 세 개를 들이밀면서 자료에 이의를 제기할 길을 주지 않아서는 안 됩니다. 환자에게 모델 여러 개가 동의했다는 말만 하면서 무엇을 보았고 무엇을 놓쳤는지 설명할 의사를 만날 수 없게 해서도 안 됩니다. 모델 수를 늘리는 것은 이의 제기를 대신하지 못합니다.

합의가 목표가 아닌 질문도 있다

동의가 신뢰도를 높여 주는 질문은 있습니다. 인용문이 출처에 있는지, 코드가 시험을 통과하는지, 계산이 재현되는지가 그렇습니다. 반면 모든 모델이 동의해도 열린 채인 질문도 있습니다. 용서할지, 어떤 손실을 받아들일지, 기관이 이미 사람에게 너무 많은 것을 요구했는지가 그렇습니다.

AI는 이런 질문을 비출 수 있습니다. 하지만 일치가 질문의 종류를 바꾸지는 않습니다. 시스템 열 개가 경력을 위해 어떤 관계를 희생하라고 권해도, 그 희생을 나 대신 감당할 삶이 생기는 것은 아닙니다. 모든 모델이 어떤 정책이 인기를 얻으리라 예측해도 정책이 정당하다고 입증되지는 않습니다.

여러 모델에 묻기 전에 내가 찾는 것이 사실인지, 해석인지, 예측인지, 설계인지, 아니면 허락인지 구분해 보세요. 마지막이 가장 위험합니다. 책임을 피하는 일을 반복해서 확인하는 일인 양 꾸미기 가장 쉬운 곳이기 때문입니다.

마지막 확인은 모델 하나에 더 물어보는 일이 아니다

반복은 언젠가 끝내야 합니다. 위험이 클수록 확인을 마칠 기준을 미리 정해야 합니다. 사실 문제에는 추적 가능한 일차 증거를 요구하고, 기술적 결정은 정말 중요한 조건에서 시험을 통과하게 합니다. 사람에게 영향을 주는 결정에는 이의 제기와 사람의 재검토 절차를 남깁니다. 개인의 약속에는 모델 수가 늘어도 맡길 수 없는 것이 무엇인지 적습니다.

그런 다음 모델은 마음껏 일하게 하세요. 속도와 다양성은 실제 강점입니다. 인간 팀의 자만을 깨고, 아무도 발견하지 못한 오류를 찾기도 합니다. 많은 기계보다 사람 하나를 무조건 믿으라는 결론이 아닙니다.

핵심은 견제가 왜 필요한지 잊지 않는 것입니다. 권력에 여전히 이유를 물을 수 있게 하려는 것이지, 아무도 의심할 수 없는 더 큰 목소리를 만들려는 것이 아닙니다. AI 셋이 같게 답했다면 더 강한 증거를 얻었을 수 있습니다. 하지만 그 증거를 믿는 일을 책임질 사람까지 얻은 것은 아닙니다.