AI는 왜 그럴듯한 거짓말을 하는가

다음 말을 만드는 기계

언어모델은 문장의 참·거짓을 직접 판정하는 장치로 시작하지 않는다. 주어진 맥락에서 이어질 표현의 분포를 학습한다. 그래서 문장이 자연스럽다는 것과 사실이 정확하다는 것이 어긋날 수 있다.

모르는 사실 앞에서도 형식과 문체를 완성하려는 경향은 출처, 이름, 날짜를 그럴듯하게 조립하는 오류로 나타난다.

• Huang et al., A Survey on Hallucination in LLMs (2024)

  대규모 언어모델의 사실 오류 유형, 원인, 평가와 완화법을 정리한 학술 조사.

인간의 기억과 닮은 결과

인간의 기억도 녹화 영상을 그대로 재생하지 않는다. 단서와 지식, 기대를 이용해 과거를 재구성하며 그 과정에서 빈틈이 바뀔 수 있다.

하지만 결과가 닮았다고 원인까지 같다고 할 수는 없다. 인간의 기억 오류는 경험하는 몸과 삶의 맥락 속에서 일어나고, 언어모델의 오류는 학습 자료와 생성 목표, 입력 조건에서 생긴다.

거울로서의 결함

AI의 환각은 기계가 인간처럼 상상한다는 증거가 아니다. 유창함을 진실의 표지로 받아들이는 인간의 습관을 드러내는 거울에 가깝다.

따라서 해결도 한 겹이 아니다. 검색과 출처 연결, 불확실성 표시, 검증 절차가 필요하고, 읽는 사람도 그럴듯함과 근거를 분리해야 한다.