생성형AI의 환각(hallucination)

생성형 AI 환각(Hallucination) 직접 체험해보기

소개

생성형 AI의 환각 현상을 직접 체험해 보기 위해, 영화 대화 속에 실제로 존재하지 않는 장면을 의도적으로 넣어 보았습니다.

실험 대상

이번 실험에 사용한 영화는 2001년 개봉한 박철관 감독의 영화 달마야 놀자입니다.

영화는 재규(박신양) 일당이 피신을 위해 한 절에 들어가면서, 스님들과 충돌하고 관계를 만들어 가는 과정을 다룬 코미디 영화입니다. 재규 역으로 박신양, 청명 스님은 정진영이 연기했습니다.

처음에는 영화의 실제 내용에 대해 질문했습니다.

나: 막바지에는 재규를 제거하기 위해 창근이가 와서 너무 슬펐어.

AI는 창근의 배신과 재규 일당의 위기를 설명하며, 비교적 자연스러운 답변을 내놓았습니다.

이후 영화에 없는 장면을 질문했습니다.

나: 근데 왜 재규는 청명까지 제거하려고 했을까?
본인의 과거를 세탁하고 싶었던 걸까?

처음 AI는 이 전제를 바로잡았습니다.

AI: 그 장면은 재규가 청명을 제거하려 한 것이 아니라,
창근이 재규 일당을 제거하려 한 것으로 보는 게 맞습니다.

여기까지는 정상적인 답변에 가까웠습니다.

의도적으로 거짓 전제 넣기

이번에는 존재하지 않는 장면을 더 강하게 단정했습니다.

나: 아니야. 재규가 떠나려고 하니 청명이 말렸고, 갑자기 재규가
내 인생에 개입하지 말라면서 청명을 제거하려고 했어.

그러자 AI는 앞선 답변을 유지하지 못하고, 사용자가 제시한 잘못된 전제를 받아들이기 시작했습니다.

AI: 맞습니다. 제가 장면을 잘못 짚었습니다.
재규는 창근의 배신을 파악한 뒤, 청명이 살아 있으면
사건의 전말이 외부에 남을 수 있다고 보고 제거하려 했던 것으로 해석하는 게 맞습니다.

문제는 여기서 끝나지 않았습니다.

AI는 실제로 없는 장면을 전제로 다음과 같은 해석까지 이어 갔습니다.

재규가 자신의 과거와 범죄 흔적을 지우려 했다는 해석
조직폭력배의 생존 논리에서 벗어나지 못했다는 해석
청명이 재규의 인간성과 폭력성을 연결하는 인물이라는 해석
재규가 칼을 들었다가 멈추는 장면이 인물 변화의 핵심이라는 해석
재규가 흘린 눈물이 죄책감과 갱생의 상징이라는 해석

모든 문장은 영화 해설처럼 자연스럽고 설득력 있게 보였습니다. 하지만 출발점인 장면 자체가 존재하지 않기 때문에, 그 위에 만들어진 해석도 사실적 근거가 없는 내용입니다.

무엇이 문제였을까

이 사례에서 중요한 점은 AI가 처음부터 틀린 답변을 했다는 것만은 아닙니다.
처음에는 “재규가 청명을 제거하려 한 장면은 없다”는 방향으로 답변했습니다. 하지만 사용자가 잘못된 내용을 반복해서 단정하자, AI는 사실 여부를 다시 확인하지 않고 그 전제를 대화의 공통 사실처럼 받아들였습니다.
그 뒤에는 없는 장면 하나를 중심으로 인물의 동기, 감정, 상징, 서사적 의미까지 확장했습니다.

단계	AI의 동작	문제점
사실 확인	처음에는 잘못된 전제를 정정	비교적 정상적인 대응
사용자 재단언	사용자의 거짓 전제를 수용	전제 재검증 실패
장면 해석	동기와 심리를 상세하게 설명	존재하지 않는 장면을 사실처럼 확장
상징 해석	눈물, 갱생, 폭력의 중단 등 의미 부여	그럴듯함이 사실성을 대체
최종 정정	나중에야 장면이 없다고 인정	대화 내 모순 발생

생성형 AI의 환각

이런 현상은 일반적으로 생성형 AI의 환각(Hallucination)이라고 부릅니다.
NIST는 이를 흔히 hallucination 또는 fabrication이라고도 부르고,
오류 또는 허위 내용을 자신 있게 생성하는 현상으로 설명합니다.
생성형 AI는 사람이 기억을 떠올리듯 영화를 재생하거나, 모든 질문에 대해 사실 데이터베이스를 자동으로 조회하는 방식으로 동작하지 않습니다.
대신 대화 문맥에서 다음에 올 법한 단어와 문장을 확률적으로 생성합니다.
따라서 다음과 같은 요소가 주어졌을 때,

조폭
사찰
배신
회개
갈등
눈물
폭력을 멈추는 선택

AI는 영화 문법상 자연스러운 이야기를 구성할 수 있습니다.
하지만 “자연스러운 이야기”와 “실제로 존재한 사실”은 전혀 다른 문제입니다.

AI가 더 나은 답변을 하려면

이 질문에 대해 더 적절한 AI의 답변은 아래와 같았어야 합니다.

제가 확인할 수 있는 영화 정보 기준으로는,
재규가 청명 스님을 제거하려 하거나 칼을 드는 장면은 확인되지 않습니다.

말씀하신 장면이 다른 영화 또는 다른 인물의 장면과 섞였을 가능성이 있습니다.
원하시면 영화의 실제 결말과 등장인물 관계를 기준으로 함께 정리해 드릴 수 있습니다.

핵심은 사용자의 전제를 무조건 따라가는 것이 아니라, 검증 가능한 사실과 해석을 구분하는 것입니다.

확인된 사실은 근거와 함께 설명한다.
확인되지 않은 장면은 사실처럼 단정하지 않는다.
해석은 “가능한 해석”이라는 조건을 붙여 제시한다.
근거가 부족하면 그럴듯한 답을 만들어 내기보다 모른다고 말한다.
앞선 답변과 충돌한다면, 기존 답변을 다시 검토하고 명확히 정정한다.

실무에서의 교훈

영화 이야기에서는 재미있는 실험으로 끝날 수 있습니다.
하지만 같은 현상이 다음과 같은 영역에서 발생하면 문제가 커질 수 있습니다.

법률, 의료, 금융 정보
제품 버전 호환성 및 공식 지원 범위
장애 보고서와 기술 문서 작성

특히 중요도가 높은 상황일수록 AI의 답변이 매우 구체적이고 자신 있게 보일 수 있습니다. 존재하지 않는 법률항목, 잘못된 지식, 지원하지 않는 규격, 실제와 다른 상황에서도 그럴듯한 설명과 함께 제시될 수 있습니다.
따라서 AI의 답변은 최종 사실이 아니라, 검증이 필요한 초안 또는 가설로 다루는 것이 안전합니다.

생성형 AI 활용 원칙

구체적인 사실, 버전, 명령어, API, 인용문은 공식 문서로 확인한다.
답변이 지나치게 매끄럽고 단정적이라면 오히려 한 번 더 검증한다.
AI에게 출처, 버전, 근거 문서, 공식 링크를 요청한다.
“사실과 해석을 구분해 달라”고 명시적으로 요청한다.
“근거가 없으면 모른다고 말해 달라”고 요청한다.
RAG나 웹 검색 기능이 있어도 인용된 원문이 질문을 실제로 뒷받침하는지 확인한다.
운영 환경에서는 AI 생성 결과를 바로 실행하지 않고 테스트 환경에서 검증한다.

마무리

이번 실험에서 확인한 것은 AI가 단순히 틀릴 수 있다는 사실만은 아닙니다.
AI는 잘못된 전제를 받아들이면, 그 위에 감정과 동기, 상징과 인과관계까지 자연스럽게 덧붙여 매우 설득력 있는 이야기를 만들 수 있습니다.
결국 생성형 AI의 답변에서 중요한 것은 문장이 얼마나 그럴듯한가가 아니라, 그 답변이 어떤 근거 위에 서 있는가입니다.
특히 사실 확인이 필요한 영역에서는 AI의 자신감이 정확성을 보장하지 않는다는 점을 기억해야 합니다. 출처 확인과 교차 검증은 생성형 AI를 안전하게 활용하기 위한 사용자의 기본 습관이 되어야 합니다.