인공지능(AI)은 정보가 거짓인 경우에도 자신감 있고 상세하며 논리적인 답변을 생성할 수 있습니다. 연구자들은 이러한 행동을 “환각”이라고 부릅니다. 환각은 인공지능 시스템이 현실, 검증된 사실, 입력 데이터와 일치하지 않는 정보를 생성할 때 발생한다.
챗봇, 검색 도우미, 이미지 생성기 앱, 코딩 도구, 음성 도우미에서 환각을 볼 수 있습니다. 챗봇은 존재하지 않았던 과학적 연구를 발명할 수도 있습니다. 이미지 생성기 앱은 여섯 개의 손가락을 가진 사람을 생성할 수 있습니다. 코딩 도우미는 올바르게 보이지만 실행하면 실패하는 컴퓨터 코드를 작성할 수 있습니다.
인공 지능 환각은 현대 시스템이 인간과 같은 방식으로 진실을 이해하는 대신 패턴을 예측하기 때문에 발생합니다. 문제는 인공 지능 모델이 학습하는 방식, 개발자가 이를 테스트하는 방식, 훈련 데이터가 작동하는 방식, 확률 기반 예측이 작동하는 방식에서 발생합니다.
AI 환각은 어떤 모습인가요?
인공지능 환각은 다양한 형태로 나타날 수 있습니다.
조작된 사실
챗봇은 다음을 발명할 수 있습니다.
- 가짜 연구 논문
- 거짓 역사적 사건
- 존재하지 않는 법률
- 상상 속의 회사 임원
- 잘못된 의학적 조언.
예를 들어, 여러 법원 사건의 변호사는 인공지능 시스템에 의해 생성된 가짜 법원 판결이 포함된 법적 서류를 제출했습니다. 챗봇은 실제처럼 보이지만 존재하지 않는 사례 인용을 생성했습니다.
잘못된 요약
AI 모델은 설득력 있게 들리지만 문서를 잘못 요약할 수 있습니다. Microsoft 연구진은 최근 고급 언어 모델이 긴 작업 흐름 중에 문서 콘텐츠를 손상시키거나 왜곡할 수 있다는 사실을 발견했습니다. 일부 시스템에서는 테스트 중에 콘텐츠의 최대 25%가 손상되었습니다.
시각적 환각
이미지 생성기 앱은 다음과 같은 경우가 있습니다.
- 팔다리 추가
- 읽을 수 없는 텍스트 만들기
- 불가능한 반사 생성
- 인체 해부학을 왜곡합니다.
특히 손, 치아, 시계 또는 복잡한 배경에서 이 문제를 발견할 수 있습니다. 이러한 세부 사항에는 정확한 공간 관계가 필요하기 때문입니다.
논리적 환각
일부 AI 모델은 모순되거나 불가능한 추론 단계가 포함된 답변을 생성합니다. 시스템은 완전한 자신감을 가지고 설명을 제시하면서도 수학을 잘못 설명할 수 있습니다.
인공지능이 환각을 느끼는 이유
1. 인공지능은 진실을 검증하는 대신 패턴을 예측한다
환각의 가장 중요한 이유는 대규모 언어 모델의 핵심 설계와 관련이 있습니다.
현대 언어 모델은 시퀀스의 다음 단어를 예측합니다. 그들은 진리를 직접적으로 “알지” 못합니다. 그들은 어떤 단어 패턴이 이전 단어 뒤에 올 가능성이 가장 높은지 추정합니다.
예를 들어, 다음과 같이 질문할 때:
“전화는 누가 발명했나요?”
이 모델은 엄청난 양의 텍스트에서 학습된 패턴을 기반으로 확률을 계산합니다. 훈련 데이터가 “Alexander Graham Bell”과 “전화를 발명했습니다”를 강하게 연관시키는 경우 모델은 해당 답변을 생성합니다.
그러나 모델이 불확실하거나, 드물거나, 불완전하거나, 충돌하는 정보를 만나면 시스템은 여전히 패턴을 계속 유지하려고 시도합니다.
시스템은 자연스럽게 멈춰서 “모르겠어요”라고 말하지 않습니다.
OpenAI 연구원들은 환각이 부분적으로 나타나는 이유는 언어 모델이 사실 확인보다는 다음 단어 예측을 최적화하기 때문이라고 설명했습니다.
2. 훈련 보상 추측
또 다른 주요 원인은 개발자가 모델을 훈련하고 평가하는 방식에서 비롯됩니다.
대부분의 벤치마크 테스트는 정답을 보상하지만 자신 있는 오답을 강력하게 처벌하지는 않습니다. 이러한 채점 방법으로 인해 인공 지능 시스템은 불확실성을 인정하는 것보다 추측이 더 나은 점수를 생성하는 경우가 많다는 사실을 학습합니다.
연구자들은 이러한 행동을 어려운 객관식 시험을 치르는 학생들과 비교했습니다. 추측하는 학생은 우연히 점수를 받기도 합니다. 질문을 공백으로 남겨둔 학생은 항상 0점을 받습니다.
동일한 압력이 인공 지능 시스템에도 영향을 미칩니다.
OpenAI Research에서 발표한 연구에 따르면 일부 최신 모델은 불확실한 질문을 더 자주 거부하여 환각을 줄였습니다. 이번 연구에서는 다음과 같은 놀라운 차이가 나타났습니다.
- 한 모델은 어려운 벤치마크에서 75%의 시간 동안 잘못된 답변을 생성했습니다.
- 또 다른 모델은 “모르겠다”라고 대답하는 빈도가 더 높아서 오류가 26%로 줄었습니다.
이 연구는 평가 시스템 자체가 환각을 조장한다는 것을 시사합니다.
3. 훈련 데이터에는 오류와 모순이 있습니다.
인공 지능 시스템은 다음에서 수집된 방대한 데이터 세트를 통해 학습합니다.
- 웹사이트
- 서적
- 조항
- 포럼
- 코드 저장소
- 소셜 미디어.
이러한 소스에는 다음이 포함되어 있습니다.
- 허위 주장
- 오래된 정보
- 편향된 의견
- 모순되는 사실
- 풍자
- 스팸
- 품질이 낮은 글쓰기.
모델은 이 모든 정보로부터 통계적 관계를 흡수합니다.
훈련 데이터에 상충되는 정보가 반복적으로 나타나는 경우 모델은 이러한 정보 조각을 결합하여 조작된 답변을 생성할 수 있습니다.
예를 들어:
- 한 기사에 잘못된 날짜가 포함되어 있습니다.
- 다른 기사에서도 비슷한 사건이 언급되어 있습니다
- 모델은 두 패턴을 모두 잘못된 진술로 병합할 수 있습니다.
모델에는 인간식 이해나 사실 확인 인식이 없기 때문에 신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 항상 분리할 수는 없습니다.
4. 희귀한 사실이 큰 문제를 일으킨다
인공 지능 시스템은 훈련 중에 여러 번 나타나는 공통 패턴에서 가장 잘 작동합니다.
드문 사실은 훨씬 더 큰 어려움을 야기합니다.
예를 들어:
- 유명한 역사적 사건이 온라인에 수백만 번 등장합니다.
- 작은 마을 시장의 생일은 한 번만 나타날 수 있습니다.
연구자들은 드문 사실이 모델의 관점에서 거의 무작위로 행동한다고 설명합니다. 훈련 데이터에 제한된 예가 존재하기 때문에 시스템은 이러한 세부 사항을 안정적으로 일반화할 수 없습니다.
이 문제는 다음 분야에서 특히 심각해집니다.
- 약
- 법
- 과학적 연구
- 기술공학
- 지역업체 정보
- 최근 뉴스 이벤트.
5. AI 모델은 유창하고 도움이 되도록 노력합니다.
개발자는 자연스럽고 대화하며 유용하게 들리도록 챗봇을 교육합니다.
이 훈련은 또 다른 문제를 야기합니다.
모델이 자주 “모르겠어요”라고 대답한다면 많은 사용자는 이 시스템이 실망스럽거나 지능적이지 않다고 생각할 것입니다.
결과적으로 개발자는 종종 다음을 위해 시스템을 최적화합니다.
- 원활한 대화
- 자세한 설명
- 빠른 응답
- 신뢰
- 사용자 만족.
불행하게도 유창한 언어는 잘못된 정보를 숨길 수 있습니다.
이제 몇몇 연구자들은 환각이 신중한 불확실성보다는 설득력 있는 의사소통에 최적화된 시스템의 부작용이라고 주장합니다.
6. 인공지능은 근거 있는 이해가 부족하다
인간은 언어를 다음과 연결합니다.
- 신체적 경험
- 감정
- 감각 입력
- 실제 상호 작용.
대규모 언어 모델은 현실을 직접 경험하지 않습니다.
인간은 부분적으로 다음을 통해 “불”을 이해합니다.
- 열
- 위험
- 시각적 기억
- 물리적 상호 작용.
언어 모델은 “fire”와 관련된 단어의 패턴만 볼 수 있습니다.
이러한 제한으로 인해 시스템은 근본적인 현실을 진정으로 이해하지 못한 채 의미 있는 것처럼 보이는 언어를 생성할 수 있습니다.
일부 연구자들은 이 문제를 “접근”의 부족으로 설명합니다.
7. 장시간 작업을 하면 환각이 증가합니다.
최근 연구에 따르면 긴 작업 흐름 동안 환각이 악화되는 경우가 많습니다.
대화가 길어지면:
- 이전의 실수가 앞으로 전파됩니다.
- 작은 부정확성이 누적됨
- 상황을 추적하기가 더 어려워집니다.
- 내부 모순이 증가합니다.
Microsoft 연구진은 문서의 복잡성과 길이가 증가함에 따라 성능이 저하된다는 사실을 발견했습니다.
다음과 같은 경우에 이 문제가 나타날 수 있습니다.
- 긴 보고서 생성
- 대규모 소프트웨어 프로그램 작성
- 확장된 연구 대화 수행
- 긴 문서를 요약합니다.
8. 정보 검색 문제는 환각을 유발할 수 있습니다.
일부 시스템은 언어 모델을 외부 데이터베이스나 검색 엔진에 연결합니다. 개발자는 이 접근 방식을 검색 증강 생성이라고 부릅니다.
이 방법은 환각을 줄여주지만 완전히 없애지는 못합니다.
다음과 같은 경우에는 여전히 문제가 발생합니다.
- 검색 시스템이 관련 없는 정보를 검색합니다.
- 검색된 정보에 오류가 있습니다.
- 모델이 검색된 데이터를 잘못 해석합니다.
- 데이터베이스에 업데이트된 사실이 부족합니다.
예를 들어, 검색 시스템이 두 개의 상충되는 기사를 발견하면 모델은 두 기사를 결합하여 오해의 소지가 있는 답변을 제공할 수 있습니다.
9. 강화 학습은 의도치 않게 환각을 증가시킬 수 있습니다.
개발자는 사람의 피드백을 사용하여 모델을 미세 조정하는 경우가 많습니다.
인간 검토자는 일반적으로 도움이 되고, 완전하고, 정중하고, 자신감 있어 보이는 답변에 보상을 제공합니다.
그러나 검토자는 모든 사실 주장을 주의 깊게 확인할 수는 없습니다.
이 훈련 과정은 의도치 않게 모델이 엄격한 정확성보다 설득력 있는 의사소통을 우선시하도록 가르칠 수 있습니다.
몇몇 연구자와 커뮤니티 토론에서는 이 문제를 반복적으로 강조합니다.
환각이 때때로 극도로 설득력 있게 보이는 이유는 무엇입니까?
언어 모델은 문법, 구조, 어조, 스타일 모방 및 문맥 흐름에 탁월하기 때문에 인공 지능 환각은 종종 그럴듯해 보입니다.
시스템은 다음을 생성할 수 있습니다.
- 학문적 언어
- 기술 용어
- 전문적인 서식
- 자세한 인용
- 논리적 전환.
완전히 조작된 정보라도 권위 있는 것처럼 들릴 수 있습니다.
이 조합은 위험한 효과를 만들어냅니다.
- 높은 유창함
- 높은 신뢰도
- 사실적 신뢰성이 낮습니다.
사람들은 특히 응답이 자세하고 전문적으로 보일 때 유창한 언어를 자동으로 신뢰하는 경우가 많습니다.
환각은 결코 완전히 사라지지 않을 수 있습니다
일부 연구자들은 확률 기반 언어 시스템에서는 환각을 완전히 제거할 수 없다고 주장합니다.
2025년 연구 논문에서는 창의성, 완전성, 자신감, 정확성 및 정보 범위 사이에 항상 절충안이 존재할 수 있다고 주장했습니다.
개발자가 가능한 모든 환각을 피하도록 모델을 강요하는 경우 해당 모델은 지나치게 조심스러워지고 많은 합법적인 질문을 거부할 수 있습니다.
개발자가 자세하고 유용한 답변을 권장하면 환각 위험이 높아질 수 있습니다.
이 균형은 어려운 엔지니어링 문제를 야기합니다.
기업이 환각을 줄이는 방법
인공 지능 회사는 환각을 줄이기 위해 여러 가지 전략을 사용합니다.
더 나은 정보 검색 시스템
개발자는 모델을 다음에 연결합니다.
- 검색 엔진
- 검증된 데이터베이스
- 내부 회사 문서
- 과학 기록 보관소.
이 접지 방법을 통해 모델은 현재 사실 정보에 액세스할 수 있습니다.
신뢰도 추정
일부 시스템은 응답하기 전에 불확실성을 측정하려고 시도합니다.
모델은 다음을 수행할 수 있습니다.
- 불확실한 질문은 거절하세요
- 후속 질문하기
- 신뢰 경고를 표시합니다.
교육 개선
개발자들은 점점 더 불확실성을 인정하고, 출처를 인용하고, 출력을 확인하고, 추론 단계를 사용하도록 모델을 교육하고 있습니다.
인간의 감독
많은 조직에서는 여전히 법률 문서, 의료 권장 사항, 재무 분석 및 연구 요약을 사람이 검토하도록 요구합니다.
환각은 여전히 예기치 않게 나타날 수 있기 때문에 인간의 감독은 여전히 매우 중요합니다.
인공지능을 완벽한 권위자가 아닌 보조자로 대해야 한다
인공 지능 시스템은 다음과 같은 놀라운 결과를 가져올 수 있습니다.
- 글쓰기 지원
- 코딩 도움말
- 번역
- 연구지원
- 요약
- 브레인스토밍.
그러나 중요한 정보는 독립적으로 확인해야 합니다.
다음 분야에서 인공 지능을 사용할 때는 특히 주의해야 합니다.
- 약
- 법
- 재원
- 공학
- 학술 연구
- 안전이 중요한 결정.
환각은 인공지능 시스템이 객관적인 진실을 직접 검증하는 대신 통계적으로 가능성 있는 언어 패턴을 생성하기 때문에 발생합니다. 이러한 시스템은 지식을 매우 잘 모방할 수 있지만 모방이 항상 정확성을 보장하는 것은 아닙니다.
연구원들은 신뢰성, 교정 및 검증 방법을 지속적으로 개선하고 있습니다. 환각 비율은 많은 최신 시스템에서 감소했지만 이 문제는 여전히 현대 인공 지능의 주요 한계입니다.
