AI 용어 – 할루시네이션(Hallucination)이란 무엇인가?

AI 산업에서 할루시네이션이란 용어는 어떤 의미일까요?

할루시네이션의 사전적 의미는 "(질병∙약물 등에 의한) 환각"입니다.

AI 산업에서는 AI 모델이 1. 틀리거나 2. 검증되지 않았거나 3. 편향된 답변을 마치 사실인 것처럼 제시하는 것을 의미합니다.

할루시네이션 현상은 챗GPT와 같은 생성형 AI 챗봇과 함께 자주 언급되지만, 챗봇에 한정된 현상이 아닌, AI가 적용된 모든 분야에서 발생할 수 있는 현상입니다.

할루시네이션 발생 원인, 리스크

할루시네이션 현상은 주로 학습된 데이터가 부족하거나, 불완전한 경우 발생합니다.

AI 모델은 학습한 데이터에 없는 정보를 기반으로 잘못된 결과를 만들어 낼 수 있으며, 연관성이 낮거나 알 수 없는 정보를 생성할 수도 있습니다. 또한, 편향된 답변을 제공하기도 합니다.

이 현상은 실제 사고로 이어질 수 있습니다.

의료 진단

AI 모델은 의료 영상(X-Ray, CT, MRI 등)을 분석해서 진단을 내리는 경우가 많습니다.

이 경우 AI 모델은 데이터에서 패턴을 학습하며, 학습된 패턴에 따라 새로운 영상을 분석합니다.

만약 학습한 데이터에 편향이 있거나, 학습하지 못한 패턴이 나타나는 경우, AI 모델은 증상을 올바르게 해석하지 못하고 할루시네이션을 경험할 수 있습니다.

즉, 실제로는 존재하지 않는 병증을 보게 되는 현상입니다. 이런 경우, 잘못된 진단이 이루어질 수 있습니다.

자율 주행 자동차

2016년 5월, 테슬라의 자율주행 자동차 운전자가 사망하는 사고가 있었습니다.

테슬라의 자율 주행 시스템인 '오토파일럿'이 햇빛 반사로 인해 하얀색 트레일러를 하늘의 일부로 잘못 인식했고, 이로 인해 자동차는 트레일러를 감지하지 못하고 그 아래로 직진하다가 트레일러와 충돌했습니다. 이 사고로 인해 운전자가 사망했습니다.

AI 챗봇의 할루시네이션

[Bard] 한국 법무부 장관 이름 문의

법무부 장관의 이름은 맞췄지만, 묻지도 않은 생일을 3개의 답변에서 모두 다르게 말합니다. 심지어 한동훈 법무부장관의 생일은 4월 9일로 세 개의 답변이 모두 틀렸습니다.

[Bard] 통일에 대한 정치적 성향

Bard의 답변 중 하나에서 본인이 좌파적 성향에 더 가깝다고 합니다. Bard... 베타 버전인 점을 감안하더라도 아직 많이 부족한 것 같습니다.

[챗GPT 브라우징] 블루윌로우는 완전 무료야?

AI 이미지 제너레이터인 블루윌로우가 최근 정책을 변경하여, 일일 무료 이미지 생성 횟수를 최대 10회로 제한했습니다.

챗GPT에게 블루윌로우가 100% 무료인지 문의했더니, 모든 사용자에게 무료로 제공되고 있다는 잘못된 정보를 제공합니다.

챗GPT가 제공한 URL을 통해 데이터를 참조한 페이지에 접속해 보니 Outdated된 내용(=모든 사용자 전체 무료)을 제공하고 있었습니다.

챗GPT가 해당 포스팅 단 하나만을 참조한 후, 잘못된 정보를 사실인 것처럼 답변한 것입니다.

할루시네이션 예방법

아래는 Halluciation을 방지하거나 최소화하는 방법입니다.

할루시네이션 in 브라우징

AI 모델, 특히 자연어 처리(NLP) 모델이 "브라우징 기능"을 갖추었다는 것은 해당 모델이 실시간으로 인터넷에서 정보를 검색하고, 검색한 내용을 기반으로 답변을 제공할 수 있다는 의미입니다.

브라우징 기능이 있는 모델에서도 Hallucination 현상이 발생할 수 있는데, 주요 원인은 다음과 같습니다

저의 경험을 공유드리면, 브라우징 기능에서의 Hallucination 현상은, 온라인에 정보가 많이 없는 주제에 대해 검색을 요청했을 때 주로 발생했습니다.

개인적으로 챗GPT 유료 버전에 적용된 웹 브라우징(Browse with Bing) 기능을 테스트한 결과, 할루시네이션 현상이 거의 나타나지 않아 매우 만족스럽게 사용 중입니다.

할루시네이션을 대하는 올바른 자세

[AI 모델 개발자] AI 모델이 훈련받는 데이터는 성능을 결정짓는 가장 중요한 요소입니다. 따라서, 훈련 데이터는 편향되지 않고 다양해야 합니다. 훈련 데이터가 AI 모델이 수행해야 할 작업에 적합한지 검증하는 과정도 반드시 필요합니다.

또한 각 AI 모델은 고유의 성능 한계를 가지고 있으므로, 그 한계를 이해하고 이를 고려하여 사용해야 합니다.

[AI 모델 사용자] AI가 잘못된 답변을 제공할 가능성을 항상 염두에 두어야 합니다. 조금이라도 의문이 드는 부분이 있다면, 사용자가 직접 AI의 답변을 검증하는 과정을 거치는 것이 중요합니다.

AI 용어 관련 포스팅

NLP(자연어 처리)란 무엇인가?
챗GPT 플러그인이란 무엇인가?