AI 환각현상, 대형언어모델(LLM)의 환각현상 사례와 개선방법

오픈 AI의 챗 GPT, 구글 바드(BARD), 마이크로소프트의 BING 등 대형언어모델(LLM)을 기반으로 한 생성형 인공지능(AI) 서비스가 활성화되며, 사용자를 혼란에 빠트리는 환각현상(Hallucinations)이 문제가 되고있다.

인공지능의 환각현상 개요와 사례, 개선 방법에 대해 알아본다.

  

인공지능(AI)의 환각현상(Hallucinations)

AI의 환각은 일반적으로 인공 지능 시스템이 환각과 유사한 출력을 생성하거나 초현실적이거나 이상하거나 무의미해 보이는 콘텐츠를 생성하는 경우, 또는  AI의 사실이 아닌 오류에 대한 자신감 있는 대답을 말한다. 이러한 현상은 딥 러닝 모델이나 생성적 대립 신경망(GAN)과 같은 생성 알고리즘을 활용하는 특정 AI 모델에서 발생할 수 있다.

인공지능의 환각현상은 챗GPT와 같은 대형 언어 모델(LLM)이 등장하며 그 문제가 대두되었는데, 그럴듯해 보이는 무작위적 거짓말, 오답의 사례가 많이 발생되었다.

자연어 처리(NLP)에서 환각현상은 '제공된 소스 콘텐츠에 대해 터무니없이 불성실한 생성 콘텐츠'로 정의되기도 한다. 자연어 모델이 환각을 일으키는 것에는 다음과 같은 여러 이유가 지적되고 있다. 

- 데이터에서 환각 발생: 소스 콘텐츠에 차이가 있다. (대규모 교육 데이터 세트에서 종종 발생함).
- transformer의 잘못된 디코딩
- 모형이 이전에 생성한 과거 시퀀스로부터의 편향
- 모델이 매개변수에 지식을 인코딩하는 방식에서 생성되는 편향

AI의 맥락에서 환각은 모델의 복잡성, 사용된 훈련 데이터 또는 훈련 방법론의 한계를 포함한 다양한 요인으로 인해 발생할 수 있다. 기괴하거나 꿈같은 특성을 나타내는 이미지, 비디오 또는 텍스트를 생성할 때 AI 환각의 일부 사례가 주목을 받았다. 이러한 환각은 모델이 데이터의 공백을 채우려는 시도나 입력에 노이즈가 있는 경우 발생할 수 있다.

 

AI 환각현상의 사례

인공지능의 환각현상은 AI 모델의 종류와 입력 데이터에 따라 다양한 형태로 나타날 수 있다.

- 이미지 생성

경우에 따라 이미지 데이터 세트에서 훈련된 AI 모델이 환각 또는 초현실적인 이미지를 생성할 수 있는데, 물체의 이상한 조합, 비현실적인 질감 또는 왜곡된 모양이 포함될 수 있다. 예를 들어 AI가 생성한 이미지는 여러 머리를 가진 새나 현실에 존재하지 않는 특이한 특징을 가진 개를 묘사할 수 있다.

- 텍스트 생성

AI 언어 모델은 무의미한 문장 생성, 잘못된 문법 또는 연결이 끊어지거나 관련이 없는 것으로 보이는 콘텐츠가 포함될 수 있다. 출력이 논리적으로 이해되지 않거나 일관된 인간 언어에서 크게 벗어나 환각 같은 품질을 나타낼 수 있다.

- 비디오 합성

비디오 데이터로 훈련된 AI 모델은 합성된 비디오의 형태로 환각을 일으킬 수 있는데, 이러한 환각에는 훈련 데이터에서 관찰된 정상적인 행동을 넘어서는 이상한 동작 패턴, 예상치 못한 시각적 효과 또는 기괴한 개체 상호 작용이 포함될 수 있다.

- 음성 합성

AI 기반 음성 합성 시스템은 생성된 음성에서 왜곡되거나 왜곡된 말, 잘못된 발음 또는 출력 사운드를 로봇이나 초현실적으로 만드는 부자연스러운 억양으로 나타날 수 있다.

해결방법

AI 시스템에서 환각 문제를 해결하는 것은 다양한 접근 방식과 고려 사항을 포함하는 복잡한 작업이 될 수 있다. 문제를 해결하고 완화하기 위해 취할 수 있는 몇 가지 단계는 다음과 같다.

- 데이터 세트 큐레이션

교육 데이터의 품질과 다양성을 보장하는 것이 중요하다. 개발자는 환각에 기여할 수 있는 오해의 소지가 있거나 모호한 예를 제거하여 데이터 세트를 신중하게 선별해야 한다. 데이터 세트의 균형을 맞추고 광범위한 대표 샘플을 통합하면 편향되거나 비현실적인 출력을 최소화하는 데 도움이 될 수 있다.

- 정규화 기술

모델 교육 중에 정규화 기술을 구현하면 과적합(overfitting)을 방지하고 일반화를 개선하는 데 도움이 될 수 있다. 드롭아웃(dropout), 중량 감쇠(weight decay) 또는 조기 중지와 같은 정규화 방법은 모델이 데이터의 잡음이나 이상치에 과도하게 의존하지 않도록 하여 환각의 가능성을 줄이는 데 도움이 될 수 있다.

- 적대적 훈련

적대적 훈련에는 잠재적인 공격이나 교란을 견디도록 AI 모델을 훈련하는 것이 포함된다. 훈련 중에 모델이 수정되거나 적대적인 예에 노출함으로써, 더 견고해지고 예상치 못한 입력에 대한 응답으로 환각이나 의도하지 않은 출력을 생성할 가능성이 줄어든다.

- 후처리 및 필터링

후처리 기술을 구현하면 AI 출력에서 환각을 걸러내거나 수정하는 데 도움이 될 수 있다. 여기에는 추가 알고리즘 또는 규칙 기반 시스템을 사용하여 생성된 콘텐츠를 분석 및 확인하고 오류가 있거나 오해의 소지가 있는 결과를 제거하는 작업이 포함될 수 있다.

- 반복적인 개선 및 테스트

지속적인 테스트, 평가 및 개선은 환각을 해결하는 데 필수적이다. 개발자는 AI 시스템의 성능을 정기적으로 모니터링하고 평가하여 사용자로부터 피드백을 수집하고 이를 개발 프로세스에 통합해야 한다. 이 반복적인 접근 방식을 통해 시간이 지남에 따라 문제를 식별하고 수정할 수 있다.

- 윤리적 고려 및 인적 감독

특히 중요한 애플리케이션에서 AI 시스템 배포 시 인적 감독이 필수적이다. 인간 검토자 또는 전문가는 출력물에 대한 최종 점검을 제공하여 윤리적 지침 및 품질 표준에 부합하는지 확인할 수 있다. 인간의 개입은 자동 필터를 통과할 수 있는 환각을 식별하고 수정하는 데 도움이 될 수 있다.

 

인공지능의 환각현상을 정리하며

인공지능의 환각현상은 아직 완전히 파악되지 않고 있고 이유 또한 복잡하고 다양하다. 분석가들은 인공지능의 잦은 환각을 대형 언어 모델(LLM) 기술의 주요 문제로 간주하고 있고, 구글은 환각현상의 감소를 ChatGPT 경쟁사 제품인 구글 바드의 "추가적인" 과제로 제시했다. 마이크로소프트의 GPT 기반 Bing AI 또한 발표자에게 잡히지 않은 여러 환각을 포함하는 것으로 보인다.

AI 모델이 복잡하고 예상치 못한 행동을 보일 수 있기 때문에 환각을 완전히 근절하는 것이 어려울 수 있다는 점은 주목할 필요가 있다. 그러나 확대되는 수요와 사용의 범위만큼 다양한 전략을 사용하고, AI 시스템을 지속적으로 개선함으로써 개발자는 환각의 발생을 크게 줄이고 AI 출력의 전반적인 신뢰성과 정확성을 향상시킬 필요가 절실하다.