인공지능(AI) 연구자 10명 중 6명은 생성형 AI의 사실성과 신뢰성 문제가 조만간 해결되지 않을 것으로 예상한다는 설문 조사 결과가 나왔다. 생성형 AI 연구 개발에서 환각 현상을 해소하는 게 가장 중요한 도전 과제로 떠오르고 있다.

5일 세계인공지능학회(AAAI)가 올해 발표한 '인공지능 연구의 미래' 보고서에 따르면, AI 및 관련 분야 연구자 475명을 대상으로 벌인 설문 조사에서 응답자의 60%는 생성형 AI의 사실성이나 신뢰성 문제가 이른 시일 내 해결될 가능성이 낮다고 봤다.

사실적인 AI 시스템은 잘못된 정보를 출력하거나 환각 현상을 일으키지 않는다. 신뢰성은 사실성보다 더 광범위한 개념으로, AI의 판단 근거와 작동 방식을 사람이 쉽게 이해할 수 있는 정도를 나타내는 '이해 가능성', 다양한 상황이나 압력에서도 AI가 안정적으로 작동하는 능력을 의미하는 '견고성', 윤리·공정성·프라이버시 등 인류의 핵심 가치를 AI가 존중하고 반영하는 '인간 가치 존중' 등의 기준을 포함한다.

보고서에 의하면 현재 생성형 AI의 사실성과 신뢰성을 높이기 위해 ▲미세 조정(Fine-tuning) ▲검색 증강 생성(RAG) ▲사실 확인 도구 ▲사고 사슬(CoT) ▲고품질 합성 데이터 등이 활용된다.

미세 조정은 검증된 데이터들로 생성형 AI 모델을 추가로 훈련시키는 과정이다. 최근에는 수천 명의 사람으로부터 받은 피드백을 통한 강화 학습이 미세 조정에 포함되면서, 많은 인적 자원이 필요하다는 점이 모델 확장의 한계로 작용하고 있다.

검색 증강 생성은 전통적인 정보 검색 알고리즘으로 질문 관련 문서를 수집한 뒤 내용을 요약해 답변을 만들어내는 것으로, 사실성을 향상시키는 데 도움이 되지만 검색된 데이터의 품질에 따라 편차가 발생한다. 예컨대 허위 정보나 풍자적인 내용이 포함될 경우 답변의 질이 저하될 수 있다.

생성형 AI 시스템이 인용 색인 데이터베이스 등 사실 확인 도구를 사용토록 하는 기법도 있다. 근래에는 답변 범위를 제한한 후 출력값이 이 규칙을 따랐는지 검증해 일관성 없는 응답을 걸러내는 방식이 활용되고 있다.

사고 사슬은 질문을 작은 단위로 쪼개 단계별 추론을 유도, 환각 가능성을 낮추는 방법이다. 이외에 고품질이 보장된 합성 데이터를 생성하는 연구도 진행되고 있다.

이번 설문 조사에서 응답자의 75% 이상이 생성형 AI의 사실성과 신뢰성이 자신들의 연구와 밀접한 관련이 있다고 답했다.

사실성 향상을 위해 가장 필요한 것으로는 '새로운 신경망 구조 개발'(73%)이 꼽혔다. '외부 사실 확인 도구 활용'(70%)이 그다음으로 많은 지지를 받았다.

신뢰성 측면에서도 '새 신경망 아키텍처 개발'(77%)이 가장 중요하다고 여겨졌다. '모델이 스스로 추론 과정을 설명하는 기능'(70%)이 뒤를 이었다.

'AI 시스템에 인간과 유사한 성격을 부여하는 연구가 신뢰성 향상에 중요하다'는 응답 비율은 24%에 불과했다.

설문에 참여한 AAAI 소속 연구자들은 생성형 인공지능의 사실성과 신뢰성을 제고하려면 ▲동일한 문제에 대해 찬반 등 다양한 관점을 이해하고 제시하는 능력 ▲학습에 사용된 데이터 출처 표시 및 다중 소스를 통한 사실 검증 ▲AI 에이전트가 신뢰성을 유지하면서 지식을 업데이트할 수 있는 기능들이 필요하다고 조언했다.