LG유플러스가 고객센터 전화 상담 품질을 높이기 위해 대규모언어모델(LLM) 기반 상담사 코칭 솔루션 'AI 오토 QA'를 개발했다. 이 프로그램은 상담 종료 직후 AI가 대화 내용을 검수하고 즉시 피드백을 제공하는 방식이다.

기존에는 월 150만 건에 달하는 상담을 모두 사람이 검수하기 어려워 일부 콜만 평가가 가능했고, 평가자 간 편차로 공정성 논란이 생기거나 상담품질 측정이 늦어졌다. 상담사에게 피드백이 전달되기까지 최대 일주일이 걸려 개선 속도도 더뎠다.

AI 오토 QA 도입 후 상담사는 상담 직후 자칫 과한 존칭이나 부적절한 표현을 바로 수정할 수 있다. 예를 들어 "5G 요금제가 있으십니다"라고 말한 경우 AI는 "5G 요금제가 있습니다"라고 즉시 피드백한다. 상담사는 어떤 표현이 잘못됐는지 즉각 확인하며 상담 역량을 빠르게 보완할 수 있다.

반복적인 평가 업무를 맡았던 교육 코치들은 세세한 감성 응대나 노하우 전수에 집중할 수 있어 코칭 효율도 향상됐다. 신규 상담사나 저년차 상담사도 개인 맞춤형 코칭을 통해 역량 향상 속도가 빨라지고, 고객은 상담사 간 편차가 줄어든 보다 일관된 상담 경험을 제공받게 된다.

AI 오토 QA는 LLM 기반 자체 모델을 활용하며, 대화 맥락을 단계적으로 분석하는 '생각의 사슬(CoT)' 방식을 적용해 다양한 실제 대화를 정교하게 판별한다. 예를 들어 고객의 "네, 알겠습니다"라는 답변에 대해 단순 동의 여부가 아니라 상황에 따라 '이해·수용'인지 '형식적 종료'인지 구분할 수 있다.

또한 소음 탐지 모델을 적용해 상담 내 배경 소음을 감지하고, 음성 주파수와 운율까지 분석해 상담 대화를 다각도로 평가하도록 설계했다.

서남희 LG유플러스 CV 담당은 "해당 기술은 특허 출원을 마쳤으며 상담사 평가와 코칭 전반에 활용되고 있다"고 밝혔다.