월터 시넛암스트롱, 재나 셰익 보그, 빈센트 코니처 지음/박초월 옮김/김영사

판사가 흉악 범죄자에게 가벼운 형량을 선고했다는 소식에 사람들은 분노하며 말한다. "판사들을 다 인공지능(AI)으로 바꿔야 한다"고. AI 판사는 인간 판사보다 더 공정할까. '도덕적인 AI'는 이러한 질문을 깊이 있게 성찰할 수 있도록 도와주는 책이다.

저자는 기술을 얼마나 낙관적으로 보든 간에 AI 시스템이 완벽하게 공정하거나 정의로울 가능성은 (인간처럼) 거의 없다고 말한다. 책에 따르면 의료와 채용, 주택 융자, 사업 자금 대출 등에 활용되는 AI는 흑인, 여성, 이민자, 빈곤층, 장애인 지원자에게 불리하게 작용하는 경우가 많다.

피부암을 탐지하는 AI는 어두운 피부에는 제대로 작동하지 않아, AI에 의존하는 의사들이 흑인 환자를 제때 진단하지 못할 위험이 있다. 범죄 예측 AI는 취약 계층 출신 피고인의 보석 신청이나 재판 전 석방을 거부할 가능성이 더 크다.

'지능적'이라고 칭송받는 AI가 이처럼 편향된 결과를 내는 까닭은 기술 창작자(인간)의 편향이 개입돼서라고 책은 분석한다. 어떤 데이터를 수집하고 라벨링할지, AI 모형의 성능을 어떻게 평가할지, AI 알고리즘에 어떤 정보를 넣을지, 예측 결과에 어떻게 대응할지에 대한 결정은 모두 인간의 손에 달렸다.

예를 들어 경찰이 특정 인종을 면밀히 감시해 해당 집단에서 더 많은 이들을 불균형적으로 체포하면, 이를 학습한 AI 시스템이 소외된 인종 집단에 속한 피고인에게 지나치게 높은 재범 위험도를 부여한다. 사회 구조와 경찰 수사 절차의 편향은 AI 학습용 데이터의 편향으로 이어지고, 결과적으로 AI 알고리즘이 특정한 취약계층 구성원을 대상으로 과도하게 높은 재범 위험도를 예측하게 한다.

저자는 AI가 편향된 결과를 내는 이유는 인간이 편향된 데이터를 입력했기 때문이라는 사실을 강조하며, 안전하고 윤리적인 AI를 만들기 위해서는 인간이 먼저 '도덕 지능'을 갖춰야 한다고 조언한다. 360쪽. 1만9800원.